Cloud Intelligence™
Turbine o Grafana com o Google BigQuery!
Esta página também está disponível em English, Deutsch, Español, Français, Italiano e 日本語.
About Vadim Solovey
Founded DoiT in 2011 and have been here ever since — in every flavor of CTO, co-CEO, and now CEO. I started my career in 1999 building data centers before anyone called it "the cloud," and I've spent the two decades since trying to deliver on what the cloud was actually supposed to be. I still write code most weeks.
My personal page
O BigQuery é um dos data warehouses em nuvem mais performáticos para analytics. O Grafana é uma plataforma aberta para análises e monitoramento de visual caprichado. Nada mais natural do que unir o melhor dos dois, certo? Foi exatamente o que pensamos!
É difícil imaginar uma empresa que não use o Grafana para visualizar seus dados de séries temporais. Pode ser para monitoramento, alertas, análise ou todos esses motivos juntos. O Grafana suporta diversas fontes populares de dados de séries temporais, como InfluxDB, Graphite, Elasticsearch e muitas outras.
O Google BigQuery é um banco de dados em nuvem muito conhecido em análise de dados, graças à sua capacidade incomparável de executar consultas em altíssima velocidade sobre grandes volumes de dados.
Felizmente, o Grafana oferece uma interface documentada para criar novos plugins de fontes de dados. Meu colega Aviv Laufer, do time de soluções da DoiT International, conseguiu desenvolver o plugin de fonte de dados para o Google BigQuery.
As aplicações são praticamente infinitas — dashboards para analisar logs, dados de billing, métricas de vendas, tráfego, campanhas de marketing digital ou qualquer outro caso de uso.
Para demonstrar o novo plugin, escolhi os dados de billing do Google Cloud, algo que faz sentido para qualquer pessoa que use a plataforma. Em resumo, dá para configurar o Google Cloud para exportar informações detalhadas de billing para o BigQuery [ 1]. Ao exportar esses dados para o BigQuery, você acompanha o custo dos seus serviços do Google Cloud com bastante riqueza de detalhes.
Dashboard do Grafana exibindo dados de billing do Google Cloud vindos do BigQuery
Como o plugin de fonte de dados do BigQuery ainda não tem suporte "oficial" do Grafana, é preciso instalá-lo manualmente pelo repositório git do plugin [ 2].
Na maioria dos casos, a instalação se resume a um único comando no servidor do Grafana, seguido de um restart. As instruções completas estão na seção de instalação do repositório em [ 3].
grafana-cli \--pluginUrl \Cloud bill shouldn't be a mystery
One platform for AI and Cloud optimization.
https://github.com/doitintl/bigquery-grafana/archive/0.3.0.zip
\ plugins install doitintl-bigquery-datasourceDepois de instalado, o plugin já está pronto para uso. Ele precisa ser autenticado no seu Google Cloud IAM: basta criar uma service account e fazer o upload da chave JSON dela.
Feita a autenticação, é hora de criar seu primeiro dashboard. O plugin permite montar a query por trás visualmente, é só seguir o assistente.
Comece escolhendo seu projeto do Google Cloud na lista, depois selecione o dataset e o nome da tabela. O plugin busca as colunas da tabela (junto com metadados que mostram, por exemplo, se a tabela tem partições) para você selecionar nas listas suspensas.
Em seguida, escolha o(s) campo(s) que deseja visualizar, defina as agregações necessárias e voilà — seus dados aparecem em instantes!
Configurando o dashboard pelo assistente do plugin. A versão em alta resolução está disponível aqui.
Se preferir escrever a query manualmente, é só clicar no botão "Edit SQL".
Modo Edit SQL
Repare que o plugin identificou que essa é a tabela particionada e incluiu o filtro _PARTITIONTIME automaticamente, garantindo que só os dados do seu intervalo de tempo sejam varridos!
Esperamos que o plugin do BigQuery para Grafana seja tão útil para você quanto é para a gente, e adoraríamos saber qual é o seu caso de uso! Ainda estamos no comecinho deste plugin, mas acompanhamos as issues bem de perto e prometemos responder a cada solicitação rapidinho [ 4].
Boas visualizações!
Quer mais histórias? Confira nosso blog ou siga o Vadim no Twitter.
