Veja como configurar um dashboard no Data Studio e extrair insights valiosos dos seus workloads do BI Engine.
Um passo a passo do dashboard prático no Data Studio que a DoiT criou para monitorar workloads do BI Engine
Monitorar os workloads do BI Engine não é tarefa simples.
O Google BI Engine já está em general availability e vem sendo usado por muitos clientes da DoiT. Esses clientes usam o BI Engine com o Looker, mas também com outras ferramentas de BI, como o Tableau. Na DoiT, usamos o BI Engine na nossa plataforma Advanced Cloud Cost Analytics para entregar consultas em menos de um segundo aos nossos clientes.
Mesmo assim, quando o assunto é monitorar workloads do BI Engine, ainda há bastante coisa a evoluir.
No Cloud Monitoring Metric Explorer, dá para ver a utilização da reserva do BI Engine e o tamanho total dessa reserva.
Mas isso não mostra quantas consultas foram aceleradas pelo BI Engine e, mais importante, por que outras não foram aceleradas. Também não há um dashboard dentro do BI Engine nem no Cloud Console com estatísticas do que funcionou e do que não funcionou.
Até o momento, essas informações só podem ser consultadas a partir do Information Schema do BigQuery, mais precisamente na tabela JOBS_BY_PROJECT ou via linha de comando (bq show --format=prettyjson -j job_id).
Só que extrair insights valiosos exige um entendimento mais profundo dos dados e de como o BI Engine funciona por baixo dos panos.
Pensando nisso, criamos um dashboard no Data Studio fácil de usar para monitorar workloads do BI Engine.
A consulta que usamos nesse dashboard está disponível aqui.
Como começar
Pré-requisitos
Para criar o dashboard e consultar as tabelas do INFORMATION_SCHEMA, o usuário precisa ter acesso à seguinte tabela:
- INFORMATION_SCHEMA.JOBS_BY_PROJECT
Fonte de dados
1.1 Copie esta fonte de dados
Faça login no Data Studio e crie uma cópia da fonte de dados abaixo. Mais informações sobre como copiar fontes de dados estão aqui. https://datastudio.google.com/datasources/d42dfc2c-71d4-46a3-ba38-bdd080e9472f
1.2 Defina o projeto de Billing correto no GCP
Aponte para o projeto em que você fez a reserva do BI Engine
1.3 Altere as fontes de dados:
No exemplo, usamos region-eu, mas você pode trocar pela região da sua preferência (onde estiver reservada a capacidade do seu BI Engine). Use o formato a seguir para especificar a regionalidade do project-id, da região e das views no INFORMATION_SCHEMA:
`PROJECT_ID`.`region-REGION_NAME`.INFORMATION_SCHEMA.VIEW
Dashboard
2.1 Copie o dashboard
Crie uma cópia do dashboard público. O Data Studio vai pedir uma nova fonte de dados: selecione a que você copiou no passo 1. Clique em criar relatório e renomeie como preferir.
2.2 Ajuste o dashboard
Depois que o relatório for copiado e os dados forem carregados, mude os seletores de data nas páginas do relatório para o período que você quiser (por exemplo: última semana, últimos 14 dias, últimos 28 dias etc.).
Pronto! Agora é só aproveitar e extrair insights valiosos dos seus workloads do BI Engine.