Reduza custos do Google BigQuery com recomendações práticas

Lançado recentemente pela DoiT International, o BigQuery FinOps Dashboard é o canivete suíço para revelar ineficiências no uso do Google BigQuery

"Pelo que exatamente estamos pagando? Dá para otimizar nossos custos no BigQuery?"

Essas são perguntas que gestores de TI fazem com frequência ao revisar os custos do Google BigQuery na fatura mensal — e com toda razão.

O Google BigQuery é um data warehouse poderoso e essencial para a operação de muitos times. Por isso, é importante saber exatamente como ele está sendo usado. Sem atenção ao uso eficiente dos recursos, como tudo na nuvem pública, a conta pode chegar bem salgada.

Há dois fatores principais por trás desse risco:

O comportamento dos analistas
A natureza dos datasets, tabelas e da configuração de usuários.

Para combater os gastos excessivos no BigQuery hoje, os times costumam combinar controles de custo em vários níveis, o estímulo às boas práticas do BigQuery e o monitoramento do uso de recursos. No quesito monitoramento, as quatro abordagens mais comuns são:

Explorar os BigQuery Audit Logs
Consultar logs exportados no BigQuery
Consultar INFORMATION_SCHEMA.JOBS_BY_* no BigQuery
Usar o BigQuery Dashboard no Cloud Monitoring Console

O problema é que extrair insights sobre o uso de recursos do BigQuery toma muito tempo, já que é preciso desenvolver as queries e montar tudo do zero (talvez até um dashboard). Você precisa configurar as ferramentas de monitoramento no ponto certo para que elas contem a história do seu uso do BQ. Além disso, costuma ser difícil garantir que o time siga as boas práticas do BigQuery, sobretudo quando você não sabe ao certo onde cada um deveria focar e o que precisa melhorar.

Exclusivo para clientes da DoiT International como parte da nossa Cloud Management Platform, apresentamos o BigQuery FinOps Dashboard, a forma mais rápida de iluminar as ineficiências no BigQuery.

Estes são os recursos mais importantes da ferramenta:

Configuração zero — informações importantes entregues a você de forma acessível
Saia da visão panorâmica e chegue à granularidade de olho de águia em poucos cliques
Recomendações práticas de comportamento, query e armazenamento, sob medida para a configuração do seu time.

BigQuery Explorer

Com o Explorer, você analisa seus principais projetos, datasets, tabelas ou usuários por scan ou armazenamento (US$/TB):

BigQuery Explorer

… e tem uma visão mais detalhada ao clicar em um projeto/dataset/tabela/usuário específico:

Visão detalhada do BigQuery Explorer

… e desce a um nível ainda mais granular ao clicar em um job ID:

Detalhes da query

Recomendações práticas

Aviso: você pode soltar um "UAU" ao ler a próxima seção!

O BigQuery FinOps Dashboard entrega recomendações práticas para reduzir seus custos no BigQuery, com base em uma análise criteriosa do seu uso. Para cada recomendação, mostramos uma estimativa de quanto você pode economizar ao colocá-la em prática.

Visão principal das BigQuery Recommendations

Faça cluster e particione suas tabelas

Todo usuário do BigQuery sabe que clustering e particionamento trazem ganhos enormes de performance e custo. Mas não é nada trivial identificar os campos ideais para fazer cluster ou particionar e aproveitar essas melhorias, ainda mais quando você tem vários analistas executando uma enxurrada de queries.

Com um clique, você visualiza suas tabelas e ainda recebe recomendações de campos para clustering e particionamento. Seguindo nossas sugestões e mantendo um padrão de queries semelhante ao anterior, dá para economizar até cerca do valor exibido na coluna Savings Potential.

Visão detalhada das recomendações "Particione suas tabelas" e "Faça cluster das suas tabelas"

Faça backup e remova tabelas ociosas

Por que pagar por tabelas que você não usa mais?! Confira quais não andam sendo consultadas e o custo mensal de mantê-las. Faça backup e remova, ou continue pagando — a escolha é sua.

Visão detalhada de "Faça backup e remova tabelas ociosas"

Limite os query jobs

Pode ser que você esteja rodando as mesmas queries várias vezes e pagando a conta repetidas vezes. Considere limitar os query jobs e use o slider para ver o quanto isso pode economizar.

Visão detalhada de "Limite os query jobs"

Otimização de queries com superQuery

Se você ainda não conhece o superQuery, vale muito a pena dar uma olhada! O superQuery é uma IDE serverless poderosa para vários bancos de dados na nuvem, como Google BigQuery, AWS Athena, DynamoDB e outros. Ele tem um motor de otimização de queries que reduz custos e aumenta a eficiência. O BigQuery FinOps Dashboard mostra quanto você economizaria rodando suas queries pelo superQuery.

Force o uso de campos de partição

Usar campos particionados nas suas queries pode reduzir o custo várias vezes. Mostramos uma visão geral das suas principais queries que não estão usando os campos de partição disponíveis.

Visão detalhada de "Force o uso de campos de partição"

A ferramenta BigQuery FinOps evolui junto com o BigQuery, e os clientes podem contar com recomendações alinhadas às tecnologias mais recentes lançadas pelo Google.

Próximos passos

Quer identificar e otimizar os pontos fracos do seu BigQuery?

Clique aqui para agendar uma demonstração com a DoiT International hoje mesmo e ter acesso ao BigQuery FinOps Dashboard e a outras ferramentas de otimização de nuvem.

Se você já é cliente da DoiT International, boa notícia: o BigQuery FinOps Dashboard já está disponível na sua Cloud Management Platform.

Fale com seu Account Manager para começar ou siga estas instruções para configurar e explorar a ferramenta!