FAQ de preços do BigQuery
Respostas diretas sobre BigQuery Editions, Autoscaling e Compressed Storage. O que mudou, quem economiza e onde ficar atento.
Aumento no preço on-demand desde julho de 2023
Desconto com commit de 3 anos no Editions
Incremento de slots usado pelo Autoscaler
Cobrança mínima de um minuto em queries no Editions
A versão curta
O que de fato mudou nos preços do BigQuery
Três mudanças para entender antes de mexer nas suas reservas ou nas configurações de storage.
On-demand ficou mais caro
O preço da análise on-demand subiu cerca de 25%. Workloads com picos e de execução curta ainda tendem a se encaixar melhor nesse modelo.
Editions substituiu o flat-rate
Slots mensais, anuais e Flex acabaram. Commits vigentes seguem até o fim do prazo e depois migram para o Editions com Autoscaling.
Chegou o Compressed Storage
Cobrança em bytes físicos em vez de bytes lógicos. Ganho grande em dados com muitas strings, ganho menor em tabelas com muitos inteiros.
Editions e Autoscaling
O Editions pode sair mais barato — ou muito mais caro
O Autoscaling cobra pelos slots alocados, não pelos slots usados. Ele escala em blocos de 100, com scale-down de um minuto. Uma query de 10 segundos no Editions ainda custa um minuto inteiro de slots.
Workloads longos e estáveis, que escaneiam bastante dado, tendem a compensar no Editions. Queries curtas e com picos costumam sair mais baratas no on-demand. Na prática: separe os workloads em projetos diferentes e escolha o modelo de preços por projeto.
Compressed Storage
Pague por bytes físicos, não pelos lógicos
O Logical Storage cobra pelo tamanho descomprimido dos seus dados. O Compressed Storage cobra pelos bytes físicos em disco: US$ 0,04/GB ativo e US$ 0,02/GB long-term. A taxa por GB é maior, mas o volume de GB costuma ser bem menor.
Mesmas APIs, mesmo comportamento das queries, sem impacto na performance. Um detalhe: queries on-demand continuam sendo cobradas pelos bytes descomprimidos escaneados, então a economia aparece só no storage, não no compute.
Frequently asked
questions
O novo modelo Editions é mais caro que o antigo flat-rate?
Depende do workload. Se você tinha slots ociosos no flat-rate, o Editions com Autoscaling pode reduzir sua conta de compute. O Compressed Storage pode diminuir o lado do storage. Avalie pelo TCO, não por uma linha isolada.
O que é um commit do BigQuery e é o mesmo que um commit do GCP?
São coisas distintas. O commit do BigQuery garante uma tarifa melhor por slot/hora. Um commit de 3 anos libera cerca de 40% de desconto nos custos de análise. Preços de storage não entram no desconto.
Devo rodar um POC antes de sair do on-demand?
Sim. O comportamento do Editions, principalmente os mínimos do Autoscaling e o scale-down de um minuto, pode mudar os custos de formas nada óbvias. Rode um POC em um workload representativo antes de se comprometer.
Quais workloads combinam com o Editions e quais com o on-demand?
Workloads longos e estáveis, que escaneiam muitos dados, se dão melhor no Editions. Queries curtas e com picos costumam sair mais baratas no on-demand, porque o Autoscaling aloca blocos de 100 slots e cobra por um mínimo de um minuto.
Como saber se o Compressed Storage vai gerar economia?
Depende da compressibilidade. Dados com muitas strings comprimem bem. Dados com muitos inteiros comprimem mal. Temos uma query neste gist do GitHub que compara suas opções: https://gist.github.com/sayle-doit/264d28dd990c478beb90b90ac3923681
Existe alguma ferramenta para modelar o impacto nos meus custos?
Sim. Duplique nossa planilha BigQuery Current Usage Analysis Tool e siga as instruções: https://docs.google.com/spreadsheets/d/1Sv6SzATtAyGYID2Wg0qGdcpLfe7YdOsH4dFKHHtS59c/edit
Frequently asked
questions
Posso misturar diferentes Editions entre projetos?
Sim. Um projeto pode rodar em on-demand, outro no Standard Edition e outro no Enterprise. Separar workloads por projeto é uma das melhores alavancas de otimização que você tem.
Preciso reestruturar meu data warehouse ou reescrever SQL?
O SQL roda como está. Se você tem código que compra slots Flex dinamicamente, isso deixa de funcionar. O suporte no Terraform está em andamento, então use ignore_changes enquanto isso. Ainda assim, pode valer a pena refatorar para reduzir o consumo total de slots.
Eu tinha um commit flat-rate antes de 05/07. Ainda posso usar o Editions em cima disso?
Sim. Commits flat-rate são convertidos em Enterprise Edition pelo preço contratado até o fim do prazo. Slots acima do seu baseline são cobrados na tarifa padrão do Enterprise. O Autoscaler pode escalar até um máximo definido por você.
Dá para combinar Compressed Storage com um commit anual flat-rate?
Não. A tooling do Google bloqueia ativamente o Compressed Storage quando existe uma reserva flat-rate. É preciso ter projetos no Editions ou puramente on-demand.
No on-demand, sou cobrado pelos bytes escaneados comprimidos ou descomprimidos?
Descomprimidos. Não há vantagem de custo de compute ao consultar dados comprimidos em um projeto on-demand. A economia é só no storage.
Migrar para o Compressed Storage quebra os descontos de long-term storage?
Não. O mecanismo de long-term storage continua valendo tanto para dados comprimidos quanto descomprimidos.
Queries curtas realmente vão ser cobradas por um minuto inteiro no Editions?
Sim. Queries no Editions batem no mínimo de um minuto por causa do scale-down de um minuto do Autoscaler. Uma query de 10 segundos custa um minuto de slots.
Como descobrir de quantos slots preciso antes de escolher uma Edition?
No Google Cloud Console, abra o Monitoring, vá até o Metric Explorer e pesquise por métricas de slot. Clientes DoiT podem abrir um ticket e revisar esses números com um especialista em BigQuery.
Dá para limitar o gasto máximo com o Autoscaler?
Sim. Defina um baseline de slots que você sempre usa e um máximo no seu teto de conforto. Se você tem períodos ociosos, deixe o baseline em 0 para não pagar por slots alocados sem uso.
Como ficam os custos do dbt?
dbt no BigQuery é intensivo em compute. E compute ficou mais caro no Editions, então workloads de dbt costumam custar mais, a menos que você ajuste o uso de slots e isole tudo no projeto certo.
Cobranças de time-travel e fail-safe storage no Compressed Storage. Dá para desligar?
O time-travel não pode ser desativado, mas você pode reduzir a janela de 7 para 3 dias. O fail-safe pode ser desativado. Restaurar a partir do fail-safe exige abrir um ticket no suporte do Google Cloud.
Alguns workloads ficam mais caros no Editions do que no on-demand, mesmo sendo gratuitos antes?
Sim. Os refreshes de metadados do BigLake, por exemplo, consomem slot-hours mas escaneiam zero bytes, ou seja, saíam de graça no on-demand. No Editions, você paga pelos slots. Isole esses jobs em um projeto on-demand.
Tem dúvidas sobre preços do BigQuery?
Trabalhe com um especialista em BigQuery focado nos seus workloads.