Resumo: o BigQuery agora oferece um novo modelo de preços de armazenamento, baseado no armazenamento físico após a compressão. Com taxas de compressão de até 30%, esse novo modelo pode reduzir bastante sua conta de storage.
O que é o Compressed Storage do BigQuery?
Há alguns meses, o Google anunciou o "Physical Storage Pricing" do BigQuery em preview privado. Hoje, no Google Cloud Data Summit, foi anunciado que o recurso entra em disponibilidade geral em 05/07/2023!
Ele já está disponível para todos os clientes que usam uma das três Editions, ou para qualquer cliente exclusivamente on-demand, agora com o novo nome "Compressed Storage".
Esse recurso pode reduzir drasticamente sua conta do BigQuery se você armazena muitos dados no BigQuery.
Durante o Preview, alguns clientes chegaram a 50% de economia sem perder desempenho. Para mais detalhes, confira nosso case study mais recente com a Plegendary.
Em janeiro, talvez você já tenha reparado em uma nova descrição de SKU para Storage na sua fatura do GCP ou no DoiT Console (se você trabalha com a gente):
Foi só uma mudança de nome: "Active Storage" virou "Active Logical Storage" e "Long Term Storage" passou a se chamar "Long Term Logical Storage".
Depois de habilitar o modelo de cobrança de compressed storage, o preço do armazenamento passa a se basear nos bytes comprimidos usados pelas tabelas do dataset. A compressão é feita automaticamente, sem opção de ajuste fino. Em nossos testes internos, vimos taxas de compressão entre 1:6 e 1:12. Mas isso varia muito conforme o volume e a modelagem dos dados. Não há impacto no desempenho: as consultas continuam tão rápidas quanto antes — o que muda é apenas o modelo de preço do armazenamento.
O modelo de cobrança de compressed storage tem um custo por gigabyte original mais alto — cerca do dobro — em relação ao modelo padrão de logical storage. Mesmo assim, a economia é grande, porque a redução no volume armazenado costuma ser muito maior do que esse dobro.
Algumas mudanças foram feitas na interface do BigQuery para informar o usuário sobre o novo modelo de cobrança:
- Cada tabela agora mostra informações detalhadas sobre Compressed Storage Size, Logical Storage Size e Time Travel Storage Size.
- As views do Information Schema foram atualizadas e agora contam com uma storage-view dedicada.
Quanto custa o compressed storage do BigQuery?
O Compressed Storage será listado em novas SKUs. Na multi-região US, você paga US$ 0,04 por GB de active compressed storage, contra US$ 0,02 por GB de Long Term storage. Consulte a página oficial de preços para conferir os valores da sua região.
(Obs.: as SKUs serão atualizadas em breve para refletir o novo nome compressed storage.)
Para te ajudar a estimar quanto dá para economizar, preparamos uma query que lista os custos por dataset.
Vale lembrar que (diferentemente do Preview) foi introduzido um período fail-safe de 7 dias, que mantém os dados excluídos por mais 7 dias em armazenamento fail-safe depois da janela de time travel. Esse período não é configurável: para recuperar os dados excluídos, é preciso acionar o Google, e eles não podem ser consultados.
Sou elegível?
Clientes que usam exclusivamente o modelo on-demand e que já concluíram a migração dos seus flat-rate slot commitments para BigQuery editions são elegíveis a usar o novo modelo de cobrança physical storage, no qual as cobranças se baseiam no tamanho comprimido dos dados.
Basicamente, a menos que você tenha flat-rate slot commitments, você é elegível ao preço de compressed storage. Se ainda tiver commitments ativos, será preciso cancelá-los ou migrar totalmente para Editions. Caso contrário, não dá para ativar o Compressed Storage Pricing!
Se você já está no Public Preview, continua elegível.
Como ativar o recurso?
Para mudar para o modelo de cobrança compressed storage, você pode usar uma chamada de API, o comando bq CLI ou SQL puro. A documentação traz exemplos, inclusive um snippet para atualizar todos os datasets de um projeto, como este em SQL:
## atualiza o dataset para o modelo de cobrança physical storage
ALTER SCHEMA DATASET_NAME
SET OPTIONS(
storage_billing_model = 'physical');
Ainda assim, antes de ativar o recurso, é preciso falar com seu representante de vendas do Google ou com seu account manager da DoiT.
Dois exemplos bem diferentes
Veja abaixo dois exemplos de tabelas. A primeira teria uma redução de 93% no armazenamento, o que se traduz em 75% de economia no custo. Já na tabela 2, o compressed storage seria um péssimo negócio (+17500%).
BigQuery Editions
Temos um artigo completo com mais detalhes sobre as três Editions recém-lançadas, que você confere aqui.
Atualizações:
- 06/04: incluídos os critérios de elegibilidade e o período fail-safe de 7 dias; data de GA corrigida.