O Google anunciou recentemente duas pequenas mudanças de preço no BigQuery que entram em vigor ainda este ano. Quem usa o BigQuery (BQ) junto com o Google Cloud Storage (GCS) recebeu um ou dois e-mails sobre essas alterações. Como as mensagens são bem parecidas, escrevi este post para explicar as diferenças e mostrar como reduzir o impacto na sua fatura de nuvem.
Quais são as novas cobranças?
A primeira mudança entra em vigor em 21/10/2024:
O Google passou a cobrar custos de rede pela transferência de dados para outras regiões, com duas exceções: transferências entre o BQ hospedado na multi-região da UE e europe-west4, e entre a multi-região dos EUA e us-central1, continuam gratuitas. Essas multi-regiões armazenam os dados (na maior parte do tempo) nas regiões associadas, então não há de fato uma transferência de dados nesses casos.
Por exemplo, se você clonar ou copiar dados da multi-região da UE para europe-west2 (Londres), o custo de rede será cobrado.
As SKUs envolvidas são:
- Network Data Transfer GCP Multi-region within {{REGION}}
- Network Data Transfer GCP Replication within {{REGION}}
Mais detalhes sobre os valores estão na página de preços.
A segunda mudança entra em vigor em 01/11/2024:
O Google começará a cobrar pelas operações de leitura e escrita feitas pelo BigQuery, como a leitura de dados de uma tabela externa armazenada no GCS. Até então, não havia cobrança.
Ou seja, o dono do bucket passará a pagar por:
- Taxas de recuperação nos armazenamentos Coldline, Nearline e Archive.
- Taxas de transferência de dados de rede inter-região ao ler dados armazenados em um bucket do Cloud Storage a partir de um dataset do BigQuery em outra localização/região.
Como reduzir o impacto na sua fatura de nuvem
Vale lembrar que a multi-região do BQ é considerada um tipo de localização diferente da multi-região do GCS. Por isso, fique atento às cobranças de egress entre o BQ e outros serviços, principalmente ao usar multi-regiões.
Para confirmar, dê uma olhada nos seus dados de billing e veja se aparecem SKUs de localizações distintas — isso costuma ser um bom indicador.
Para reduzir as cobranças de transferência inter-região, ao importar dados de localizações remotas do Cloud Storage, mantenha esses dados em um bucket próximo do dataset de destino no BigQuery. Por exemplo:
- Migre para regiões únicas, que costumam ser a melhor opção para a maioria dos workloads integrados a outros serviços do Google Cloud:
Se você lê dados na multi-região US do BigQuery, vale colocar o bucket do Cloud Storage em us-central1.
- Se lê dados no BigQuery em us-west1, coloque o bucket do Cloud Storage também em us-west1.
- E se quiser realocar um bucket já existente do Cloud Storage para a mesma região do seu BigQuery, dá para usar o comando gcloud storage ou o Storage Transfer Service.
Para reduzir as taxas de recuperação, considere:
- Ativar o Autoclass no bucket;
- Migrar dados de Nearline, Coldline ou Archive para o armazenamento Standard.
As SKUs a seguir cobrem essas cobranças:
- Archive Data Retrieval
- Coldline Data Retrieval
- Nearline Data Retrieval
Acompanhe o impacto dessa mudança com o DoiT Cloud Navigator
A DoiT oferece o DoiT Cloud Navigator, que ajuda você a entender, otimizar e controlar seus custos de nuvem com facilidade. Use dashboards prontos ou crie os seus para ter mais controle sobre os gastos.
Se você é cliente DoiT, acesse:
https://console.doit.com/ → analytics → Reports
Crie um novo relatório:
- Adicione "Service Filter";
- Selecione Google Cloud Storage e BigQuery;
- Agrupe os dados por SKU;
- Rode o relatório!
Screenshot do Cloud Navigator
Você verá as SKUs relevantes (detalhes acima) e poderá entender o impacto na sua fatura assim que as mudanças entrarem em vigor.
Precisa de ajuda ou orientação?
Acesse doit.com/services e veja como podemos ajudar hoje mesmo!