Google a récemment annoncé deux modifications tarifaires mineures pour BigQuery cette année. Les utilisateurs de BigQuery (BQ) couplé à Google Cloud Storage (GCS) ont reçu un ou deux e-mails au sujet d'un changement de tarif. Comme ces e-mails se ressemblent beaucoup, je profite de ce billet pour expliquer les différences et vous indiquer comment limiter l'impact sur votre facture cloud.
Quels sont les nouveaux frais ?
Le premier changement entrera en vigueur le 21 octobre 2024 :
Google a commencé à facturer les coûts réseau pour les transferts de données vers d'autres régions, avec deux exceptions. Les transferts entre BQ hébergé dans la multi-région UE et europe-west4, ainsi qu'entre la multi-région US et us-central1, restent gratuits. Ces multi-régions stockent leurs données (la plupart du temps) dans les régions associées : il n'y a donc pas réellement de transfert de données dans ce cas.
Par exemple, si vous clonez ou copiez des données de la multi-région UE vers europe-west2 (Londres), les coûts réseau vous seront facturés.
Les SKU concernés sont :
- Network Data Transfer GCP Multi-region within {{REGION}}
- Network Data Transfer GCP Replication within {{REGION}}
Plus d'informations sur la page tarifaire.
Le second changement entrera en vigueur le 1er novembre 2024 :
Google commence à facturer les opérations de lecture et d'écriture effectuées par BigQuery, comme la lecture de données issues d'une table externe stockée dans GCS. Auparavant, ces opérations étaient gratuites.
Le propriétaire du bucket sera donc facturé pour :
- Les frais de récupération pour les stockages Coldline, Nearline et Archive.
- Les frais de transfert de données réseau inter-régions lors de la lecture de données stockées dans un bucket Cloud Storage à partir d'un dataset BigQuery situé dans un autre emplacement ou une autre région.
Comment limiter l'impact sur votre facture cloud
Il est également essentiel de comprendre que la multi-région BQ est considérée comme un type d'emplacement distinct de la multi-région GCS. Vous devez donc rester vigilant sur les frais de sortie entre BQ et les autres services, en particulier en multi-région.
Pour le vérifier, consultez vos données de facturation : la présence de SKU correspondant à différents emplacements est un bon indicateur.
Pour réduire les frais de transfert inter-régions, stockez vos données dans un bucket Cloud Storage situé dans la même région que le dataset BigQuery de destination lorsque vous importez des données depuis des emplacements Cloud Storage distants. Par exemple :
- Privilégiez les régions uniques, mieux adaptées à la plupart des workloads intégrés à d'autres services Google Cloud :
Si vous lisez des données dans la multi-région BigQuery US, placez votre bucket Cloud Storage dans us-central1.
- Si vous lisez des données dans BigQuery us-west1, placez votre bucket Cloud Storage dans us-west1.
- Par ailleurs, si vous souhaitez co-localiser un bucket Cloud Storage existant avec votre région BigQuery, utilisez la commande gcloud storage ou le Storage Transfer Service pour le déplacer.
Pour réduire les frais de récupération, pensez à :
- Activer Autoclass sur le bucket ;
- Migrer les données depuis Nearline, Coldline ou Archive vers le stockage Standard.
Les SKU suivants couvrent ces frais :
- Archive Data Retrieval
- Coldline Data Retrieval
- Nearline Data Retrieval
DoiT Cloud Navigator facilite le suivi de ces changements
DoiT propose DoiT Cloud Navigator : un outil pour comprendre, optimiser et maîtriser facilement ses coûts cloud. Appuyez-vous sur des dashboards prédéfinis ou personnalisés pour mieux piloter vos dépenses.
Si vous êtes client DoiT, rendez-vous sur :
https://console.doit.com/ → analytics → Reports
Créez un nouveau rapport :
- Ajoutez le filtre Service ;
- Sélectionnez Google Cloud Storage et BigQuery ;
- Groupez les données par SKU ;
- Lancez le rapport !
Capture d'écran de Cloud Navigator
Vous pourrez ainsi visualiser les SKU concernés (voir ci-dessus pour les détails) et mesurer l'impact sur votre facture une fois les changements appliqués.
Besoin de conseils ou d'un accompagnement ?
Rendez-vous sur doit.com/services pour découvrir comment nous pouvons vous aider dès aujourd'hui.