En bref : BigQuery propose désormais une nouvelle tarification du stockage, basée sur le stockage physique après compression. Avec des taux de compression pouvant atteindre 30 %, cette nouvelle tarification peut réduire considérablement votre facture de stockage.
Qu'est-ce que le stockage compressé BigQuery ?
Il y a quelques mois, Google annonçait en private preview la tarification Physical Storage Pricing de BigQuery. Aujourd'hui, lors du Google Cloud Data Summit, son passage en disponibilité générale a été officialisé pour le 5 juillet 2023 !
Elle est désormais accessible à tout client utilisant l'une des trois Editions, ou à tout client exclusivement on-demand, sous le nouveau nom Compressed Storage.
Cette fonctionnalité peut réduire drastiquement votre facture BigQuery si vous stockez de gros volumes de données dans BigQuery.
Pendant la Preview, certains clients ont réalisé jusqu'à 50 % d'économies sans aucune perte de performance. Pour plus de détails, consultez notre dernière étude de cas avec Playgendary.
En janvier, vous avez peut-être déjà repéré une nouvelle description de SKU pour le stockage sur votre facture GCP ou dans la console DoiT (si vous travaillez avec nous) :
Il s'agissait d'un simple changement de nom : Active Storage est devenu Active Logical Storage, et Long Term Storage est devenu Long Term Logical Storage.
Une fois le modèle de facturation du stockage compressé activé, le prix est calculé sur la base des octets compressés utilisés par les tables du dataset. La compression des données est gérée automatiquement, sans possibilité de l'affiner ni de l'ajuster. Lors de nos tests internes, nous avons observé des taux de compression de l'ordre de 1:6 à 1:12. Cela varie toutefois fortement selon le volume et la modélisation des données. Aucune pénalité de performance n'est à prévoir : les requêtes restent aussi rapides qu'auparavant ; seul le modèle de tarification du stockage change.
Le modèle de facturation du stockage compressé applique des coûts par gigaoctet d'origine plus élevés — environ le double — par rapport au modèle de facturation du stockage logique standard. Il permet néanmoins de réaliser d'importantes économies, car la réduction du volume stocké est bien supérieure à ce doublement.
Plusieurs évolutions ont été apportées à l'interface BigQuery pour informer l'utilisateur de ce nouveau modèle de facturation :
- Chaque table affiche désormais le détail de la taille du stockage compressé, du stockage logique et du stockage Time Travel.
- Les vues Information Schema ont été mises à jour et disposent désormais d'une vue dédiée au stockage.
Combien coûte le stockage compressé BigQuery ?
Le stockage compressé est facturé via de nouveaux SKU. Pour la multi-région US, comptez 0,04 $ par Go pour le stockage compressé actif, contre 0,02 $ par Go pour le Long Term storage. Reportez-vous à la page de tarification officielle pour connaître les tarifs applicables à votre région.
(Remarque : les SKU finiront par être mis à jour pour refléter le renommage en stockage compressé.)
Pour mieux estimer le montant des économies possibles, nous avons préparé une requête qui liste les coûts par dataset.
À noter qu'une période fail-safe de 7 jours a été introduite (par rapport à la Preview) : les données supprimées sont conservées 7 jours supplémentaires en stockage fail-safe, après la fenêtre de time travel. Cette période n'est pas configurable ; vous devez contacter Google pour récupérer les données supprimées, qui ne peuvent pas être interrogées.
Suis-je éligible ?
Les clients qui utilisent exclusivement le modèle on-demand, ainsi que ceux ayant finalisé la migration de leurs flat-rate slot commitments vers les BigQuery Editions, sont éligibles au nouveau modèle de facturation du stockage physique, dans lequel les frais reposent sur la taille compressée des données.
En clair, sauf si vous avez des flat-rate slot commitments en cours, vous êtes éligible à la tarification du stockage compressé. Si des commitments sont encore actifs, vous devez soit les annuler, soit migrer entièrement vers les Editions. À défaut, impossible d'activer la tarification du stockage compressé !
Si vous êtes déjà en Public Preview, vous restez éligible.
Comment activer la fonctionnalité ?
Pour passer au modèle de facturation du stockage compressé, vous avez le choix entre un appel d'API, une commande bq CLI ou simplement du SQL. La documentation fournit des exemples, dont un snippet pour mettre à jour l'ensemble des datasets d'un projet, par exemple en SQL :
## bascule du dataset vers le modèle de facturation du stockage physique
ALTER SCHEMA DATASET_NAME
SET OPTIONS(
storage_billing_model = 'physical');
Vous devez toutefois contacter votre représentant commercial Google ou votre account manager DoiT avant d'activer la fonctionnalité.
Deux exemples très différents
Vous trouverez ci-dessous deux exemples de tables. La première bénéficierait d'une réduction de stockage de 93 %, soit une baisse de coût de 75 %. Pour la seconde, en revanche, le stockage compressé serait une mauvaise affaire (+17 500 %).
BigQuery Editions
Nous proposons un article détaillé sur les trois nouvelles Editions, à retrouver ici.
Mises à jour :
- 6 avril : ajout des critères d'éligibilité, ajout de la période fail-safe de 7 jours et correction de la date de GA.