FAQ sur la tarification BigQuery
Des réponses directes sur BigQuery Editions, l'Autoscaling et le Compressed Storage. Ce qui a changé, qui économise, et les points de vigilance.
De hausse du prix on-demand depuis juillet 2023
De remise avec un commitment Editions de 3 ans
Paliers de slots utilisés par l'Autoscaler
Minute de facturation minimum sur les requêtes Editions
L'essentiel
Ce qui a réellement changé dans la tarification BigQuery
Trois évolutions à comprendre avant de toucher à vos réservations ou à vos paramètres de stockage.
L'on-demand coûte plus cher
Le prix de l'analyse on-demand a augmenté d'environ 25 %. Les workloads ponctuels et de courte durée restent généralement les mieux adaptés à ce modèle.
Les Editions remplacent le flat-rate
Les slots mensuels, annuels et Flex disparaissent. Les commitments existants courent jusqu'à leur terme, puis basculent vers les Editions avec Autoscaling.
Le Compressed Storage fait son entrée
Facturation sur les octets physiques plutôt que logiques. Gains importants pour les données riches en chaînes de caractères, plus modestes pour les tables composées d'entiers.
Editions et Autoscaling
Les Editions : parfois moins chères, parfois beaucoup plus coûteuses
L'Autoscaling vous facture les slots alloués, et non les slots réellement utilisés. Il évolue par paliers de 100 avec un délai de réduction d'une minute. Une requête de 10 secondes sur Editions vous coûte donc une minute complète de slots.
Les workloads longs et stables qui analysent beaucoup de données sont généralement gagnants sur Editions. Les requêtes courtes et ponctuelles restent le plus souvent moins chères en on-demand. L'approche pragmatique : répartir les workloads entre plusieurs projets et choisir le modèle de tarification projet par projet.
Compressed Storage
Payez les octets physiques, pas les octets logiques
Le Logical Storage vous facture sur la taille non compressée de vos données. Le Compressed Storage facture les octets physiques sur disque : 0,04 $/Go en stockage actif et 0,02 $/Go en long terme. Le tarif au Go est plus élevé, mais le volume en Go est généralement bien plus faible.
Mêmes API, même comportement des requêtes, aucun impact sur les performances. Un bémol : les requêtes on-demand restent facturées sur les octets non compressés analysés, les économies ne concernent donc que le stockage, pas le compute.
Frequently asked
questions
Le nouveau modèle Editions est-il plus cher que l'ancien flat-rate ?
Tout dépend du workload. Si vous aviez des slots inutilisés en flat-rate, Editions avec Autoscaling peut réduire votre facture de compute. Le Compressed Storage peut alléger la partie stockage. Raisonnez en TCO, pas sur une seule ligne de facturation.
Qu'est-ce qu'un commitment BigQuery, et est-ce la même chose qu'un commitment GCP ?
Ils sont distincts. Un commitment BigQuery vous donne un meilleur tarif slot/heure. Un commitment de 3 ans permet d'obtenir environ 40 % de réduction sur les coûts d'analyse. La tarification du stockage n'est pas remisée.
Dois-je lancer un POC avant d'abandonner l'on-demand ?
Oui. Le comportement des Editions, en particulier les minimums d'Autoscaling et le délai de réduction d'une minute, peut modifier les coûts de façon inattendue. Lancez un POC sur un workload représentatif avant de vous engager.
Quels workloads conviennent aux Editions, et lesquels à l'on-demand ?
Les workloads longs et stables qui analysent de gros volumes de données sont les mieux adaptés aux Editions. Les requêtes courtes et ponctuelles sont généralement moins chères en on-demand, car l'Autoscaling alloue des blocs de 100 slots et facture une minute complète au minimum.
Comment savoir si le Compressed Storage me fera réaliser des économies ?
Tout dépend de la compressibilité. Les données riches en chaînes de caractères se compressent bien. Les données composées d'entiers se compressent mal. Nous proposons une requête dans ce gist GitHub pour comparer vos options : https://gist.github.com/sayle-doit/264d28dd990c478beb90b90ac3923681
Existe-t-il un outil pour modéliser l'impact sur mes coûts ?
Oui. Dupliquez notre feuille BigQuery Current Usage Analysis Tool et suivez les instructions : https://docs.google.com/spreadsheets/d/1Sv6SzATtAyGYID2Wg0qGdcpLfe7YdOsH4dFKHHtS59c/edit
Frequently asked
questions
Puis-je combiner différentes Editions selon les projets ?
Oui. Un projet peut tourner en on-demand, un autre en Standard Edition, un autre en Enterprise. Répartir les workloads entre plusieurs projets est l'un des meilleurs leviers d'optimisation à votre disposition.
Dois-je revoir l'architecture de mon data warehouse ou modifier mon SQL ?
Le SQL fonctionne tel quel. En revanche, si du code achète dynamiquement des slots Flex, il cessera de fonctionner. Le support Terraform est en cours de développement ; utilisez ignore_changes en attendant. Un refactoring peut néanmoins rester pertinent pour réduire la consommation totale de slots.
J'avais un commitment flat-rate avant le 5 juillet. Puis-je quand même utiliser les Editions en complément ?
Oui. Les commitments flat-rate sont convertis en Enterprise Edition à votre tarif engagé pour toute leur durée. Les slots au-delà de votre baseline sont facturés au tarif Enterprise standard. L'Autoscaler peut monter jusqu'au maximum que vous définissez.
Puis-je combiner le Compressed Storage avec un commitment flat-rate annuel ?
Non. Les outils de Google bloquent activement le Compressed Storage lorsqu'une réservation flat-rate existe. Il vous faut des projets en Editions ou en pur on-demand.
En on-demand, suis-je facturé sur les octets analysés compressés ou non compressés ?
Non compressés. Interroger des données compressées depuis un projet on-demand n'apporte aucun avantage sur le coût de compute. Les économies portent uniquement sur le stockage.
Passer au Compressed Storage fait-il perdre les remises de stockage long terme ?
Non. Le mécanisme de stockage long terme s'applique toujours, aux données compressées comme non compressées.
Les requêtes courtes sont-elles vraiment facturées une minute complète sur Editions ?
Oui. Les requêtes Editions sont soumises à un minimum d'une minute en raison du délai de réduction d'une minute de l'Autoscaler. Une requête de 10 secondes coûte une minute de slots.
Comment déterminer le nombre de slots dont j'ai besoin avant de choisir une Edition ?
Dans la console Google Cloud, ouvrez Monitoring, allez dans Metric Explorer et recherchez les métriques de slots. Les clients DoiT peuvent ouvrir un ticket et analyser le sujet avec un spécialiste BigQuery.
Puis-je plafonner mes dépenses maximales avec l'Autoscaler ?
Oui. Définissez une baseline de slots que vous utilisez en permanence et un maximum correspondant à votre plafond de confort. Si vous avez des périodes d'inactivité, fixez la baseline à 0 pour ne pas payer de slots alloués inutilisés.
Quel impact sur les coûts dbt ?
dbt sur BigQuery est très gourmand en compute. Le compute est désormais plus cher sur Editions, donc les workloads dbt coûtent généralement plus cher, sauf à optimiser l'utilisation des slots et à les isoler dans le bon projet.
Les frais de stockage time-travel et fail-safe sur le Compressed Storage, puis-je les désactiver ?
Le time-travel ne peut pas être désactivé, mais vous pouvez réduire la fenêtre de 7 jours à 3. Le fail-safe peut être désactivé. La restauration depuis le fail-safe nécessite un ticket auprès du support Google Cloud.
Certains workloads sont-ils plus chers sur Editions qu'en on-demand, même s'ils étaient gratuits avant ?
Oui. Les rafraîchissements de métadonnées BigLake, par exemple, consomment des slot-heures mais analysent zéro octet, ce qui les rend gratuits en on-demand. Sur Editions, vous payez les slots. Isolez ces jobs dans un projet on-demand.
Des questions sur la tarification BigQuery ?
Échangez avec un spécialiste BigQuery sur vos propres workloads.