En bref : Google fait évoluer en profondeur le modèle de tarification et de compute de BigQuery, aussi bien pour le compute que pour le stockage. Les nouvelles souscriptions Flat-rate et Flex Slots ne seront plus commercialisées. Les migrations du flat-rate vers ce nouveau modèle de facturation auront lieu en avril, et les nouveaux tarifs entreront en vigueur le 5 juillet 2023.
BigQuery Editions a été annoncé par Google le 29 mars 2023, et il s'agit d'un changement majeur par rapport aux modèles tarifaires en place depuis la majeure partie, voire la totalité, de la vie du produit. Dans cet article, nous abordons le volet compute de BigQuery et ce qui change avec ces annonces. Mon collègue Philipp a rédigé un article consacré aux évolutions côté stockage qui accompagnent Editions ici.
Pour bien apprécier la tarification, mieux vaut considérer simultanément le compute et le stockage : les hausses de prix du compute décrites ici sont compensées, et parfois totalement annulées, par les nouvelles évolutions du stockage.
Avertissement : cet article sera très long, et en tant qu'auteur, je sais que les différents passages intéresseront différents profils selon leur rôle. Je vous invite donc à le parcourir pour cibler ce qui vous concerne. J'ai consigné l'ensemble du savoir collectif de mon équipe chez DoiT International dans cet article, à destination de tous les clients GCP (les nôtres comme tous ceux qui devraient nous rejoindre !), après avoir posé à l'équipe BigQuery toutes les questions imaginables sur le sujet.
Google a également publié son guide pour choisir une Edition et le bon dimensionnement ici.
L'article étant long, voici une table des matières pour faciliter la navigation.
Table des matières
Editions ? Mais qu'est-ce que c'est ?
Quels autres changements sont à prévoir ?
Que se passe-t-il si j'ai déjà un commitment en cours ?
Fin d'une époque pour le Flat-Rate et les Flex Slots
Vue d'ensemble de chaque BigQuery Edition
> Enterprise Plus Edition (EPE)
L'autoscaling dans BigQuery Editions
La bascule automatique vers BigQuery Editions
Combiner Flat-Rate et Editions avec l'autoscaling Pour conclure
Termes clés à connaître
Voici un rappel rapide des termes employés dans cet article. Si vous connaissez déjà BigQuery, la plupart vous seront familiers ; sinon, voici un coup de pouce avant de poursuivre.
Quelques termes existants :
- Job
Un job est une action exécutée sur BigQuery pour effectuer un travail : requête, chargement de données, copie de données, etc. Le type de job le plus courant est la requête, et les deux termes sont souvent employés indifféremment.
- Slot
L'unité de calcul de base utilisée par BigQuery pour exécuter un job. Voyez-le comme une mini-machine virtuelle qui s'associe à beaucoup d'autres pour réaliser le travail d'un job.
- Reservation
Un objet qui réserve un ensemble de slots destinés à zéro ou plusieurs projets qui y sont rattachés.
- Commitment
Un nombre fixe de slots réservés sur une durée engagée, généralement un mois ou un an, en échange d'un tarif réduit.
- Admin Project Un projet désigné comme gestionnaire des reservations et commitments BigQuery. En règle générale, une organisation n'en aura qu'un seul (ou quelques-uns) pour disposer d'un point de gestion unique des ressources BigQuery. Pour les projets flat-rate et Editions, les SKU de facturation des reservations de toute l'organisation sont rattachés à ce projet.
- Flex Slots
Des slots que l'on peut ajouter à une reservation pour absorber un pic de courte durée. Ils sont facturés à la seconde, avec une période minimale de facturation de 60 secondes.
- Idle Slot Un slot qui n'est pas utilisé par un job à un instant donné.
- Workloads
Un workload est un ensemble de jobs exécutés au sein d'un même projet.
La nouvelle terminologie propre à Editions :
- Slot-Hour
L'unité de facturation de base des projets BigQuery Editions. Elle correspond à un slot utilisé par un job pendant une heure. Note : je l'appellerai slot/heure tout au long de cet article, ce qui reflète mieux ce qu'elle représente.
Le calcul des slot/heures consommés est :
Slot/Heure utilisé = <slots utilisés> * (<durée en secondes>/3600 secondes)
- Autoscaling Slots Une nouveauté lancée en preview publique début 2023, qui ajuste le nombre de slots entre une valeur de référence (baseline) et une valeur maximale, en fonction des besoins du workload exécuté.
- Baseline Slots Le nombre minimum de slots maintenus à chaud et actifs dans une reservation BigQuery Editions. Ils sont mobilisés en priorité avant tout autoscaling et sont facturés tant que la reservation est active.
- Max Slots
Le nombre maximal de slots auquel l'autoscaling peut monter dans une reservation BigQuery Editions. Le nombre de slots alloués ne dépassera jamais cette valeur, tous workloads confondus, sur l'ensemble des projets de la reservation parente.
Calendrier
Google a publié un calendrier précisant les dates d'entrée en vigueur de ces changements. Il est essentiel de le connaître pour anticiper.
29 mars 2023
Google annonce BigQuery Editions et les évolutions tarifaires. À noter : la nouvelle tarification ne s'appliquera qu'à partir du 5 juillet.
30 mars 2023
BigQuery Slot Autoscaling passe en disponibilité générale.
Avril 2023 Le déploiement de BigQuery Editions chez les clients démarre, sans changement tarifaire. À ce stade, l'ensemble des commitments et reservations flat-rate seront convertis vers la version Enterprise Edition, avec une convention de nommage incluant le terme flat-rate pour les distinguer.
5 juillet 2023
Fin de commercialisation du flat-rate et des flex slots BigQuery pour tous les clients qui ne sont pas sous contrat.
La tarification Editions s'applique à tous les projets non on-demand.
La nouvelle tarification on-demand de 6,25 USD/To (+25 %) de données scannées entre en vigueur pour les projets on-demand.
Editions ? Mais qu'est-ce que c'est ?
Google avait annoncé Slots Autoscaling plus tôt cette année : un signe avant-coureur discret de BigQuery Editions. BigQuery Editions peut être défini comme une refonte du modèle de tarification compute de BigQuery, qui passe d'un modèle always-on à un modèle pay-per-usage. C'est ce que l'on appelle BigQuery Editions, ou simplement Editions dans cet article.
Comme le laissait entendre Slots Autoscaling, c'est la fondation d'Editions : à l'avenir, le modèle de facturation standard reposera sur la notion de slot/heure, à savoir l'utilisation d'un slot pendant une heure, comme défini plus haut.
Puisqu'on parle d'Editions et non d'Edition, Google a introduit trois niveaux distincts de service, de fonctionnalités et de tarifs au choix, baptisés sans surprise Edition.
La question qui revenait le plus souvent à la sortie de Slots Autoscaling était : ce dispositif va-t-il remplacer les modèles tarifaires actuels ? À l'époque, c'était une inconnue ; mais dans le cadre de cette annonce, Google a confirmé qu'Editions remplacera le modèle flat-rate, Flex Slots compris. Cela prendra effet le 5 juillet.
Peut-on revenir en arrière ?
À moins de disposer d'une DeLorean, malheureusement non : si vous êtes actuellement en flat-rate, Google fera basculer votre tarification vers Editions sans possibilité de retour au modèle précédent.
Concrètement, le 5 juillet 2023, les commitments mensuels seront automatiquement convertis vers le modèle Editions, plus précisément Enterprise Edition (voir plus bas). Les commitments annuels, eux, se poursuivent : il s'agit d'un contrat dont le tarif ne change pas pendant un an.
Malheureusement, si vous êtes sur un commitment annuel, vous êtes verrouillé sur ce volume de slots et ne pourrez plus acheter ni flex slots, ni slots additionnels pour votre commitment après le 5 juillet 2023. Si vous avez besoin de slots supplémentaires, il vous faudra passer à Editions, sauf si Google annonce un compromis à court terme.
Au cours du mois d'avril, une migration technique sera engagée pour convertir l'ensemble des actifs flat-rate en actifs Editions. À ce moment-là, la création de nouvelles reservations flat-rate sera désactivée, et la structure de reservation existante sera figée : il sera uniquement possible de modifier les reservations flat-rate existantes, sans pouvoir en créer de nouvelles.
Quels autres changements sont à prévoir ?
Avant de passer en revue chaque Edition, je tiens à répondre à quelques questions qui ne manqueront pas de brûler les lèvres de chacun : au moment où vous lirez ces lignes, les médias et Twitter auront largement diffusé la nouvelle. Entrons donc dans le vif du sujet, afin que lorsque votre PDG vous appellera demain à 7 h pour savoir ce que cela implique, vous ayez les réponses.
Comme indiqué plus haut, le modèle flat-rate, tant apprécié des utilisateurs intensifs en lecture, va disparaître pour laisser la place à Editions. En avril, Google fera basculer chaque projet rattaché à une reservation flat-rate vers une Edition appelée Enterprise Edition (EE), détaillée plus bas. Cela n'aura PAS d'incidence sur la tarification de ces projets à ce stade.
Aucune dégradation de performance n'est à prévoir pour les workloads existants, et vous ne devriez constater aucun changement côté workload. Google nous a assuré qu'il s'agira d'une transition transparente.
Le dispositif est conçu pour que toute modification des projets reste possible jusqu'au 5 juillet, date à laquelle la tarification Editions entrera officiellement en vigueur.
Que se passe-t-il si j'ai déjà un commitment en cours ?
Si vous êtes en tarification flat-rate, vous avez un commitment, mensuel ou annuel. Le mensuel étant l'option par défaut, c'est probablement votre cas en cas de doute ; vous pouvez aussi vérifier votre facture et chercher les SKU nommés BigQuery Flat Rate Monthly for <region> ou BigQuery Flat Rate Annual for <region>, ce qui vous permettra d'identifier la durée de votre commitment.
Pour les clients sur un commitment mensuel — l'option par défaut —, ces commitments seront automatiquement convertis vers Enterprise Edition (plus de détails dans la suite de l'article) le 5 juillet.
Si vous êtes actuellement sur un commitment annuel, ses conditions ne changeront pas avant son anniversaire ; toutes les reservations qui y sont rattachées basculeront alors sur Enterprise Edition. Et pour cause : un commitment est considéré comme un contrat juridiquement contraignant pour la durée concernée.
Fin d'une époque pour le Flat-Rate et les Flex Slots
Le 5 juillet 2023, l'achat en flat-rate et l'achat de flex slots seront désactivés pour tous les utilisateurs, sauf si vous disposez d'un contrat avec votre équipe Google autorisant explicitement leur utilisation au-delà de cette date. Cela signifie aussi que, même si vous êtes actuellement sur un commitment flat-rate annuel, vous ne pourrez plus acheter de flex slots après le 5 juillet.
Prenons un instant pour inviter tous les fidèles utilisateurs du flat-rate et des flex slots à observer ensemble une minute de silence à leur mémoire.
Une fois cette minute de silence passée, poursuivons.
Concrètement, si vous souhaitez conserver vos slots flat-rate — pour gagner du temps afin de re-architecturer votre environnement et tirer parti de ces changements, ou pour toute autre raison —, mieux vaut souscrire un commitment annuel avant cette date. Et idéalement bien avant le 5 juillet, au cas où l'annonce évoluerait sous l'effet d'une ruée vers l'or sur les commitments.
Et l'usage à la demande ?
Un lecteur attentif ou un utilisateur occasionnel de BQ aura remarqué que jusqu'ici je n'ai évoqué que les changements de facturation flat-rate, et non la tarification on-demand.
Aujourd'hui, le modèle de tarification par défaut de BigQuery est le modèle on-demand, qui facture 5 USD par téraoctet de données scannées par les requêtes ou les jobs dans les régions américaines (également appelé analysis dans la facturation et par de nombreux utilisateurs). À partir du 5 juillet, ce tarif passera à 6,25 USD par téraoctet de données scannées aux États-Unis, et certaines autres régions seront légèrement plus élevées. Il s'agit d'une hausse de 25 %, et comme les tarifs varient selon les régions, ces prix augmenteront aussi de 25 %.
Les fonctionnalités et limites existantes ne changent en rien pour les clients qui choisissent de rester en on-demand. J'y reviendrai plus loin, mais la tarification on-demand offrira le même périmètre fonctionnel que l'Enterprise Plus Edition tout en conservant les limites traditionnelles, comme les 2 000 query slots. La question est revenue plusieurs fois : pour y répondre, BigQuery ML (BQML) restera disponible avec la facturation on-demand après le 5 juillet 2023.
Une autre question fréquente concerne l'on-demand et le Compressed Storage : avec le Compressed Storage et l'on-demand, êtes-vous facturé sur le stockage logique (non compressé) ou physique (compressé) scanné ? Réponse : la facturation se fait sur le stockage non compressé, car BigQuery doit le décompresser avant analyse. Cette valeur figure dans les champs bytes_billed d'INFORMATION_SCHEMA et des sinks de l'audit log.
Edit : j'avais initialement indiqué que l'on-demand ne fonctionnerait pas avec le Compressed Storage, mais c'était inexact ; après quelques recherches, j'ai constaté que cette affirmation était fausse. Si vous êtes Edition-eligible — c'est-à-dire qu'aucun projet flat-rate ne subsiste dans votre organisation, que vous disposez d'une reservation Edition ou que vous êtes en facturation on-demand —, le Compressed Storage est disponible. Notez la précision organisation : s'il reste ne serait-ce qu'une seule reservation flat-rate dans votre organisation au 5 juillet 2023 (issue d'un commitment annuel), vous ne pourrez pas utiliser le compressed storage tant que les conditions de ce commitment ne seront pas arrivées à terme.
Vue d'ensemble de chaque BigQuery Edition
L'un des points sur lesquels Google insiste le plus avec ces Editions, c'est qu'elles n'affectent que la tarification compute de BigQuery, et non le stockage. Le stockage n'est nullement impacté par ces changements. Gardez-le en tête en lisant la suite.
Avant d'entrer dans le détail, notez qu'une Edition donnée s'applique à une reservation, qui peut contenir zéro ou plusieurs projets. Vous pouvez donc combiner différentes Editions à votre guise entre reservations et projets, pour optimiser usage et coûts.
Standard Edition (SE)
- Autoscaling des slots
- Plafond strict de 1 600 slots par reservation
- Maximum de 100 requêtes simultanées
- 5 reservations maximum par admin project
- Exécution des workloads compute dans une seule zone
- Conforme HIPAA
- Clés gérées par Google
- Limite de 5 reservations par projet de type SE
- Ne permet pas d'exécuter de workloads BigQuery ML
- SLA de 99,9 % seulement, donc à éviter pour les workloads de production
Enterprise Edition (EE)
- Toutes les fonctionnalités de la Standard Edition
- Aucune limite de slots ni de requêtes simultanées
- Capacité minimale/baseline garantie et capacité réservée
- Accélération des requêtes
- Cache de résultats partagé entre utilisateurs
- Exécution des workloads BigQuery ML
- Prise en charge des object tables
- VPC Security Controls pour empêcher l'exfiltration de données
- Prise en charge du data masking, ainsi que de la sécurité au niveau des colonnes et des lignes
- Redondance compute zonale et reprise après sinistre (en cas d'indisponibilité d'une zone, les jobs peuvent s'exécuter sur une autre zone de la même région)
- Exécution de jobs entre fournisseurs cloud (BigQuery Omni)
- 200 reservations maximum par admin project
- SLA de 99,99 %
Enterprise Plus Edition (EPE)
- Toutes les fonctionnalités de l'Enterprise Edition
- Clés de chiffrement gérées par le client
- Prise en charge de FedRAMP, ITAR et d'autres exigences de conformité disponibles via Assured Workloads
- Redondance compute régionale et reprise après sinistre (en cas d'indisponibilité d'une région, les jobs peuvent s'exécuter sur une autre région de la même multi-région)
Quelle Edition choisir ?
Comme TROP souvent dans le cloud, la réponse est : ça dépend. Une réponse frustrante : creusons donc et posons quelques questions de base pour vous orienter vers la bonne Edition.
Première question : avez-vous besoin que le compute de votre workload s'exécute dans plus d'une zone ? Si oui, vous pouvez d'emblée écarter la Standard Edition pour ce workload, car elle est limitée à une seule zone. Là encore, cela concerne le volet compute, pas le stockage.
Deuxième question : votre workload aura-t-il besoin de plus de 1 600 slots ? Si oui, la Standard Edition est également écartée. Google a indiqué que la limite de 1 600 slots est stricte et n'autorisera pas la flexibilité en burst comme le font aujourd'hui les 2 000 query slots de l'on-demand.
Troisième question : prévoyez-vous d'utiliser BigQuery ML dans l'un de vos workloads ? Si oui, l'Enterprise Edition est la seule version qui le prend en charge.
Autre point à considérer : si vous atteignez très souvent la limite des 100 requêtes simultanées, je recommande de regarder du côté de l'Enterprise Edition, qui supprime cette limite.
Un scénario de plus en plus courant : si vous devez gérer votre propre clé de chiffrement, cela nécessitera l'Enterprise Plus Edition.
L'élément clé à retenir : chaque projet peut être en on-demand ou se voir appliquer une Edition différente. Cela permet à chaque utilisateur d'optimiser usage et coûts au niveau du projet ou de la reservation.
Pour les clients DoiT, n'hésitez pas à ouvrir un ticket auprès d'un membre de la Customer Reliability Team pour un appel ou une analyse de votre usage.
L'autoscaling dans BigQuery Editions
L'un des grands arguments d'Editions est l'autoscaling des slots, qui permet de monter en charge depuis votre baseline jusqu'à la valeur maximale lorsque davantage de slots sont nécessaires.
C'est extrêmement puissant si vous utilisez aujourd'hui le flat-rate et avez besoin de plus de slots que ce que vous avez réservé. Les Flex Slots offraient une approche pour obtenir des slots supplémentaires, mais ils n'étaient pas automatiques et nécessitaient un outillage additionnel — généralement une Cloud Function exécutée à intervalles réguliers, qui vérifiait la métrique des slots utilisés et ajoutait ou retirait des Flex Slots à une reservation au besoin. Et si vous aviez besoin de slots immédiatement, c'était mission impossible, à moins de construire et de payer une infrastructure supplémentaire à cette fin.
C'est là qu'intervient Editions : tout cela se fait désormais automatiquement, GCP se chargeant du scaling à la hausse comme à la baisse, par job.
Cela dit, il existe une fenêtre de 10 secondes pendant laquelle l'autoscaler détermine comment scaler. Dans nos tests, le chiffre plus réaliste tourne autour de 7 secondes. Cela évite, pour les requêtes courtes, de monter au max alors que les slots ne seraient utilisés moins longtemps que la durée minimum facturée. Concrètement, si une requête s'exécute en 10 secondes, elle ne montera probablement pas jusqu'au max, et peut-être même pas jusqu'à la baseline selon sa complexité.
Une fois les slots montés en charge et le job terminé, il peut s'écouler une minute ou plus avant que les slots ne redescendent et soient disponibles pour le job suivant.
Notez que la baseline et le max représentent un pool de slots partagé entre tous les jobs des projets de la reservation, comme pour une reservation flat-rate. Lorsque les slots ne sont plus utilisés par un job, ils sont déprovisionnés et ne vous sont donc pas facturés — c'est la différence clé avec les Flex Slots, facturés jusqu'à leur retrait manuel.
Dernière remarque sur l'autoscaling : la disponibilité des slots n'est pas garantie sauf dans le cadre d'un commitment (abordé plus loin), et reste soumise à la disponibilité de la région ou multi-région concernée.
Structure des réservations
Les reservations sous BigQuery Editions ne diffèrent pas radicalement des reservations flat-rate précédentes, mais elles introduisent de nouveaux concepts qu'il faut bien comprendre.
Elles sont toujours créées à l'intérieur d'un projet de gestion, et chaque reservation contient zéro ou plusieurs projets auxquels les slots sont alloués. Comme indiqué plus haut dans la comparaison des Editions, il existe désormais des limites sur le nombre de projets qu'une reservation peut contenir, selon le type d'Edition.
Editions introduisant la notion d'autoscaling, on dispose désormais d'une valeur de scaling minimum (les baseline slots) et d'une valeur de scaling maximum (la taille maximale de la reservation). À noter : les baseline slots n'existent pas sur la Standard Edition, sans doute parce qu'elle a un plafond de slots, et cette valeur est toujours à zéro.
La valeur maximale est définie comme la baseline plus le nombre de slots autoscalés au sein de la reservation entière.
Par défaut, si un job (ou un ensemble de jobs) dépasse le maximum d'autoscaling de sa reservation, il peut emprunter des slots à d'autres reservations du même projet de gestion utilisant la même Edition, exactement comme pour une reservation classique. Une case à cocher permet de désactiver cette fonctionnalité dans l'écran Create Reservation :
Explication de l'option Ignore Idle Slots
Dans Editions, il existe un plafond sur le nombre maximal de projets d'administration/gestion pouvant être créés : 5 par organisation. La création d'un 6ᵉ déclenche le message d'erreur suivant :
Message d'erreur lors de la création de plus de 5 projets de gestion dans une organisation.
Commitments pour Editions
Dans la continuité de la tradition, BigQuery Editions reprend la notion de commitment sur une durée donnée en échange d'un tarif réduit. Ces commitments portent sur un volume fixe de slots dédiés payés 24/7, mais à un tarif inférieur. Côté facturation, c'est comme avoir une valeur de Baseline Slots fixée, payée chaque mois jusqu'au terme, mais à un tarif réduit.
L'intérêt des slots engagés sur Editions est d'obtenir un lot de slots dédiés à votre reservation à un tarif plus avantageux, à condition de les utiliser 24/7. Les slots qui ne sont pas utilisés en permanence ne devraient pas être placés en commitment, sous peine de payer pour des ressources inutilisées. Les slots engagés bénéficient d'une garantie de disponibilité.
Contrairement au flat-rate, où vous pouviez choisir un commitment mensuel ou annuel, les commitments Editions n'existent qu'en versions annuelle et triennale.
Comme auparavant en flat-rate, où les commitments se faisaient par tranches de 100 slots, les nouveaux commitments se font par tranches de 100 slot/heures.
Le piège : ils ne sont applicables qu'aux Editions Enterprise et Enterprise Plus. La tarification figure dans la section suivante.
Évolutions tarifaires
La tarification est presque entièrement différente des modèles traditionnels de BigQuery utilisés depuis longtemps. Le nouveau modèle repose sur la notion de slot hour (que nous appelons slot/heure, plus parlant) : un coût par slot pour une heure d'utilisation, facturé à la seconde.
Editions facture votre usage en fonction de la durée d'utilisation d'un slot ; à noter, la facturation est à la seconde, mais l'heure sert d'unité de référence. Ainsi, si vous utilisez un slot pendant 900 secondes (un quart d'heure), vous serez facturé 0,25 slot/heure ; pour 3 600 secondes (1 heure), 1,0 slot/heure. En pratique, vous utiliserez plus d'un slot par job : il suffit de multiplier par le nombre de slots utilisés pour connaître le total des slot/heures facturés.
Il manque un élément pour calculer le prix : le coût par slot/heure, qui varie selon l'Edition choisie. Tous les prix sont en USD pour la multi-région US et peuvent différer dans d'autres régions.
Au lancement, la tarification est la suivante pour chaque Edition :
- Basic Edition : 0,04 USD par slot/heure
- Enterprise Edition : 0,06 USD par slot/heure
- Enterprise Plus Edition : 0,10 USD par slot/heure
La formule globale pour calculer le coût d'un job est donc :
Prix = <Tarif par slot/heure> * <Slots utilisés> * (<Durée en secondes>/3600)
En substance, vous multipliez les slots utilisés par les heures d'utilisation (secondes utilisées / 3 600 secondes), puis par le tarif de l'Edition. Cela paraît plus compliqué que ce ne l'est.
Dernière précision : la période minimale de facturation est de 60 secondes. Cela fonctionne comme pour les flex slots — vous pouvez utiliser moins de 60 secondes, mais la facturation sera de 60 secondes.
La tarification des commitments est la suivante, sachant que la taille minimale est de 100 slots et en supposant 730 heures par mois :
Enterprise Edition
- 1 an :
0,048 USD par slot/heure
4,80 USD pour 100 slot/heures (horaire)
3 504 USD pour 100 slot/heures (mensuel)
42 048 USD pour 100 slot/heures (annuel)
- 3 ans :
0,036 USD par slot/heure
3,60 USD pour 100 slot/heures (horaire)
2 628 USD pour 100 slot/heures (mensuel)
31 536 USD pour 100 slot/heures (annuel)
Enterprise Plus Edition
- 1 an :
0,08 USD par slot/heure
8 USD pour 100 slot/heures (horaire)
5 840 USD pour 100 slot/heures (mensuel)
70 080 USD pour 100 slot/heures (annuel)
- 3 ans :
0,06 USD par slot/heure
6 USD pour 100 slot/heures (horaire)
4 380 USD pour 100 slot/heures (mensuel)
52 560 USD pour 100 slot/heures (annuel)
SKU de facturation
Sous Editions, l'usage des slots est facturé au projet de gestion lui-même, et non aux projets qui lancent les jobs comme c'est le cas dans le modèle on-demand. C'est identique au flat-rate, ce qui limite les ajustements de reporting nécessaires lors de la migration depuis le flat-rate vers les nouveaux SKU. Ces SKU sont regroupés sous BigQuery Reservations API dans les données de facturation.
Les SKU sont nommés ainsi, avec des noms d'edition et de région variables :
- BigQuery Enterprise Edition for US (multi-region)
- BigQuery Basic Edition for US (multi-region)
Pour les commitments, les SKU sont nommés ainsi, là encore avec des noms d'edition et de région variables :
- BigQuery Enterprise Edition 1 Year for US (multi-region)
À noter qu'il n'existe actuellement aucun moyen de rapprocher les coûts du projet ou de la reservation ayant lancé le job concerné. Cela évoluera vraisemblablement aux abords du 5 juillet 2023, ou peu après.
La bascule automatique vers BigQuery Editions
Le 5 juillet 2023, tout projet flat-rate non contractualisé et hors commitment annuel sera converti et commencera à être facturé selon le schéma de l'Enterprise Edition. Google nous a assuré que ce sera un processus indolore, sans impact sur les workloads.
Passer d'on-demand à Editions (ou flat-rate) demande un peu plus de travail. Je recommande vivement de lire la documentation de Google sur le sujet ici avant de basculer, puis de suivre la procédure de création d'une reservation, en sélectionnant l'Edition de votre choix dans le menu plutôt que flat-rate.
Combiner Flat-Rate et Editions avec l'autoscaling
Voici une nouvelle section que je tenais à ajouter, car cette possibilité existe depuis fin avril, mais la documentation officielle n'a pas été mise à jour pour la mettre explicitement en avant, et certains clients l'ignorent. Cela nous a été expliqué lors d'un échange avec l'équipe produit BigQuery, après quelques expérimentations et la découverte d'une référence sur la page Create Reservation (voir la note point d'exclamation dans la capture ci-dessous).
Vous pouvez disposer d'une reservation flat-rate et y ajouter des slots Enterprise Edition autoscalés.
Quoi !?!?! Oui, c'est possible : en avril, Google a migré toutes les reservations et commitments flat-rate vers le backend Enterprise Edition. Ce sont donc, en substance, des reservations et commitments Enterprise Edition, mais avec la tarification flat-rate. Vous pouvez ainsi continuer à payer le flat-rate tout en bénéficiant d'un peu d'autoscaling pour compenser la perte des flex slots, jusqu'au 5 juillet ou jusqu'à la fin de votre commitment flat-rate annuel.
Au sein d'une reservation, cela fonctionne en traitant vos slots de commitment flat-rate comme un niveau de baseline slots dans Editions, facturé au tarif flat-rate, et en montant jusqu'à la taille maximale de la reservation, facturée au tarif EE. Comme tout cela tourne sur Editions côté backend, le fonctionnement est identique à celui d'une reservation Enterprise Edition standard.
Entrons dans le détail avec un exemple.
Imaginons un projet qui utilise 1 000 slots dans une reservation flat-rate et qui exécute mensuellement un job ETL dont la consommation peut grimper jusqu'à 1 500 slots pendant la durée du job.
Vous devrez alors éditer la reservation, ou supprimer l'ancienne et en créer une nouvelle, en fixant la baseline à 1 000 slots et la taille maximale à 1 500 slots, comme indiqué ci-dessous. Si ces valeurs n'apparaissent pas, sélectionnez la taille Custom dans la liste déroulante.
En sauvegardant, vous obtenez une reservation avec 1 000 slots en baseline, facturés au tarif flat-rate, et 500 slots supplémentaires autoscalables, facturés au tarif Enterprise Edition lorsqu'ils sont utilisés.
C'est un bon compromis pour les clients qui veulent un filet de sécurité avec leurs commitments flat-rate annuels au-delà du 5 juillet, tout en conservant la capacité de scaler en cas de besoin. Si ces slots autoscalés sont plus chers que les Flex Slots, ils ont l'avantage de supprimer la nécessité de créer et de supprimer manuellement les reservations.
Notez que ce comportement fonctionnera avec tous les commitments flat-rate mensuels jusqu'au 5 juillet, date à laquelle la possibilité de créer de nouveaux commitments mensuels sera supprimée.
Pour conclure
Chez DoiT International, nous sommes conscients qu'il s'agit d'un changement de paradigme majeur dans la tarification de BigQuery, c'est pourquoi nous tenons à partager les éléments ci-dessus, ainsi que quelques avertissements pour finir.
Préparez-vous à 100 % pour le changement du 5 juillet 2023. En particulier si vous êtes en facturation flat-rate, car le passage du flat-rate à l'Enterprise Edition peut vous coûter sensiblement plus cher. Si vous êtes en on-demand, sachez que la hausse est un forfait de 25 %, donc réduire les coûts de scan en amont contribuera à l'absorber.
Nous vous recommandons d'identifier chaque projet utilisant la facturation BigQuery dans votre organisation et de vérifier s'il est en flat-rate ou en on-demand. Cela évitera toute hausse de coût imprévue. Le mieux est d'utiliser le Billing Explorer ou la console DoiT pour les clients DoiT.
Une des dernières étapes : je vous recommande VIVEMENT de faire les calculs de coûts en fonction de votre usage de slots, puis d'examiner vos coûts de stockage pour voir si la compression peut aider. Avec un changement de prix d'une telle ampleur, l'absence de planification peut entraîner des hausses massives ; il faut donc se préparer. Le délai entre la rédaction de cet article et le 5 juillet est court, mais durant cette période, même un peu de préparation rapportera énormément, surtout en gardant une vision long terme.
Une fois l'analyse des slots réalisée, l'étape finale avant de basculer vos workloads sur Editions devrait être de monter un projet bac à sable et d'y exécuter un échantillon représentatif de vos workloads pour observer leur comportement et les coûts associés. Cela vous donnera une idée du fonctionnement de l'autoscaler et vous aidera à anticiper d'éventuels écarts de coût par rapport à vos calculs.
Ultime remarque : je dois faire l'incontournable promo pour mon entreprise, DoiT International. Aider nos clients à mener ce type d'analyse et à planifier sur le long terme après ce genre de changements fait partie de notre cœur de métier. Si vous n'êtes pas encore client, jetez un œil à ce que nous proposons : nous sommes au top (oui, je suis biaisé, mais je le pense sincèrement) et nous pouvons vous aider, vous et votre entreprise, sur ce type de sujet.