TL;DR: Google stellt das Preis- und Compute-Modell von BigQuery sowohl für Compute als auch für Storage grundlegend um. Neubestellungen von Flat-Rate- und Flex Slots werden eingestellt. Die Migration vom Flat-Rate-Modell auf das neue Abrechnungsmodell läuft im April, die Preisänderungen greifen ab dem 5. Juli 2023.
Google hat BigQuery Editions am 29. März 2023 angekündigt – und damit die Preismodelle, die nahezu seit Beginn von BigQuery existieren, grundlegend umgekrempelt. In diesem Artikel widmen wir uns der Compute-Seite von BigQuery und den Änderungen, die diese Ankündigungen mit sich bringen. Mein Kollege Philipp hat einen Artikel zu den Storage-Änderungen verfasst, die Editions begleiten – Sie finden ihn hier.
Beim Blick auf die Preise lohnt es sich, Compute und Storage gemeinsam zu betrachten, denn die hier beschriebenen Compute-Preiserhöhungen werden durch die neuen Storage-Änderungen abgefedert und in einigen Fällen sogar vollständig ausgeglichen.
Faire Vorwarnung: Das wird ein langer Artikel. Mir als Autor ist klar, dass Personen in unterschiedlichen Rollen unterschiedliche Teile davon brauchen. Überfliegen Sie ihn ruhig, picken Sie sich das Relevante heraus und gehen Sie von dort aus weiter. Ich habe das gesammelte Wissen unseres Teams bei DoiT International in diesen Artikel gepackt – für alle GCP-Kunden (sowohl unsere Bestandskunden als auch alle anderen, die unbedingt zu uns kommen sollten!) – nachdem wir dem BigQuery-Team jede Frage gestellt haben, die uns dazu eingefallen ist.
Auch Google hat einen Leitfaden zur Auswahl der passenden Edition und Größenkonfiguration veröffentlicht – Sie finden ihn hier.
Da der Artikel sehr lang ist, finden Sie unten ein Inhaltsverzeichnis zur schnellen Navigation.
Inhaltsverzeichnis
Editions? Was soll dieser Wahnsinn?
Kann ich aus der Zukunft zurückkehren?
Welche weiteren Änderungen kommen?
Was, wenn ich bereits ein Commitment habe?
Das Ende einer Ära für Flat-Rate und Flex Slots
Was ist mit der On-Demand-Nutzung?
Überblick über die einzelnen BigQuery Editions
> Enterprise Plus Edition (EPE)
Welche Edition sollte ich nutzen?
Autoscaling in BigQuery Editions
Die automatische Umstellung auf BigQuery Editions
Flat-Rate und Editions mit Autoscaling kombinieren Fazit
Wichtige Begriffe
Hier ein kurzer Überblick zu den Begriffen, die in diesem Artikel verwendet werden. Wenn Sie BigQuery bereits kennen, ist Ihnen das meiste vertraut – falls nicht, hilft dieser Abschnitt beim Einstieg.
Bestehende Begriffe:
- Job
Ein Job ist eine Aktion, die in BigQuery ausgeführt wird – etwa eine Abfrage, das Laden oder Kopieren von Daten. Der häufigste Job-Typ ist die Abfrage; beide Begriffe werden oft synonym verwendet.
- Slot
Die grundlegende Compute-Einheit, mit der BigQuery Jobs ausführt. Stellen Sie sich einen Slot wie eine "Mini-VM" vor, die mit vielen anderen zusammenarbeitet, um einen Job abzuarbeiten.
- Reservation
Ein Konstrukt, das eine Menge an Slots reserviert, die von null oder mehr darin enthaltenen Projekten genutzt werden können.
- Commitment
Eine feste Anzahl an Slots, die für einen festen Zeitraum – meist einen Monat oder ein Jahr – reserviert werden, im Gegenzug für einen günstigeren Preis.
- Admin-Projekt: Ein Projekt, das als "Manager" der BigQuery-Reservierungen und -Commitments fungiert. In der Regel hat eine Organisation ein einziges (oder einige wenige) solcher Projekte, um eine zentrale Verwaltung ("Single Pane of Glass") aller BigQuery-Ressourcen zu ermöglichen. Bei Flat-Rate- und Editions-Projekten werden die Abrechnungs-SKUs der Reservierungen organisationsweit diesem Projekt zugeordnet.
- Flex Slots
Slots, die einer Reservierung für kurzfristige Lastspitzen hinzugefügt werden können. Sie werden sekundengenau abgerechnet, mit einer Mindestabrechnungsdauer von 60 Sekunden.
- Idle Slot: Ein Slot, der aktuell in keinem Job genutzt wird.
- Workloads
Ein Workload ist eine Gruppe von Jobs, die innerhalb eines einzelnen Projekts laufen.
Die neuen, Editions-spezifischen Begriffe:
- Slot-Hour
Die grundlegende Abrechnungsmetrik für BigQuery-Editions-Projekte. Sie ist definiert als ein einzelner Slot, der eine Stunde lang in einem Job genutzt wird. Hinweis: In diesem Artikel verwende ich auch die Schreibweise Slot/Stunde, weil sie die Bedeutung treffender wiedergibt.
Die Berechnung der genutzten Slot/Stunden lautet:
Genutzte Slot/Stunden = <genutzte Slots> * (<Dauer in Sekunden>/3600 Sekunden)
- Autoscaling Slots: Ein neues Konstrukt, das Anfang 2023 in die Public Preview ging und die Anzahl der Slots je nach Bedarf eines laufenden Workloads von einem Baseline-Wert bis zu einem Maximalwert hochskaliert.
- Baseline Slots: Die Mindestanzahl an Slots, die in einer BigQuery-Editions-Reservierung "warmgehalten" und aktiv vorgehalten werden. Sie kommen vor dem Autoscaling zum Einsatz und werden abgerechnet, solange die Reservierung aktiv ist.
- Max Slots
Die maximale Slot-Anzahl, auf die in einer BigQuery-Editions-Reservierung hochskaliert werden kann. Über alle Workloads in allen Projekten der zugehörigen Reservierung hinweg wird dieser Wert nie überschritten.
Zeitplan
Google hat einen Zeitplan veröffentlicht, wann die Änderungen in Kraft treten. Es lohnt sich zu wissen, wann was passiert, damit Sie vorbereitet sind.
29. März 2023
Google kündigt BigQuery Editions und die Preisänderungen an. Die neuen Preise greifen erst ab dem 5. Juli.
30. März 2023
BigQuery Slot Autoscaling wird allgemein verfügbar (Generally Available).
April 2023: BigQuery Editions wird ohne Preisänderungen für Kunden ausgerollt. Zu diesem Zeitpunkt werden alle Flat-Rate-Commitments und -Reservierungen auf Varianten der Enterprise Edition umgestellt – mit einer Namenskonvention, die zur Unterscheidung den Zusatz "Flat-Rate" trägt.
5. Juli 2023
End-of-Sale für Flat-Rate und Flex Slots in BigQuery für alle Kunden, die sich nicht aktuell in einem Vertrag befinden.
Die Editions-Preise greifen für alle Nicht-On-Demand-Projekte.
Der neue On-Demand-Preis von 6,25 USD/TB gescannter Daten (Erhöhung um 25 %) gilt für On-Demand-Projekte.
Editions? Was soll dieser Wahnsinn?
Google hat Anfang dieses Jahres Slots Autoscaling angekündigt – ein dezenter Vorbote von BigQuery Editions. BigQuery Editions ist im Kern eine grundlegende Überarbeitung des BigQuery-Compute-Preismodells: weg von Always-on, hin zu Pay-per-Usage. Wir sprechen in diesem Artikel von BigQuery Editions oder kurz Editions.
Wie schon mit Slots Autoscaling angedeutet, ist genau das die Grundlage von Editions: Künftig basiert das Standard-Abrechnungsmodell auf dem Konzept der Slot/Stunde – also der Nutzung eines einzelnen Slots über eine Stunde, wie oben definiert.
Da es Editions und nicht Edition heißt, hat Google drei verschiedene Service-, Funktions- und Preisstufen eingeführt – wenig überraschend jeweils Edition genannt.
Die häufigste Frage rund um Slots Autoscaling lautete: Wird das die aktuellen Preismodelle ersetzen? Damals war das offen – mit dieser Ankündigung hat Google nun klargestellt, dass Editions das Flat-Rate-Preismodell einschließlich der Flex Slots ersetzt. Stichtag ist der 5. Juli.
Kann ich aus der Zukunft zurückkehren?
Ohne zeitreisenden DeLorean leider nein: Wenn Sie aktuell Flat-Rate-Pricing nutzen, stellt Google Sie auf Editions um – ohne Möglichkeit, zum vorherigen Preismodell zurückzukehren.
Konkret: Am 5. Juli 2023 werden monatliche Commitments automatisch in das Editions-Preismodell überführt – konkret in die unten beschriebene Enterprise Edition. Jährliche Commitments laufen weiter, da es sich um Verträge handelt, deren Preise sich für ein Jahr nicht ändern.
Sind Sie auf einem jährlichen Commitment, sind Sie leider an die dort festgelegte Slot-Anzahl gebunden und können nach dem 5. Juli 2023 keine Flex Slots oder zusätzliche Slots mehr hinzukaufen. Brauchen Sie darüber hinaus mehr Slots, müssen Sie auf Editions wechseln – es sei denn, Google stellt kurzfristig einen Mittelweg in Aussicht.
Im April läuft eine "technische Migration", die alle Flat-Rate-Assets in Editions-Assets umwandelt. Ab diesem Zeitpunkt lassen sich keine neuen Flat-Rate-Reservierungen mehr anlegen; die dann bestehende Reservierungsstruktur "friert ein". Bestehende Flat-Rate-Reservierungen lassen sich nur noch bearbeiten, aber nicht neu erstellen.
Welche weiteren Änderungen kommen?
Bevor wir uns die einzelnen Editions im Detail ansehen, möchte ich ein paar Fragen vorwegnehmen, die zwangsläufig unter den Nägeln brennen werden – denn bis Sie das hier lesen, haben Nachrichtenportale und Twitter die News längst breit gestreut. Damit Sie morgen früh um 7 Uhr, wenn der CEO anruft und wissen will, was das alles bedeutet, eine Antwort parat haben.
Wie oben erwähnt, verschwindet das von leseintensiven Nutzern so geschätzte Flat-Rate-Modell zugunsten von Editions. Im April wird Google jedes Projekt mit einer Flat-Rate-Reservierung auf eine Edition namens Enterprise Edition (kurz EE) umstellen, die wir weiter unten behandeln. Die Preise dieser Projekte ändern sich zu diesem Zeitpunkt NICHT.
Performance-Einbußen für bestehende Workloads sollten nicht auftreten, und aus Workload-Sicht sollten Sie keine Veränderungen bemerken. Google hat uns versichert, dass die Umstellung nahtlos verläuft.
Die Umstellung läuft so, dass Änderungen an den Projekten bis zum 5. Juli weiterhin möglich sind – dann starten offiziell die Editions-Preise.
Was, wenn ich bereits ein Commitment habe?
Wer Flat-Rate-Pricing nutzt, hat ein Commitment – entweder monatlich oder jährlich. Monatlich ist die Voreinstellung; im Zweifel ist es also diese Variante. Sie können auch in Ihrer Rechnung nachsehen und nach SKUs mit dem Namen "BigQuery Flat Rate Monthly for <Region>" oder "BigQuery Flat Rate Annual for <Region>" suchen, um die Laufzeit Ihres Commitments zu erkennen.
Bei Kunden mit monatlichem Commitment (Standardfall) werden diese am 5. Juli automatisch auf die Enterprise Edition umgestellt (mehr dazu später im Artikel).
Bei einem aktuell laufenden Jahres-Commitment ändern sich die Konditionen erst zum Vertragsjahrestag – ab dann werden alle damit verknüpften Reservierungen auf die Enterprise Edition umgestellt. Hintergrund: Ein Commitment gilt rechtlich als bindender Vertrag für die jeweilige Laufzeit.
Das Ende einer Ära für Flat-Rate und Flex Slots
Am 5. Juli 2023 werden Flat-Rate-Pricing und Flex-Slot-Käufe für alle Nutzer deaktiviert – es sei denn, Sie haben mit Ihrem Google-Accounts-Team einen Vertrag, der die Nutzung ausdrücklich darüber hinaus erlaubt. Das heißt auch: Selbst in einem aktiven Jahres-Flat-Rate-Commitment können Sie nach dem 5. Juli keine Flex Slots mehr nachkaufen.
An dieser Stelle nehmen wir uns als treue Nutzer von Flat-Rate-Pricing und Flex Slots gemeinsam einen Moment der Stille für deren Abschied.
Sobald dieser Moment vorbei ist, geht es weiter.
Wenn Sie also Ihre Flat-Rate-Slots behalten möchten – sei es, um Zeit für ein Re-Architecting Ihrer Umgebung zu gewinnen oder aus anderen Gründen –, sollten Sie vor diesem Datum ein Jahres-Commitment abschließen. Am besten deutlich vor dem 5. Juli, falls es aufgrund eines "Goldrauschs" auf Commitments noch Anpassungen an der Ankündigung gibt.
Was ist mit der On-Demand-Nutzung?
Aufmerksamen Leserinnen und Lesern oder gelegentlichen BQ-Nutzern wird auffallen, dass ich bisher ausschließlich über Änderungen am Flat-Rate-Modell gesprochen habe – nicht über das On-Demand-Pricing.
Aktuell ist das On-Demand-Modell das Standard-Preismodell von BigQuery. Es berechnet für US-Regionen 5 USD pro Terabyte gescannter Daten durch Abfragen oder Jobs – in der Abrechnung und bei vielen Nutzern auch "Analysis" genannt. Ab dem 5. Juli steigt dieser Preis in den USA und einigen weiteren Regionen auf 6,25 USD pro Terabyte gescannter Daten; andere Regionen liegen geringfügig höher. Das ist eine Erhöhung um 25 %, und da die Preise je nach Region variieren, steigen sie überall um diesen Prozentsatz.
Bestehende Funktionen und Limits bleiben für Kunden, die bei On-Demand bleiben, unverändert. Mehr dazu später, aber: On-Demand bietet denselben Funktionsumfang wie die Enterprise Plus Edition, behält jedoch die traditionellen Limits bei – etwa die 2.000 Query-Slots. Eine häufig gestellte Frage: BigQuery ML (BQML) bleibt auch nach dem 5. Juli 2023 mit On-Demand-Abrechnung verfügbar.
Eine weitere häufig gestellte Frage betrifft On-Demand und Compressed Storage: Wird bei der Kombination aus Compressed Storage und On-Demand der logische (unkomprimierte) oder der physische (komprimierte) gescannte Speicher abgerechnet? Antwort: Abgerechnet wird der unkomprimierte Speicher, da BigQuery die Daten vor der Analyse dekomprimieren muss. Dieser Wert spiegelt sich in den bytes_billed-Werten in INFORMATION_SCHEMA und in den Audit-Log-Sinks wider.
Edit: Zuvor hatte ich geschrieben, On-Demand funktioniere nicht mit Compressed Storage. Das war falsch – nach weiterer Recherche habe ich festgestellt, dass diese Aussage nicht stimmt. Wenn Sie "Editions-eligible" sind – also keine Flat-Rate-Projekte in Ihrer Organisation haben, eine Editions-Reservierung nutzen oder per On-Demand abrechnen –, ist Compressed Storage verfügbar. Beachten Sie die Einschränkung auf Organisationsebene: Bleibt am 5. Juli 2023 auch nur eine einzige Flat-Rate-Reservierung aus einem Jahres-Commitment in Ihrer Organisation übrig, können Sie Compressed Storage erst nach Ablauf dieses Commitments nutzen.
Überblick über die einzelnen BigQuery Editions
Einer der Punkte, die Google bei den Editions besonders betont: Die Änderung betrifft ausschließlich die Compute-Preisseite von BigQuery, nicht den Storage-Teil. Storage ist von diesen Änderungen nicht betroffen. Behalten Sie das beim Weiterlesen im Hinterkopf.
Vorab: Eine einzelne Edition wird auf eine einzelne Reservierung angewendet, die wiederum null oder mehr Projekte enthalten kann. Sie können Editions also über Reservierungen und Projekte hinweg beliebig kombinieren, um Nutzung und Kosten zu optimieren.
Standard Edition (SE)
- Autoscaling von Slots
- Hartes Limit von 1.600 Slots pro Reservierung
- Maximal 100 gleichzeitige Abfragen
- Maximal 5 Reservierungen pro Admin-Projekt
- Compute-Workloads laufen ausschließlich in einer einzigen Zone
- HIPAA-konform
- Von Google verwaltete Schlüssel
- Maximal 5 Reservierungen vom Typ SE pro Projekt
- Keine Ausführung von BigQuery-ML-Workloads möglich
- SLA von nur 99,9 % – für produktive Workloads daher ggf. nicht empfehlenswert
Enterprise Edition (EE)
- Alle Funktionen der Standard Edition
- Kein Limit für Slots oder gleichzeitige Abfragen
- Garantierte Mindest-/Baseline- und reservierte Kapazität
- Query Acceleration
- Cross-User-Result-Cache
- Ausführung von BigQuery-ML-Workloads möglich
- Unterstützung für Object Tables
- VPC Security Controls zur Verhinderung von Datenexfiltration
- Unterstützung für Data Masking sowie Spalten- und Zeilensicherheit
- Zonale Compute-Redundanz und Disaster Recovery (fällt eine Zone aus, können Jobs in einer anderen Zone derselben Region laufen)
- Ausführung von Jobs cloud-übergreifend möglich (BigQuery Omni)
- Maximal 200 Reservierungen pro Admin-Projekt
- SLA von 99,99 %
Enterprise Plus Edition (EPE)
- Alle Funktionen der Enterprise Edition
- Kundenverwaltete Verschlüsselungsschlüssel
- Unterstützung für FedRAMP, ITAR und weitere Compliance-Anforderungen über Assured Workloads
- Regionale Compute-Redundanz und Disaster Recovery (fällt eine Region aus, können Jobs in einer anderen Region innerhalb derselben Multi-Region laufen)
Welche Edition sollte ich nutzen?
Wie es in der Cloud-Welt VIEL zu oft vorkommt, lautet die Antwort: Es kommt darauf an. Diese Antwort ist unbefriedigend, also gehen wir ein paar grundlegende Fragen durch, die Ihnen den Weg zur richtigen Edition weisen.
Erste Frage: Müssen die Compute-Workloads in mehr als einer Zone laufen? Wenn ja, fällt die Standard Edition für diesen Workload sofort raus, denn sie ist auf eine einzige Zone beschränkt. Auch hier gilt: Das betrifft den Compute-Aspekt Ihres Workloads, nicht den Storage.
Zweite Frage: Braucht Ihr Workload mehr als 1.600 Slots? Wenn ja, fällt die Standard Edition ebenfalls weg. Google hat klargestellt, dass die 1.600 Slots ein hartes Limit sind und keine Burst-Flexibilität wie die aktuellen 2.000 On-Demand-Query-Slots zulassen.
Dritte Frage: Planen Sie, BigQuery ML in einem Ihrer Workloads zu nutzen? Falls ja, ist die Enterprise Edition die einzige Variante, die das unterstützt.
Eine weitere Überlegung: Stoßen Sie regelmäßig an die Grenze von 100 gleichzeitigen Abfragen, sollten Sie die Enterprise Edition in Betracht ziehen – dort wurde dieses Limit aufgehoben.
Ein zunehmend häufigeres Szenario: Wenn Sie Ihren eigenen Verschlüsselungsschlüssel verwalten müssen, ist dafür die Enterprise Plus Edition erforderlich.
Das Wichtigste zum Mitnehmen: Jedes Projekt kann On-Demand laufen oder eine eigene Edition nutzen. So lassen sich Nutzung und Kosten auf Projekt- oder Reservierungsebene gezielt optimieren.
DoiT-Kunden können jederzeit ein Ticket beim Customer Reliability Team eröffnen – für ein Gespräch oder eine Analyse Ihrer Nutzung.
Autoscaling in BigQuery Editions
Eines der großen Verkaufsargumente von Editions ist Slot Autoscaling: Es skaliert vom Baseline-Wert bis zum Max-Slot-Wert hoch, wenn Slots gebraucht werden.
Das ist enorm leistungsfähig, wenn Sie aktuell Flat-Rate nutzen und mehr Slots brauchen, als Sie reserviert haben. Flex Slots boten zwar einen Weg zu mehr Slots, liefen aber nicht automatisch und erforderten zusätzliches Tooling – meist eine Cloud Function, die in einem Intervall die genutzte Slot-Metrik prüfte und Flex Slots bei Bedarf zur Reservierung hinzufügte oder entfernte. Wurden Slots sofort gebraucht, hatten Sie Pech – es sei denn, Sie haben eigens dafür zusätzliche Infrastruktur gebaut und bezahlt.
Mit Editions geschieht das nun automatisch, und GCP übernimmt das Hoch- und Herunterskalieren bei Bedarf auf Job-Ebene.
Allerdings gibt es ein 10-Sekunden-Fenster, in dem über die Skalierung entschieden wird. In unseren Tests waren es realistisch eher rund 7 Sekunden. So wird verhindert, dass kurzlebige Abfragen sofort auf das Maximum hochskalieren, wenn die Slots ohnehin nicht länger als die Mindestabrechnungsdauer genutzt werden. Eine Abfrage mit 10 Sekunden Laufzeit skaliert also wahrscheinlich nicht auf Ihre Max-Slots – je nach Komplexität vielleicht nicht einmal auf die Baseline.
Nachdem Slots hochskaliert wurden und der Job abgeschlossen ist, kann es eine Minute oder länger dauern, bis sie wieder herunterskalieren und für den nächsten Job bereitstehen.
Beachten Sie: Sowohl Baseline- als auch Max-Slots stellen einen gemeinsamen Pool über alle Jobs dar, die in Projekten innerhalb einer Reservierung laufen – analog zu einer Flat-Rate-Reservierung. Werden die Slots nicht mehr von einem Job genutzt, werden sie heruntergefahren und nicht weiter abgerechnet – das ist der Unterschied zu Flex Slots, die so lange abgerechnet werden, bis sie manuell entfernt werden.
Eine letzte Anmerkung zum Autoscaling: Slots sind nur dann garantiert verfügbar, wenn sie Teil eines Commitments sind (mehr dazu später) – ansonsten hängt es von der Verfügbarkeit der jeweiligen Region oder Multi-Region ab.
Reservierungsstruktur
Reservierungen unter BigQuery Editions unterscheiden sich nicht stark von früheren Flat-Rate-Reservierungen – allerdings kommen einige neue Konzepte hinzu, die für ein vollständiges Verständnis erläutert werden müssen.
Reservierungen werden weiterhin in einem Management-Projekt erstellt, und in jeder Reservierung können null oder mehr Projekte liegen, denen Slots zur Nutzung zugewiesen werden. Wie oben in der Editions-Übersicht zu sehen, gibt es nun je nach Edition Limits dafür, wie viele Projekte eine Reservierung enthalten kann.
Da Editions das Konzept des Autoscalings einführt, gibt es nun einen minimalen Skalierungswert (Baseline Slots) und einen maximalen Skalierungswert (maximale Reservierungsgröße). Beachten Sie: In der Standard Edition existieren keine Baseline Slots – vermutlich wegen des Slot-Caps –, dieser Wert ist dort immer null.
Der Maximalwert ist definiert als der Baseline-Slot-Wert plus die Anzahl der per Autoscaling hinzukommenden Slots für die gesamte Reservierung.
Standardmäßig kann ein Job (oder eine Gruppe von Jobs), der die maximale Autoscaling-Menge seiner Reservierung überschreitet, Slots aus anderen Reservierungen desselben Management-Projekts mit derselben Edition leihen – genau wie bei einer Standard-Reservierung. Diese Funktion lässt sich im Bildschirm "Create Reservation" über eine Checkbox deaktivieren:
Erläuterung zu "Ignore Idle Slots"
In Editions gibt es eine Obergrenze für die maximale Anzahl an Administrations-/Management-Projekten – nämlich 5 pro Organisation. Beim Versuch, ein 6. Projekt anzulegen, erscheint folgende Fehlermeldung:
Fehlermeldung beim Versuch, mehr als 5 Management-Projekte in einer Organisation zu erstellen.
Commitments für Editions
Ganz traditionell führt BigQuery Editions das Konzept eines Commitments für eine Laufzeit zu einem niedrigeren Preis fort. Diese Commitments werden für eine feste Anzahl dedizierter Slots erstellt, die rund um die Uhr bezahlt werden – allerdings zu einem niedrigeren Tarif. Abrechnungstechnisch entspricht das einem festgelegten Baseline-Slots-Wert, den Sie monatlich bis zum Laufzeitende bezahlen, eben zum vergünstigten Tarif.
Beachten Sie: Der Vorteil von Committed Slots in Editions besteht darin, einen günstigeren Pool dedizierter Slots für Ihre Reservierung zu erhalten, die Sie 24/7 nutzen werden. Slots, die nicht durchgängig genutzt werden, gehören nicht in ein Commitment – sonst zahlen Sie für ungenutzte Ressourcen. Committed Slots sind garantiert verfügbar.
Anders als bei Flat-Rate, wo Sie zwischen monatlichem und jährlichem Commitment wählen konnten, gibt es Editions-Commitments nur als Jahres- und 3-Jahres-Variante.
Wie bisher bei Flat-Rate-Commitments, die in 100er-Schritten an Slots angeboten wurden, sind die neuen Commitments ebenfalls in 100er-Schritten an Slot/Stunden erhältlich.
Der Haken: Commitments gibt es nur für die Enterprise- und Enterprise-Plus-Edition. Die Preise finden Sie im nächsten Abschnitt.
Preisaktualisierungen
Die Preisgestaltung unterscheidet sich nahezu vollständig von den traditionellen Preismodellen, die BigQuery bislang hatte. Das neue Modell basiert auf dem Konzept der Slot Hour (oder, wie wir sie aussagekräftiger nennen: Slot/Stunde) – also einer Gebühr pro Slot für eine Stunde Nutzung, sekundengenau abgerechnet.
Editions rechnet Ihre Nutzung danach ab, wie lange Sie einen Slot nutzen. Die Abrechnung erfolgt sekundengenau, verwendet aber die Stunde als praktischen Bezugspunkt. Wenn Sie also einen einzelnen Slot 900 Sekunden lang nutzen (eine Viertelstunde in Sekunden), werden Ihnen 0,25 Slot/Stunden berechnet; bei 3.600 Sekunden Nutzung (1 Stunde) sind es 1,0 Slot/Stunden. Da Sie hoffentlich mehr als einen einzigen Slot pro Job nutzen, multiplizieren Sie das mit der Anzahl der genutzten Slots, um Ihre abgerechneten Slot/Stunden zu erhalten.
Was zur Preisermittlung noch fehlt, sind die Kosten pro Slot/Stunde – diese unterscheiden sich je nach gewählter Edition. Alle Preise sind in USD für die US-Multi-Region und können in anderen Regionen abweichen.
Zum Start gelten folgende Preise je Edition:
- Basic Edition: 0,04 USD pro Slot/Stunde
- Enterprise Edition: 0,06 USD pro Slot/Stunde
- Enterprise Plus Edition: 0,10 USD pro Slot/Stunde
Die Gesamtformel für die Job-Kosten lautet:
Preis = <Gebühr pro Slot/Stunde> * <genutzte Slots> * (<Dauer in Sekunden>/3600)
Im Kern multiplizieren Sie die genutzten Slots mit der Nutzungsdauer in Stunden (genutzte Sekunden / 3600 Sekunden) und schließlich mit der Editions-Gebühr. Sieht komplizierter aus, als es ist.
Eine letzte Anmerkung: Es gilt eine Mindestabrechnungsdauer von 60 Sekunden. Das funktioniert wie bei Flex Slots: Sie können Slots auch kürzer nutzen, abgerechnet werden aber 60 Sekunden.
Die Commitment-Preise sehen wie folgt aus – wobei 100 Slots die Mindestgröße sind und mit 730 Stunden pro Monat gerechnet wird:
Enterprise Edition
- 1 Jahr:
0,048 USD pro Slot/Stunde
4,80 USD pro 100 Slot/Stunden (stündlich)
3.504 USD pro 100 Slot/Stunden (monatlich)
42.048 USD pro 100 Slot/Stunden (jährlich)
- 3 Jahre:
0,036 USD pro Slot/Stunde
3,60 USD pro 100 Slot/Stunden (stündlich)
2.628 USD pro 100 Slot/Stunden (monatlich)
31.536 USD pro 100 Slot/Stunden (jährlich)
Enterprise Plus Edition
- 1 Jahr:
0,08 USD pro Slot/Stunde
8 USD pro 100 Slot/Stunden (stündlich)
5.840 USD pro 100 Slot/Stunden (monatlich)
70.080 USD pro 100 Slot/Stunden (jährlich)
- 3 Jahre:
0,06 USD pro Slot/Stunde
6 USD pro 100 Slot/Stunden (stündlich)
4.380 USD pro 100 Slot/Stunden (monatlich)
52.560 USD pro 100 Slot/Stunden (jährlich)
Pricing-SKUs
Die Slot-Nutzung unter Editions wird dem Management-Projekt selbst in Rechnung gestellt – nicht den Projekten, die die Jobs starten, wie es im On-Demand-Modell der Fall wäre. Das entspricht dem Vorgehen unter Flat-Rate, wodurch sich die nötigen Reporting-Anpassungen für die neuen SKUs aus der Flat-Rate-Migration in Grenzen halten. Diese SKUs liegen in den Abrechnungsdaten unter der Gruppierung BigQuery Reservations API.
Die SKUs sind nach folgendem Muster benannt, mit unterschiedlichen Edition- und Regionsnamen:
- BigQuery Enterprise Edition for US (multi-region)
- BigQuery Basic Edition for US (multi-region)
Bei Commitments lauten die SKUs entsprechend, ebenfalls mit unterschiedlichen Edition- und Regionsnamen:
- BigQuery Enterprise Edition 1 Year for US (multi-region)
Beachten Sie: Aktuell gibt es keine Möglichkeit, die Kosten dem Projekt oder der Reservierung zuzuordnen, in dem bzw. der der verursachende Job ausgeführt wurde. Das wird sich vermutlich kurz vor oder nach dem 5. Juli 2023 ändern.
Die automatische Umstellung auf BigQuery Editions
Am 5. Juli 2023 wird jedes Flat-Rate-Projekt ohne Vertrag und ohne Jahres-Commitment auf das Abrechnungsschema der Enterprise Edition umgestellt und entsprechend abgerechnet. Google hat uns versichert, dass das ein reibungsloser Prozess wird und keine Workloads beeinträchtigt werden.
Der Wechsel von On-Demand auf Editions (oder Flat-Rate) ist etwas aufwendiger. Ich empfehle dringend, vor dem Wechsel die Google-Dokumentation zum Thema zu lesen – Sie finden sie hier – und anschließend dem Vorgehen zum Anlegen einer Reservierung zu folgen, im Menü aber statt Flat-Rate die gewünschte Edition zu wählen.
Flat-Rate und Editions mit Autoscaling kombinieren
Diesen Abschnitt habe ich neu hinzugefügt, denn das Folgende ist seit Ende April möglich, in der offiziellen Dokumentation aber noch nicht ausdrücklich erwähnt, und einige Kunden . Erklärt wurde uns das in einem Gespräch mit dem BigQuery-Produktteam, nachdem wir einige Experimente gemacht und nur einen Hinweis darauf auf der Seite "Create Reservation" entdeckt hatten (siehe "Ausrufezeichen"-Hinweis im Screenshot unten).
Sie können eine Flat-Rate-Reservierung haben und darüber hinaus autoskalierende Slots der Enterprise Edition obendrauf legen.
Moment, was?!?! Ja, das geht – Google hat im April alle Flat-Rate-Reservierungen und -Commitments auf das Enterprise-Edition-Backend migriert. Es sind also im Grunde Enterprise-Edition-Reservierungen und -Commitments, nur eben zu Flat-Rate-Preisen. Sie können also Flat-Rate bezahlen und gleichzeitig Autoscaling nutzen, um den Wegfall der Flex Slots bis zum 5. Juli oder bis zum Ende Ihres jährlichen Flat-Rate-Commitments auszugleichen.
Innerhalb einer Reservierung funktioniert das so: Ihre Flat-Rate-Commitment-Slots werden als Baseline-Slots-Niveau in Editions behandelt und zum Flat-Rate-Preis abgerechnet. Bei Bedarf wird bis zur maximalen Reservierungsgröße hochskaliert; diese zusätzlichen Slots werden zum EE-Preis abgerechnet. Da im Backend ohnehin alles auf Editions läuft, funktioniert das genauso wie bei einer reinen Enterprise-Edition-Reservierung.
Schauen wir uns die Details anhand eines Beispiels an.
Aktuell läuft ein Projekt, das 1.000 Slots innerhalb einer Flat-Rate-Reservierung nutzt und einen monatlichen ETL-Job hat, der für die Job-Dauer auf 1.500 Slots hochskaliert.
Sie würden die Reservierung bearbeiten – oder die alte löschen und eine neue anlegen – und die Baseline auf 1.000 Slots sowie die maximale Reservierungsgröße auf 1.500 Slots setzen, wie unten gezeigt. Falls Sie diese Werte nicht sehen, wählen Sie im Dropdown die Reservierungsgröße "Custom".
Beim Speichern wird eine Reservierung mit 1.000 Baseline-Slots erstellt, abgerechnet zum Flat-Rate-Preis, plus 500 zusätzliche Slots, die per Autoscaling bei Nutzung zum Tarif der Enterprise Edition abgerechnet werden.
Das ist ein guter Kompromiss für Kunden, die mit ihren jährlichen Flat-Rate-Commitments über den 5. Juli hinaus eine "Schwimmweste" haben und gleichzeitig bei Bedarf skalieren möchten. Die Skalierungs-Slots sind zwar teurer als Flex Slots, aber das manuelle Anlegen und Löschen von Reservierungen entfällt.
Beachten Sie: Dieses Verhalten funktioniert mit allen monatlichen Flat-Rate-Commitments bis zum 5. Juli – ab dann lassen sich keine neuen monatlichen Commitments mehr anlegen.
Fazit
Wir alle bei DoiT International wissen, dass dies ein massiver Paradigmenwechsel in der Preisgestaltung von BigQuery ist. Deshalb möchten wir das obige Wissen mit einigen abschließenden Warnhinweisen teilen.
Stellen Sie sicher, dass Sie zu 100 % auf die Änderung am 5. Juli 2023 vorbereitet sind – insbesondere bei Flat-Rate-Abrechnung, denn der Wechsel von Flat-Rate zur Enterprise Edition kann deutlich teurer werden. Bei On-Demand kommt eine pauschale Erhöhung um 25 %; eine vorherige Reduzierung der Scan-Kosten hilft, das auszugleichen.
Wir empfehlen, jedes Projekt mit BigQuery-Abrechnung in Ihrer Organisation zu identifizieren und zu prüfen, ob es im Flat-Rate- oder On-Demand-Modell läuft. So vermeiden Sie unerwartete Kostensprünge. Am besten gelingt das über den Billing Explorer oder – für DoiT-Kunden – über die DoiT Console.
Einer der letzten Schritte: Ich empfehle DRINGEND, die Kostenrechnung anhand Ihrer Slot-Nutzung durchzuführen und anschließend Ihre Storage-Kosten zu prüfen, um zu sehen, ob Compression dort hilft. Bei einer derartigen Preisänderung kann es ohne Planung zu massiven Kostensprüngen kommen – darauf sollten Sie vorbereitet sein. Die Zeit bis zum 5. Juli ist zwar knapp, aber selbst eine kleine Vorbereitung zahlt sich enorm aus – insbesondere mit einem langfristigen Design im Hinterkopf.
Sobald die Slot-Analyse abgeschlossen ist, sollte der letzte Schritt vor dem produktiven Betrieb von Workloads auf Editions sein, ein "Side-Project" aufzusetzen und eine Stichprobe Ihrer Workloads dort laufen zu lassen, um zu sehen, wie sie performen und welche Kosten anfallen. So bekommen Sie ein Gefühl dafür, wie der Autoscaler arbeitet, und sind auf Überraschungskosten vorbereitet, die von Ihrer Berechnung abweichen können.
Zum Schluss noch der obligatorische Hinweis in eigener Sache: DoiT International. Genau das gehört zu unseren Kernaufgaben – Kunden bei Analyse und langfristiger Planung nach Veränderungen wie dieser zu unterstützen. Wenn Sie noch kein Kunde sind: Schauen Sie gerne bei uns vorbei – wir sind großartig (ja, ich bin hier voreingenommen, aber ich bin ehrlich überzeugt davon) und können Sie und Ihr Unternehmen genau bei solchen Themen unterstützen.