TLDR; BigQuery bietet ein neues Storage-Pricing, das nach der Kompression auf dem physischen Speicher basiert. Mit Kompressionsraten von bis zu 30 % senkt dieses Preismodell Ihre Storage-Rechnung erheblich.
Was ist BigQuery Compressed Storage?
Vor einigen Monaten kündigte Google das BigQuery "Physical Storage Pricing" in einer Private Preview an. Heute, auf dem Google Cloud Data Summit, wurde die General Availability zum 5. Juli 2023 bekannt gegeben.
Das Feature steht nun allen Kunden zur Verfügung, die eine der drei Editions nutzen, sowie allen exklusiven On-Demand-Kunden – unter dem neuen Namen "Compressed Storage".
Dieses Feature kann Ihre BigQuery-Rechnung drastisch reduzieren, wenn Sie große Datenmengen in BigQuery speichern.
Während der Preview-Phase erzielten einige Kunden Einsparungen von bis zu 50 % – bei voller Performance. Mehr dazu in unserer aktuellen Case Study mit Playgendary.
Im Januar ist Ihnen womöglich bereits eine neue SKU-Bezeichnung für Storage auf Ihrer GCP-Rechnung oder in der DoiT Console aufgefallen (sofern Sie mit uns arbeiten):
Es handelte sich dabei lediglich um eine Umbenennung: Aus "Active Storage" wurde "Active Logical Storage", aus "Long Term Storage" wurde "Long Term Logical Storage".
Sobald Sie das Compressed-Storage-Abrechnungsmodell aktivieren, richtet sich der Speicherpreis nach den komprimierten Bytes, die die Tabellen im jeweiligen Dataset belegen. Die Datenkompression läuft automatisch und lässt sich weder feinjustieren noch anpassen. In unseren internen Tests haben wir Kompressionsraten zwischen 1:6 und 1:12 gemessen. Diese hängen jedoch stark vom Datenvolumen und der Datenmodellierung ab. Performance-Einbußen gibt es keine: Queries laufen genauso schnell wie zuvor – nur das Preismodell für Storage ändert sich.
Das Compressed-Storage-Abrechnungsmodell hat höhere – etwa doppelt so hohe – Storage-Kosten pro ursprünglichem Gigabyte als das Standard-Logical-Storage-Modell. Unter dem Strich sparen Sie dennoch deutlich, weil die Storage-Reduktion in der Regel weit mehr als das Doppelte ausmacht.
Auch in der BigQuery-Oberfläche hat sich einiges getan, damit Sie das neue Abrechnungsmodell im Blick behalten:
- Jede Tabelle enthält jetzt detaillierte Angaben zur Compressed Storage Size, Logical Storage Size und Time Travel Storage Size.
- Die Information-Schema-Views wurden aktualisiert und bieten nun eine dedizierte Storage-View.
Was kostet BigQuery Compressed Storage?
Compressed Storage wird unter neuen SKUs geführt. In der US-Multi-Region zahlen Sie 0,04 $ pro GB für Active Compressed Storage gegenüber 0,02 $ pro GB für Long Term Storage. Die tatsächlichen Preise für Ihre Region entnehmen Sie bitte der offiziellen Preisseite.
(Hinweis: Die SKUs werden nach und nach aktualisiert, um das jüngste Rebranding auf Compressed Storage abzubilden.)
Damit Sie ein besseres Gefühl für Ihr Sparpotenzial bekommen, haben wir eine Query vorbereitet, die die Kosten pro Dataset auflistet.
Beachten Sie: Im Vergleich zur Preview wurde eine 7-tägige Fail-Safe-Periode eingeführt. Gelöschte Daten bleiben nach Ablauf des Time-Travel-Fensters weitere 7 Tage im Fail-Safe-Storage erhalten. Die Periode ist nicht konfigurierbar; um an gelöschte Daten zu kommen, müssen Sie sich an Google wenden – Queries darauf sind nicht möglich.
Bin ich berechtigt?
Kunden, die ausschließlich das On-Demand-Modell nutzen und die Migration ihrer Flat-Rate-Slot-Commitments auf BigQuery Editions abgeschlossen haben, können das neue Physical-Storage-Abrechnungsmodell nutzen, bei dem sich die Kosten an der komprimierten Datengröße orientieren.
Kurz gesagt: Solange Sie keine Flat-Rate-Slot-Commitments haben, können Sie das Compressed-Storage-Pricing nutzen. Laufen noch Commitments, müssen Sie diese entweder kündigen oder vollständig auf Editions migrieren. Sonst lässt sich Compressed Storage Pricing nicht aktivieren.
Wer bereits an der Public Preview teilnimmt, bleibt weiterhin berechtigt.
Wie aktiviere ich das Feature?
Den Wechsel auf das Compressed-Storage-Abrechnungsmodell nehmen Sie per API-Aufruf, bq-CLI-Befehl oder direkt per SQL vor. Die Dokumentation liefert Beispiele, darunter ein Snippet, mit dem Sie alle Datasets innerhalb eines Projekts auf einmal aktualisieren – etwa so in SQL:
## Dataset auf Physical-Storage-Abrechnungsmodell umstellen
ALTER SCHEMA DATASET_NAME
SET OPTIONS(
storage_billing_model = 'physical');
Bevor Sie das Feature aktivieren, sprechen Sie jedoch zunächst mit Ihrem Google Sales Representative oder Ihrem DoiT Account Manager.
Zwei sehr unterschiedliche Beispiele
Im Folgenden sehen Sie zwei Beispieltabellen. Die erste Tabelle würde von einer Storage-Reduktion um 93 % profitieren – das entspricht 75 % weniger Kosten. Bei Tabelle 2 hingegen wäre Compressed Storage ein schlechtes Geschäft (+17.500 %).
BigQuery Editions
Einen ausführlichen Artikel zu den drei neu eingeführten Editions finden Sie hier.
Updates:
- 6. April: Berechtigungskriterien ergänzt, 7-tägige Fail-Safe-Periode hinzugefügt & GA-Datum korrigiert