Google hat kürzlich zwei kleinere Preisänderungen für BigQuery angekündigt, die noch in diesem Jahr in Kraft treten. Wer BigQuery (BQ) zusammen mit Google Cloud Storage (GCS) nutzt, hat dazu bereits ein oder zwei E-Mails erhalten. Da sich diese Mails stark ähneln, erkläre ich in diesem Blogbeitrag die Unterschiede und zeige, wie Sie die Auswirkungen auf Ihre Cloud-Rechnung gering halten.
Welche neuen Gebühren kommen auf Sie zu?
Die erste Änderung greift ab 21. Oktober 2024:
Google berechnet künftig Netzwerkkosten für Datentransfers in andere Regionen – mit zwei Ausnahmen. Transfers zwischen BQ in der EU-Multi-Region und europe-west4 sowie zwischen der US-Multi-Region und us-central1 bleiben weiterhin kostenlos. Diese Multi-Regionen speichern ihre Daten in den meisten Fällen in genau diesen zugehörigen Regionen, sodass hier faktisch kein Datentransfer stattfindet.
Wenn Sie etwa Daten aus der EU-Multi-Region nach europe-west2 (London) klonen oder kopieren, fallen künftig Netzwerkkosten an.
Folgende SKUs sind betroffen:
- Network Data Transfer GCP Multi-region within {{REGION}}
- Network Data Transfer GCP Replication within {{REGION}}
Weitere Details zu den Kosten finden Sie auf der Preisseite.
Die zweite Änderung greift ab 1. November 2024:
Google berechnet künftig Lese- und Schreibvorgänge, die BigQuery ausführt – etwa das Lesen von Daten aus einer in GCS gespeicherten externen Tabelle. Bisher waren diese Vorgänge kostenfrei.
Konkret heißt das: Dem Bucket-Eigentümer werden folgende Posten in Rechnung gestellt:
- Abrufgebühren für Coldline-, Nearline- und Archive-Storage.
- Netzwerkgebühren für regionsübergreifende Datentransfers, wenn Daten aus einem Cloud-Storage-Bucket gelesen werden, der in einer anderen Region als das BigQuery-Dataset liegt.
So halten Sie die Auswirkungen auf Ihre Cloud-Rechnung gering
Wichtig zu wissen: Eine BQ-Multi-Region gilt als anderer Standorttyp als eine GCS-Multi-Region. Achten Sie daher gerade bei Multi-Region-Setups auf Egress-Gebühren zwischen BQ und anderen Services.
Zur Prüfung können Sie Ihre Abrechnungsdaten auf SKUs für unterschiedliche Standorte durchsehen – das ist ein deutliches Indiz dafür, dass dieser Fall bei Ihnen vorliegt.
Um regionsübergreifende Transferkosten zu reduzieren, sollten Sie Daten in einem Cloud-Storage-Bucket ablegen, der sich in derselben Region wie das Ziel-BigQuery-Dataset befindet – vor allem, wenn Sie Daten aus entfernten Cloud-Storage-Standorten importieren. Beispiele:
- Setzen Sie auf einzelne Regionen – sie eignen sich am besten für die meisten Workloads im Zusammenspiel mit anderen Google-Cloud-Services:
Wenn Sie Daten in die BigQuery US-Multi-Region einlesen, sollten Sie Ihren Cloud-Storage-Bucket in us-central1 platzieren.
- Wenn Sie Daten in BigQuery us-west1 einlesen, platzieren Sie Ihren Cloud-Storage-Bucket ebenfalls in us-west1.
- Möchten Sie einen bestehenden Cloud-Storage-Bucket in dieselbe Region wie Ihr BigQuery-Dataset verschieben, können Sie dafür den gcloud storage Command oder den Storage Transfer Service nutzen.
Um Abrufgebühren zu senken, bieten sich diese Schritte an:
- Aktivieren Sie Autoclass für den Bucket.
- Migrieren Sie Daten von Nearline, Coldline oder Archive zu Standard Storage.
Folgende SKUs decken diese Gebühren ab:
- Archive Data Retrieval
- Coldline Data Retrieval
- Nearline Data Retrieval
Mit DoiT Cloud Navigator behalten Sie die Auswirkungen mühelos im Blick
DoiT bietet den DoiT Cloud Navigator – damit verstehen, optimieren und steuern Sie Ihre Cloud-Kosten ganz unkompliziert. Vorgefertigte oder eigene Dashboards verschaffen Ihnen jederzeit den vollen Überblick.
Als DoiT-Kunde gehen Sie so vor:
https://console.doit.com/ → Analytics → Reports
Legen Sie einen neuen Report an:
- Fügen Sie einen "Service Filter" hinzu.
- Wählen Sie Google Cloud Storage und BigQuery aus.
- Gruppieren Sie die Daten nach SKU.
- Report ausführen!
Screenshot Cloud Navigator
Sie sehen die relevanten SKUs (Details siehe oben) und können die Auswirkungen auf Ihre Rechnung nachvollziehen, sobald die Änderungen wirksam werden.
Sie brauchen Unterstützung oder Beratung?
Besuchen Sie doit.com/services und erfahren Sie, wie wir Sie schon heute unterstützen können.