Google BigQuery-Kosten senken mit klaren Empfehlungen

Frisch von DoiT International veröffentlicht: Das BigQuery FinOps Dashboard ist Ihr Schweizer Taschenmesser, um Ineffizienzen in Ihrer Google BigQuery-Nutzung aufzudecken.

"Wofür zahlen wir hier eigentlich? Und lassen sich unsere BigQuery-Kosten optimieren?"

Diese Fragen stellen sich IT-Verantwortliche regelmäßig, wenn sie ihre monatlichen Google BigQuery-Rechnungen prüfen – und das zu Recht.

Google BigQuery ist ein leistungsstarkes Big-Data-Warehouse und für viele Teams unverzichtbar. Umso wichtiger ist es, genau zu wissen, wie es genutzt wird. Wer nicht auf eine effiziente Ressourcennutzung achtet, zahlt – wie überall in der Public Cloud – schnell drauf.

Zwei Hauptfaktoren tragen zu diesem Risiko bei:

das Verhalten der Analysten
die Beschaffenheit ihrer Datasets, Tabellen und User-Setups

Um BigQuery-Mehrkosten in den Griff zu bekommen, setzen Teams heute meist auf eine Kombination aus Cost Controls auf verschiedenen Ebenen, der Einhaltung der BigQuery Best Practices und einem laufenden Monitoring der Ressourcennutzung. Beim Monitoring sind diese vier Wege am verbreitetsten:

Auswertung der BigQuery Audit Logs
Abfrage exportierter Logs in BigQuery
Abfrage von INFORMATION_SCHEMA.JOBS_BY_* in BigQuery
Nutzung des BigQuery Dashboards in der Cloud Monitoring Console

Der Haken: Aussagekräftige Erkenntnisse zur BigQuery-Nutzung zu gewinnen, kostet enorm viel Zeit. Sie müssen Queries selbst entwickeln und alles eigenständig aufsetzen – möglicherweise sogar ein eigenes Dashboard. Monitoring-Tools müssen exakt konfiguriert sein, damit sie Ihnen ein vollständiges Bild Ihrer BQ-Nutzung liefern. Hinzu kommt: Die BigQuery Best Practices teamweit durchzusetzen ist meist schwierig – vor allem, wenn Sie selbst nicht genau wissen, worauf der Fokus liegen sollte und wo Verbesserungsbedarf besteht.

Exklusiv für Kunden von DoiT International stellen wir im Rahmen unserer Cloud Management Platform das BigQuery FinOps Dashboard vor – der schnellste Weg, Ineffizienzen in BigQuery sichtbar zu machen.

Das sind die wichtigsten Funktionen des Tools:

Zero Configuration – relevante Informationen werden Ihnen direkt und übersichtlich aufbereitet
Mit wenigen Klicks vom Überblick aus der Vogelperspektive zur Detailansicht mit Adlerblick
Konkrete Empfehlungen zu Nutzerverhalten, Queries und Storage – passgenau für Ihr Team-Setup

BigQuery Explorer

Mit dem Explorer analysieren Sie Ihre Top-Projekte, Datasets, Tabellen oder Nutzer nach Scan- oder Storage-Kosten ($/TB):

BigQuery Explorer

… und mit einem Klick auf ein bestimmtes Projekt, Dataset, eine Tabelle oder einen Nutzer erhalten Sie einen detaillierteren Überblick:

BigQuery Explorer – Detailansicht

… und über einen Klick auf eine Job-ID gehen Sie noch weiter ins Detail:

Query-Details

Konkrete Empfehlungen

Achtung: Beim nächsten Abschnitt sagen Sie womöglich "WOW"!

Das BigQuery FinOps Dashboard liefert Ihnen konkrete Empfehlungen zur Senkung Ihrer BigQuery-Kosten – auf Basis einer sorgfältigen Analyse Ihrer Nutzung. Zu jeder Empfehlung sehen Sie eine Schätzung, wie viel Sie durch deren Umsetzung sparen können.

BigQuery Recommendations – Hauptansicht

Tabellen clustern und partitionieren

Jeder BigQuery-Nutzer weiß: Clustering und Partitionierung bringen erhebliche Performance- und Kostenvorteile. Allerdings ist es alles andere als trivial herauszufinden, welche Felder sich dafür eignen – vor allem, wenn mehrere Analysten unzählige Queries laufen lassen.

Mit einem Klick erhalten Sie eine Übersicht Ihrer Tabellen samt Empfehlungen für Cluster- und Partitionierungsfelder. Wenn Sie unseren Vorschlägen folgen und ähnliche Queries weiterhin ausführen, können Sie ungefähr den Betrag einsparen, der in der Spalte Savings Potential ausgewiesen ist.

Detailansicht der Empfehlungen "Partition your tables" und "Cluster your tables"

Ungenutzte Tabellen sichern und entfernen

Warum für Tabellen zahlen, die Sie gar nicht mehr nutzen? Werfen Sie einen Blick auf die Tabellen, die zuletzt nicht abgefragt wurden, samt der monatlichen Kosten, die deren Vorhalten verursacht. Sichern und entfernen – oder weiterzahlen. Sie haben die Wahl.

Detailansicht zu "Backup and Remove Unused Tables"

Query-Jobs limitieren

Möglicherweise führen Sie dieselben Queries mehrfach aus und zahlen dadurch mehrfach denselben Preis. Erwägen Sie, Query-Jobs zu limitieren, und probieren Sie mit dem Slider aus, wie viel Sie dadurch sparen können.

Detailansicht zu "Limit query jobs"

Query-Optimierung mit superQuery

Falls Sie superQuery noch nicht kennen: unbedingt ausprobieren! superQuery ist eine leistungsstarke Serverless-IDE für viele cloud-native Datenbanken wie Google BigQuery, AWS Athena, DynamoDB und weitere. Die integrierte Query-Optimization-Engine senkt Kosten und steigert die Effizienz. Das BigQuery FinOps Dashboard zeigt Ihnen, wie viel Sie sparen würden, wenn Sie Ihre Queries über superQuery ausführen.

Partitionsfelder erzwingen

Die Verwendung partitionierter Felder in Queries kann die Kosten Ihrer Abfragen um ein Vielfaches senken. Wir liefern Ihnen eine Übersicht Ihrer Top-Queries, die verfügbare Partitionsfelder nicht nutzen.

Detailansicht zu "Enforce Partition Fields"

Das BigQuery FinOps Tool entwickelt sich gemeinsam mit BigQuery weiter – Kunden erhalten Empfehlungen, die stets auf den neuesten von Google veröffentlichten Technologien basieren.

Wie geht es weiter?

Möchten Sie die Schwachstellen Ihrer BigQuery-Nutzung identifizieren und optimieren?

Klicken Sie hier, um noch heute eine Demo mit DoiT International zu vereinbaren und Zugang zum BigQuery FinOps Dashboard sowie zu weiteren Tools zur Cloud-Optimierung zu erhalten.

Sie sind bereits Kunde bei DoiT International? Gute Nachrichten: Sie haben bereits Zugriff auf Ihr BigQuery FinOps Dashboard in Ihrer Cloud Management Platform.

Sprechen Sie mit Ihrem Account Manager, um loszulegen, oder folgen Sie dieser Anleitung, um es einzurichten und direkt durchzustarten!