BigQuery gehört zu den leistungsstärksten Cloud Data Warehouses für Analytics. Grafana ist die offene Plattform für ansprechende Analysen und Monitoring. Was läge näher, als die Stärken beider zu verbinden? Genau das haben wir uns gedacht!
Kaum ein Unternehmen kommt heute noch ohne Grafana aus, wenn es darum geht, Zeitreihendaten zu visualisieren – sei es für Monitoring, Alerting, Analysen oder all das zusammen. Grafana unterstützt zahlreiche gängige Zeitreihen-Datenquellen wie InfluxDB, Graphite, Elasticsearch und viele weitere.
Google BigQuery hat sich im Bereich Data Analytics als beliebte Cloud-Datenbank etabliert, weil es Abfragen über riesige Datenmengen mit beispielloser Geschwindigkeit ausführt.
Praktischerweise stellt Grafana eine dokumentierte Schnittstelle bereit, über die sich neue Data-Source-Plugins entwickeln lassen. Mein Kollege Aviv Laufer aus dem Solutions-Team von DoiT International hat das Data-Source-Plugin für Google BigQuery gebaut.
Die Einsatzmöglichkeiten sind nahezu grenzenlos: Dashboards für die Auswertung von Logs, Abrechnungsdaten, Vertriebskennzahlen, Traffic-Analysen, das Tracking digitaler Marketingkampagnen oder beliebige andere Use Cases.
Um das neue Data-Source-Plugin zu zeigen, habe ich mich für Google-Cloud-Abrechnungsdaten entschieden – ein Thema, das jeden Google-Cloud-Nutzer betrifft. Kurz gesagt: Sie können Ihre Google Cloud so konfigurieren, dass detaillierte Abrechnungsinformationen nach BigQuery exportiert werden [ 1]. Über den Export nach BigQuery lassen sich die Kosten Ihrer Google-Cloud-Services tagesgenau und im Detail nachverfolgen.
Grafana-Dashboard zur Visualisierung von Google-Cloud-Abrechnungsdaten aus BigQuery
Da das BigQuery-Data-Source-Plugin von Grafana noch nicht "offiziell" unterstützt wird, müssen Sie es manuell aus dem Git-Repository des Plugins installieren [ 2].
Meist genügt ein einziger Befehl auf Ihrem Grafana-Server, gefolgt von einem Neustart. Die vollständige Anleitung finden Sie im Installationsabschnitt des Repositorys unter [ 3].
grafana-cli \--pluginUrl \https://github.com/doitintl/bigquery-grafana/archive/0.3.0.zip
\ plugins install doitintl-bigquery-datasourceSobald das Plugin installiert ist, können Sie loslegen. Es muss gegenüber Google Cloud IAM authentifiziert werden – richten Sie dazu einen Service-Account ein und laden Sie dessen JSON-Schlüssel hoch.
Nach der Authentifizierung können Sie Ihr erstes Dashboard erstellen. Das Plugin erlaubt Ihnen, die zugrunde liegende Abfrage visuell aufzubauen – folgen Sie einfach dem Assistenten.
Wählen Sie zunächst Ihr Google-Cloud-Projekt aus der Liste, anschließend Dataset und Tabellennamen. Das Plugin ruft die Spalten Ihrer Tabelle ab (inklusive Metadaten, etwa zur Partitionierung), sodass Sie sie bequem aus den Dropdown-Listen auswählen können.
Wählen Sie dann die Felder, die Sie visualisieren möchten, samt der gewünschten Aggregationen – und voilà: Ihre Daten erscheinen im Handumdrehen!
Konfiguration des Dashboards über den Assistenten des Plugins. Eine hochauflösende Version ist hier verfügbar.
Wenn Sie die Abfrage lieber selbst schreiben, klicken Sie einfach auf die Schaltfläche "Edit SQL".
Edit-SQL-Modus
Beachten Sie, wie das Plugin erkennt, dass es sich um eine partitionierte Tabelle handelt, und automatisch den _PARTITIONTIME-Filter setzt – so werden nur die Daten Ihres Zeitbereichs gescannt!
Wir hoffen, dass Ihnen das BigQuery-Plugin für Grafana ebenso nützlich erscheint wie uns – und sind gespannt auf Ihre Use Cases! Auch wenn das Plugin noch in den Anfängen steckt, verfolgen wir alle Issues genau und versprechen, jede Anfrage zeitnah zu bearbeiten [ 4].
Viel Spaß beim Visualisieren!
Lust auf mehr? Werfen Sie einen Blick in unseren Blog oder folgen Sie Vadim auf Twitter.