Cloud Monitoring erfasst Metrikdaten und speichert sie für vordefinierte Zeiträume. Diese Zeiträume hängen vom Metriktyp ab. Details dazu finden Sie unter Data Retention. Google passt diese Zeiträume regelmäßig an – ein gelegentlicher Blick auf die Seite lohnt sich also.
Nach Ablauf des jeweiligen Zeitraums verwirft Cloud Monitoring die abgelaufenen Datenpunkte. Sind alle Punkte einer Zeitreihe abgelaufen, wird die gesamte Zeitreihe gelöscht. Gelöschte Zeitreihen tauchen weder in den Diagrammen von Cloud Monitoring noch in den Ergebnissen der Monitoring-API auf.
Kurz gesagt: Datenpunkte werden nach 6 Wochen gelöscht. Dabei können das wertvolle Daten sein, die wir auch darüber hinaus für Analysen und Troubleshooting auswerten möchten. Bislang gibt es keine einfache Möglichkeit, größere Mengen an Monitoring-Daten in andere Analysesysteme zu überführen.
Die gute Nachricht: Wir haben ein Open-Source-Projekt gebaut, das Rohdaten aus Cloud Monitoring in eine BigQuery-Tabelle exportiert – bereit für spätere Analysen!
Hier geht's zum Projekt: https://github.com/doitintl/gcp-monitoring-metric-exporter
Architektur des Google Cloud Metric Exporter
Exportieren wir als Beispiel die System-Lag-Metrik von Google Cloud Dataflow (dataflow.googleapis.com/job/system_lag) in eine BigQuery-Tabelle.
Diese Daten stehen aktuell in Cloud Monitoring zur Verfügung, wie hier zu sehen:
Wir möchten diese Daten nach BigQuery exportieren, um sie dort länger vorzuhalten und sauber aggregieren und auswerten zu können.
Hier können Sie direkt loslegen: https://github.com/doitintl/gcp-monitoring-metric-exporter
Achten Sie unbedingt darauf, den Filter mit einem gültigen Filterausdruck zu konfigurieren. In unserem Fall sieht das so aus:
'metric.type = "dataflow.googleapis.com/job/system_lag"'
Beachten Sie dabei das Muster: einfache Anführungszeichen (') außen um den Filter, doppelte Anführungszeichen (") innen.
Sobald der GCP Monitoring Metric Exporter im entsprechenden BigQuery-Dataset läuft, entsteht eine neue Tabelle mit dem Namen des Export-Jobs, in die die Datenpunkte der Metrik geschrieben werden. Der GCP Monitoring Metric Exporter aktualisiert die Tabelle anschließend laufend mit neuen Daten.
Mit den Metrikdaten in BigQuery stehen uns sämtliche etablierten BigQuery-Funktionen zur Verfügung, um die Daten zu erkunden, auszuwerten und mit allen relevanten Stakeholdern zu teilen. Noch wichtiger: Wir können die Daten so lange aufbewahren, wie wir sie brauchen – ganz ohne Sorge um Data-Retention-Fristen.
Teilen Sie diese Ressource gerne mit Kolleginnen, Kollegen und Ihrem Netzwerk in den sozialen Medien. Über Feedback und Anregungen freuen wir uns ebenfalls.
Vielen Dank fürs Lesen! Bleiben Sie mit uns in Kontakt – im DoiT Engineering Blog, auf dem DoiT LinkedIn-Kanal und auf dem DoiT Twitter-Kanal. Offene Stellen finden Sie unter https://careers.doit-intl.com.