Die versteckten Kosten von Datastore

Datastore-Exportkosten erscheinen nicht in Google Cloud Monitoring. So richten Sie Echtzeit-Alerts ein und behalten Ihre Exportkosten im Blick.

Das Monitoring von Google Cloud Datastore – verfügbar in GCP Operations (vormals Stackdriver) sowie im App Engine Dashboard – zeigt Metriken zu Ihren Datastore-Operationen und macht nachvollziehbar, woher Cloud-Kosten oder Infrastrukturlast kommen.

Versteckte Kosten von Google Cloud Datastore aufdecken

Zumindest größtenteils.

Datastore-Monitoring im GCP Operations Dashboard während eines Exports

Lesevorgänge, die zu einem Datastore-Export gehören, erscheinen im Monitoring nicht. Das zeigen die beiden Bilder links.

Vergleichen Sie das mit der Visualisierung im Dashboard für reguläre Datastore-Operationen (siehe Anhang am Ende des Beitrags).

Wenn Sie also ein umfangreiches Backup per Export durchführen, zahlen Sie zwar dafür, sehen die Kostenquelle aber nicht ohne Weiteres. Schlimmer noch: Da Exporte üblicherweise periodisch laufen – etwa per Cron-Job oder ähnlichem Mechanismus –, können große Exporte regelmäßig und unbemerkt stattfinden.

Sie können die Kosten in GCP Billing oder mit reOptimize nachverfolgen, doch das hinkt einen Tag hinterher und zeigt die genaue Kostenquelle nicht an.

Echtzeit-Alerts einrichten, sobald Datastore genutzt wird

Halten Sie stattdessen in den GCP-Logs nach einem ExportEntities-Eintrag Ausschau. Diesen finden Sie mit folgendem erweiterten Log-Viewer-Filter (oder Sie springen direkt dorthin).

Auf diese Log-Abfrage können Sie sogar einen Alert setzen, der Sie darauf hinweist, dass Ihr Datastore (möglicherweise stark) genutzt wird.

Die Schritte entsprechen dem üblichen Vorgehen für eine logbasierte Metrik.

Rufen Sie die Log-Viewer-Abfrage auf.
Wählen Sie "Create Metric".
Vergeben Sie einen Namen wie DatastoreExport und belassen Sie die übrigen Standardwerte (Counter Metric). Klicken Sie auf "Create Metric". Sie gelangen nun auf die Metrics-Seite.
Klicken Sie ganz rechts bei Ihrer Metrik auf die drei vertikalen Punkte (siehe Screenshot) und wählen Sie "Create alert from metric".

Log-Metriken; Alert erstellen auswählen

Eventuell müssen Sie das Bedingungs-Panel zunächst schließen, da die automatisch ausgefüllten Werte fehlerhaft sind (und eine Fehlermeldung erzeugen).

Geben Sie Ihrer Alerting-Policy einen Namen, zum Beispiel exporting-alert.
Klicken Sie auf "Add Condition", um das Bedingungs-Panel erneut zu öffnen.
Geben Sie als Target Ihre neue logbasierte Metrik an (logging/user/DatastoreExport) und als Trigger-Bedingung "is above 0". Klicken Sie auf "Add".

Eine Alerting-Policy anlegen

Klicken Sie auf "Add notification channel", wählen Sie "Email", geben Sie Ihre Adresse ein und klicken Sie auf "Add".

Ab sofort erhalten Sie eine E-Mail, sobald ein Export läuft.

Anhang

Diese Dashboard-Bilder zeigen den Normalbetrieb des Monitorings – Datastore-Operationen werden korrekt dargestellt.

Datastore-Monitoring im GCP Operations Dashboard im Normalbetrieb

Datastore-Abrechnungsstatus im AppEngine Dashboard – im Normalbetrieb und während des Exports

Den (womöglich per Cron ausgelösten) Export aufspüren, der die Kosten verursacht hat