Les coûts d'export Datastore n'apparaissent pas dans Google Cloud Monitoring. Voici comment configurer des alertes en temps réel pour mieux suivre ces coûts.
La supervision de Google Cloud Datastore, disponible dans GCP Operations (anciennement Stackdriver) ainsi que dans le dashboard App Engine, affiche les métriques de vos opérations Datastore et vous permet d'identifier l'origine de vos coûts cloud ou de la charge sur votre infrastructure.
Révélez les coûts cachés de Google Cloud Datastore
Enfin, presque.
Supervision Datastore dans le dashboard GCP Operations pendant un export
Supervision Datastore dans le dashboard GCP Operations pendant un export
Les opérations de lecture liées à un export Datastore n'apparaissent pas dans la supervision, comme le montrent les deux images ci-contre.
Comparez-les à la visualisation du dashboard pour des opérations Datastore classiques (voir l'annexe en fin d'article).
Résultat : si vous lancez une sauvegarde massive via Export, vous en paierez le coût sans pouvoir en identifier facilement la source. Pire encore, comme les exports sont généralement programmés via un cron ou équivalent, ils peuvent se déclencher fréquemment et à votre insu.
Vous pouvez suivre les coûts dans GCP Billing ou avec reOptimize, mais avec un jour de décalage et sans visibilité précise sur leur origine.
Configurer des alertes en temps réel quand Datastore est sollicité
À la place, recherchez une entrée ExportEntities dans les logs GCP. Vous la trouverez via ce filtre avancé du Log Viewer (ou rendez-vous directement ici).
Vous pouvez également configurer une alerte sur cette requête de logs pour être averti que votre Datastore est utilisé (potentiellement de façon massive).
La marche à suivre est la même que pour n'importe quelle métrique basée sur les logs.
- Accédez à la requête du Log Viewer.
- Sélectionnez Create Metric.
- Attribuez-lui un nom, par exemple
DatastoreExport, et conservez les valeurs par défaut (Counter Metric). Cliquez sur Create Metric. Vous serez redirigé vers la page Metrics. - Cliquez sur les trois points verticaux à droite de votre métrique, comme sur cette capture, puis choisissez Create alert from metric.
Log Metrics : choisir Create alert
Vous devrez peut-être fermer le panneau de condition à ce stade, car les valeurs pré-remplies sont buguées (et affichent une erreur).
- Donnez un nom à votre politique d'alerte, par exemple
exporting-alert. - Cliquez sur Add Condition pour rouvrir le panneau de condition.
- Indiquez comme cible votre nouvelle métrique basée sur les logs (
logging/user/DatastoreExport), avec une condition de déclenchement is above 0. Cliquez sur Add.
Création d'une politique d'alerte
- Cliquez sur Add notification channel, choisissez Email, saisissez votre adresse, puis cliquez sur Add.
Vous recevrez désormais un e-mail à chaque exécution d'un export.
Annexe
Ces images du dashboard illustrent le fonctionnement normal de Monitoring : les opérations Datastore y sont correctement représentées.
Supervision Datastore dans le dashboard GCP Operations en fonctionnement normal
Supervision Datastore dans le dashboard GCP Operations en fonctionnement normal
État de facturation Datastore dans le dashboard AppEngine, en fonctionnement normal et lors d'un export
Identification de l'export (probablement déclenché par cron) à l'origine du coût