Cloud Monitoring collecte les données de métriques et les conserve pendant des durées prédéfinies. Ces durées varient selon le type de métrique. Consultez la page Data Retention pour plus de détails. Google met régulièrement à jour ces durées : il peut être utile de consulter cette page de temps à autre.
À l'expiration de la période, Cloud Monitoring supprime les points de données concernés. Lorsque tous les points d'une série temporelle ont expiré, Cloud Monitoring supprime la série. Les séries temporelles supprimées n'apparaissent plus dans les graphiques de Cloud Monitoring, ni dans les résultats renvoyés par la Monitoring API.
En résumé, les points de données sont supprimés au bout de 6 semaines. Pourtant, ces données peuvent rester précieuses au-delà de cette période, à des fins d'analyse ou de dépannage. À ce jour, il n'existe aucune option simple pour exporter de gros volumes de données de monitoring vers d'autres systèmes analytiques.
Bonne nouvelle : nous avons créé un projet open source qui exporte les données brutes de Cloud Monitoring vers une table BigQuery, prêtes à être analysées ultérieurement !
Cliquez ici pour accéder au projet : https://github.com/doitintl/gcp-monitoring-metric-exporter
Architecture du Google Cloud Metric Exporter
Prenons un exemple : exportons la métrique de latence système de Google Cloud Dataflow ( dataflow.googleapis.com/job/system_lag) dans une table BigQuery.
Ces données sont actuellement disponibles dans Cloud Monitoring, comme illustré ci-dessous :
L'objectif est d'exporter ces données vers BigQuery, où nous pourrons les conserver plus longtemps afin de les agréger et de les analyser correctement.
Cliquez ici pour démarrer : https://github.com/doitintl/gcp-monitoring-metric-exporter
Veillez toujours à configurer le Filter avec une valeur d'expression de filtre valide. Dans ce cas précis, elle se présentera ainsi :
'metric.type = "dataflow.googleapis.com/job/system_lag"'
Notez également la convention : guillemet simple (') à l'extérieur du filtre et guillemet double (") à l'intérieur.
Après avoir exécuté le GCP Monitoring Metric Exporter sur le dataset BigQuery concerné, nous obtenons une nouvelle table portant le nom du job d'export, alimentée avec les points de données de la métrique. Le GCP Monitoring Metric Exporter continuera ensuite d'exporter et de mettre à jour la table avec les données pertinentes.
Maintenant que les données de métriques se trouvent dans BigQuery, nous pouvons facilement tirer parti de toutes ses fonctionnalités éprouvées pour explorer, analyser et partager ces données avec l'ensemble des parties prenantes. Mieux encore, nous pouvons aussi les conserver aussi longtemps que nécessaire, sans nous soucier des durées de rétention.
N'hésitez pas à partager cette ressource avec vos collègues et sur vos réseaux sociaux. Et faites-nous part de vos retours ou suggestions.
Merci de votre lecture ! Pour rester connecté, suivez-nous sur le DoiT Engineering Blog , la page LinkedIn DoiT et le compte Twitter DoiT . Pour découvrir nos opportunités de carrière, rendez-vous sur https://careers.doit-intl.com .