Cloud Monitoring captura datos de métricas y los conserva durante períodos predefinidos. Esos períodos varían según el tipo de métrica. Consulta Data Retention para más detalles. Google actualiza estos períodos con frecuencia, así que conviene revisar esa página cada cierto tiempo.
Cuando se cumple el plazo, Cloud Monitoring elimina los puntos de datos vencidos. Y cuando todos los puntos de una serie temporal han vencido, también se elimina la serie. Las series eliminadas dejan de aparecer en los gráficos de Cloud Monitoring y en los resultados de la Monitoring API.
En resumen, los puntos de datos se eliminan a las 6 semanas. Pero pueden tratarse de datos valiosos que nos gustaría analizar más allá de ese plazo, ya sea con fines analíticos o de troubleshooting. Hoy por hoy, no existe una opción sencilla para exportar grandes volúmenes de datos de monitoreo a otros sistemas analíticos.
La buena noticia: creamos un proyecto open source que exporta los datos en bruto de Cloud Monitoring a una tabla de BigQuery para analizarlos a futuro.
Haz clic aquí para acceder al proyecto: https://github.com/doitintl/gcp-monitoring-metric-exporter
Arquitectura de Google Cloud Metric Exporter
Por ejemplo, exportemos una métrica de system lag de Google Cloud Dataflow ( dataflow.googleapis.com/job/system_lag) a una tabla de BigQuery.
Esos datos hoy están disponibles en Cloud Monitoring, como se ve a continuación:
La idea es exportarlos a BigQuery, donde podemos conservarlos durante más tiempo y agregarlos y analizarlos como corresponde.
Haz clic aquí para comenzar: https://github.com/doitintl/gcp-monitoring-metric-exporter
Asegúrate siempre de configurar el Filter con una expresión de filtro válida. En este caso puntual, debería verse así:
'metric.type = "dataflow.googleapis.com/job/system_lag"'
Fíjate también en el patrón: comillas simples (') por fuera del filtro y comillas dobles (") por dentro.
Tras ejecutar el GCP Monitoring Metric Exporter sobre el dataset de BigQuery correspondiente, se genera una tabla nueva con el nombre del job de exportación, ya configurada con los puntos de datos de la métrica. El GCP Monitoring Metric Exporter seguirá exportando y actualizando la tabla con los datos correspondientes.
Una vez que los datos de la métrica están en BigQuery, podemos aprovechar todas sus funciones probadas para explorar, analizar y compartir la información con los stakeholders que correspondan. Y lo más importante: también podemos conservarlos durante todo el tiempo que necesitemos, sin preocuparnos por los plazos de Data Retention.
Comparte este recurso con tus colegas y contactos en redes sociales. Y cuéntanos si tienes comentarios o sugerencias.
¡Gracias por leernos! Para seguir en contacto, síguenos en el DoiT Engineering Blog , el DoiT Linkedin Channel y el DoiT Twitter Channel . Si te interesan las oportunidades laborales, visita https://careers.doit-intl.com .