O Cloud Monitoring coleta dados de métricas e os armazena por períodos pré-definidos, que variam conforme o tipo de métrica. Veja Retenção de Dados para mais detalhes. O Google atualiza esses prazos com frequência, então vale a pena revisitar essa página de tempos em tempos.
Ao final do período, o Cloud Monitoring apaga os pontos de dados expirados. Quando todos os pontos de uma série temporal expiram, o Cloud Monitoring apaga a série inteira. Séries temporais apagadas não aparecem nos gráficos do Cloud Monitoring nem nos resultados da Monitoring API.
Resumindo, os pontos de dados são apagados depois de 6 semanas. Só que esses dados podem ser valiosos e a gente costuma querer investigá-los mesmo depois desse prazo, seja para análise ou troubleshooting. Hoje não existe uma forma simples de exportar grandes volumes de dados de monitoramento para outros sistemas analíticos.
A boa notícia é que criamos um projeto open source que exporta dados brutos do Cloud Monitoring para uma tabela do BigQuery, prontos para análises futuras!
Clique aqui para acessar o projeto: https://github.com/doitintl/gcp-monitoring-metric-exporter
Arquitetura do Google Cloud Metric Exporter
Como exemplo, vamos exportar uma métrica de system lag do Google Cloud Dataflow ( dataflow.googleapis.com/job/system_lag) para uma tabela do BigQuery.
Hoje, esses dados ficam disponíveis no Cloud Monitoring, como mostra a imagem abaixo:
Queremos exportar esses dados para o BigQuery, onde podemos mantê-los por mais tempo e agregá-los e analisá-los como precisamos.
Clique aqui para começar: https://github.com/doitintl/gcp-monitoring-metric-exporter
Confira sempre se o Filter está configurado com uma expressão de filtro válida. Neste caso, ela fica assim:
‘metric.type = "dataflow.googleapis.com/job/system_lag"’
Repare no padrão: aspas simples (‘) na parte externa do filtro e aspas duplas (") dentro dele.
Depois de executar o GCP Monitoring Metric Exporter no dataset escolhido do BigQuery, surge uma nova tabela com o nome do job de exportação, já preenchida com os pontos de dados da métrica. O GCP Monitoring Metric Exporter segue exportando e atualizando a tabela com os dados relevantes.
Agora que temos os dados da métrica no BigQuery, dá para usar todos os recursos consagrados do BigQuery para explorar, analisar e compartilhar os dados com quem precisa. E o mais importante: também conseguimos manter esses dados pelo tempo que for preciso, sem se preocupar com prazos de Retenção de Dados.
Fique à vontade para compartilhar esse recurso com colegas e contatos nas redes sociais. E nos conte se tiver feedback ou sugestões.
Obrigado pela leitura! Para ficar por dentro, acompanhe o DoiT Engineering Blog , o canal da DoiT no LinkedIn e o canal da DoiT no Twitter . Para conhecer oportunidades de carreira, acesse https://careers.doit-intl.com .