Os custos ocultos do Datastore

Os custos de exportação do Datastore não aparecem no Google Cloud Monitoring. Veja como configurar alertas em tempo real para acompanhá-los de perto.

O monitoramento do Google Cloud Datastore, disponível no GCP Operations (antigo Stackdriver) e também no dashboard do App Engine, exibe métricas das operações do Datastore e permite identificar a origem dos custos de nuvem ou da carga sobre a infraestrutura.

Revele os custos ocultos do Google Cloud Datastore

Ou quase isso.

Monitoramento do Datastore no dashboard do GCP Operations durante a Exportação

As operações de leitura que fazem parte da Exportação do Datastore não são contabilizadas no monitoramento. Dá pra perceber isso nas duas imagens à esquerda.

Compare-as com a visualização do dashboard para operações normais do Datastore. (Veja o Apêndice no fim do post.)

Ou seja: se você fizer um backup pesado via Exportação, vai pagar por ele, mas não vai enxergar facilmente de onde vêm os custos. Pior ainda: como as Exportações normalmente são agendadas para rodar de tempos em tempos, via cron job ou equivalente, Exportações enormes podem estar acontecendo com frequência, sem você saber.

Dá pra acompanhar os custos no GCP Billing ou pelo reOptimize, mas com um dia de defasagem e sem mostrar a origem exata dos custos.

Configure alertas em tempo real para quando o Datastore estiver em uso

Em vez disso, procure uma entrada ExportEntities nos logs do GCP. Encontre-a com este filtro avançado do Log Viewer (ou vá direto até ela por aqui).

Você pode até criar um alerta nessa consulta de log para ser avisado de que o Datastore está em uso (potencialmente em larga escala).

Os passos são os mesmos de qualquer Métrica baseada em Log.

Abra a consulta no Log Viewer.
Selecione "Create Metric".
Dê um nome como DatastoreExport e mantenha os demais valores padrão (Counter Metric). Clique em "Create Metric". Você será direcionado para a página de Métricas.
Clique nos três pontinhos verticais à direita da sua métrica, como na captura de tela abaixo, e escolha "Create alert from metric".

Log Metrics; escolha Criar alerta

Pode ser que você precise fechar o painel de condições neste momento, porque os valores preenchidos automaticamente vêm com bug (e exibem indicação de erro).

Dê um nome à política de alerta, por exemplo, exporting-alert.
Clique em "Add Condition" para abrir o painel de condições novamente.
Defina como Target a sua nova métrica baseada em log (logging/user/DatastoreExport) e a condição de disparo "is above 0". Clique em "Add".

Criando uma política de alerta

Clique em "Add notification channel", escolha "Email", informe seu endereço e clique em "Add".

Pronto: agora você vai receber um e-mail sempre que a Exportação rodar.

Apêndice

Estas imagens do dashboard mostram o Monitoring funcionando normalmente — as operações do Datastore são exibidas corretamente.

Monitoramento do Datastore no dashboard do GCP Operations durante operações normais

Status de cobrança do Datastore no dashboard do AppEngine durante operações normais e durante a Exportação

Identificando a Exportação (possivelmente disparada por cron) que gerou o custo