Los costos de exportación de Datastore no aparecen en Google Cloud Monitoring. Aprende a configurar alertas en tiempo real para controlarlos mejor.
El monitoreo de Google Cloud Datastore, disponible en GCP Operations (antes Stackdriver) y también en el dashboard de App Engine, muestra métricas de tus operaciones de Datastore y te permite identificar el origen de los costos en la nube o de la carga de infraestructura.
Descubre los costos ocultos de Google Cloud Datastore
O al menos, casi todos.
Monitoreo de Datastore en el dashboard de GCP Operations durante una exportación
Monitoreo de Datastore en el dashboard de GCP Operations durante una exportación
Las operaciones de lectura que forman parte de la exportación de Datastore no se reflejan en el monitoreo. Puedes comprobarlo en las dos imágenes de la izquierda.
Compáralas con la visualización del dashboard para las operaciones normales de Datastore. (Revisa el Apéndice al final del post.)
Entonces, si haces un respaldo masivo con Export, vas a pagar esos costos sin poder identificar fácilmente su origen. Y peor aún: como las exportaciones suelen programarse para ejecutarse de forma periódica con un cron job o equivalente, es posible que se estén ejecutando exportaciones masivas con frecuencia sin que te enteres.
Puedes hacer seguimiento de los costos en GCP Billing o con reOptimize, pero esos datos llegan con un día de retraso y no muestran el origen exacto.
Configura alertas en tiempo real cuando Datastore esté en uso
En su lugar, busca una entrada ExportEntities en los logs de GCP. La encuentras con este filtro avanzado del Log Viewer (o ve directo aquí).
Incluso puedes configurar una alerta sobre esta consulta de logs que te avise cuando tu Datastore esté en uso (potencialmente masivo).
Los pasos son los habituales para una métrica basada en logs.
- Ve a la consulta del Log Viewer.
- Selecciona "Create Metric".
- Asígnale un nombre como
DatastoreExporty deja los demás valores por defecto (Counter Metric). Haz clic en "Create Metric". Te llevará a la página de métricas. - Haz clic en los tres puntos verticales a la derecha de tu métrica, como en esta captura, y elige "Create alert from metric".
Métricas de logs; selecciona Crear alerta
Quizá tengas que cerrar el panel de condiciones, porque los valores autocompletados tienen errores (y muestran un indicador de error).
- Asigna un nombre a tu política de alertas, por ejemplo,
exporting-alert. - Haz clic en "Add Condition" para volver a abrir el panel de condiciones.
- Define como Target tu nueva métrica basada en logs (
logging/user/DatastoreExport) y como condición de disparo "is above 0". Haz clic en "Add".
Creación de una política de alertas
- Haz clic en "Add notification channel", elige "Email", ingresa tu dirección y haz clic en "Add".
Listo: ahora recibirás un correo cada vez que se ejecute una exportación.
Apéndice
Estas imágenes del dashboard muestran el funcionamiento normal de Monitoring: las operaciones de Datastore se presentan correctamente.
Monitoreo de Datastore en el dashboard de GCP Operations durante operaciones normales
Monitoreo de Datastore en el dashboard de GCP Operations durante operaciones normales
Estado de facturación de Datastore en el dashboard de App Engine durante operaciones normales y durante una exportación
Detectando la exportación (posiblemente activada por cron) que generó el costo