¿Utilizas Databricks para el análisis de datos? Ahora puedes conectar Databricks a DoiT Cloud Intelligence y hacer un seguimiento detallado del coste y uso de Databricks junto con los datos de coste y uso de tu nube de infraestructura.
Después de conectar tu(s) cuenta(s) de Databrickspodrás explorar tu coste y uso de Databricks en DoiT Cloud Intelligence™ de varias formas.
Veamos las principales formas en que puedes aprovechar esta integración.
Lente Databricks
El Databricks Lens es un panel de control listo para usar que se crea una vez que has integrado Databricks, y que proporciona una visión general de tus costes y uso de Databricks con vistas a tu uso de DBU, utilización del clúster, costes diarios por trabajoy mucho más.
Aunque te da una ventaja a la hora de analizar tus Databricks, esto no es más que arañar la superficie. Donde se pone realmente interesante es cuando aprovechas tus datos de Databricks con otras capacidades de DoiT, como Asignaciones, informes personalizados, Detección de Anomalías, etc.
Lente Databricks en la consola DoiT
Construye Asignaciones con los datos de coste y uso de Databricks
Asignaciones son cruciales para lograr una verdadera responsabilidad en los costes y permitir una retroalimentación/recarga precisa entre equipos, proyectos y unidades de negocio.
Con la configuración de la integración, podrás incorporar datos detallados de costes y uso de Databricks - a través de dimensiones estándar y/o etiquetas del sistema - en tus Asignaciones.
Pueden ser Asignaciones sólo de Databricks o Asignaciones existentes que incluyan datos de otra(s) nube(es) como AWS y/o servicios integrados como Datadog.
Cuantos más elementos de coste puedas incluir en tus asignaciones -desde la infraestructura básica en la nube hasta plataformas SaaS como Datadog y OpenAI-más completa y procesable será tu visibilidad de costes y mejor comprenderás el impacto económico total de tus inversiones tecnológicas.
En el ejemplo siguiente, creamos una Asignación ("Entornos Databricks") que define múltiples entornos Databricks -producción y dev/QA- utilizando datos ingestados a través de la integración Databricks.
Asignaciones en la consola DoiT que representan distintos entornos Databricks
Crea informes de costes y uso utilizando los datos de Databricks
Utilizando los mismos datos mencionados en la sección anterior, también puedes crear informes que te ayuden a comprender tu gasto y uso de Databricks.
Por ejemplo, la mejor práctica para ejecutar cargas de trabajo SQL en Databricks es utilizar computación sin servidor.
En el informe siguiente, podemos ver - utilizando la etiqueta del sistema databricks/características_del_producto/es_sin_servidor - si hay alguna carga de trabajo SQL ejecutándose en computación sin servidor (valor "Falso" en la primera columna).
Informe que desglosa las cargas de trabajo que se ejecutan en computación sin servidor y sin servidor por tipo de carga de trabajo
Si ves un importe de coste significativo junto a "SQL" en la segunda columna, entonces puedes analizar qué clusters se están ejecutando en computación sin servidor añadiendo databricks/nombre_cluster en el campo Agrupar por sección para ver qué clusters necesitan ser sustituidos por computación sin servidor.
Supervisa y controla tu gasto en Databricks
Al igual que con otras integraciones que hemos lanzado (por ejemplo, Datadog, OpenAI), si se produce un pico anómalo de costes en Databricks, la Detección de Anomalías lo detectará y te avisará, para que puedas tomar medidas antes de que afecte aún más a tu factura y a tus operaciones.
Además, puedes crear Presupuestos utilizando Asignaciones que incorporen datos de Databricks.
¿Recuerdas las Asignaciones para nuestros dos tipos de entornos Databricks que construimos más arriba?
A continuación hemos creado un presupuesto que controla nuestros gastos de producción de Databricks -definidos por nuestra regla de Asignación "Producción de Databricks"- con respecto a varios umbrales de gastos.
Presupuesto en la consola DoiT que controla los costes de producción de Databricks
Otro gran caso de uso (y complemento de los Presupuestos) es configurar Alertas monitorizar tu uso de Databricks. Como en el caso anterior, hemos delimitado esta alerta a nuestra regla de Asignación "Producción de Databricks".
Esta alerta nos avisa cuando los costes intermensuales suben más de un 20%, pero como hemos incluido la etiqueta del sistema databricks/nombre_cluster en el campo Evaluar para cada la alerta se activará cuando cualquier clúster de producción aumente más de un 20%.
Mientras que los Presupuestos te ayudan a controlar los elementos de gasto a alto nivel, las Alertas te ayudan a supervisar múltiples instancias de una misma dimensión. En este caso, en lugar de crear un Presupuesto para cada cluster de producción, podemos configurar una única Alerta.
Supervisión de alertas para cuando cualquier coste del clúster de producción aumente un >20%, mes a mes
Para terminar
Con tu gasto en Databricks junto a tu infraestructura en la nube, otros costes de SaaS integrados como Datadog, y cualquier otro coste que hayas introducido a través de DataHub, obtendrás una visión más completa de los costes.
Y puesto que tu métricas económicas unitarias se calculan mediante Asignaciones, incorporar los datos de Databricks a tus Asignaciones significa que tu coste por cliente, coste por transacción y otras métricas empresariales reflejarán el coste real y completo de tus operaciones.
¿Listo para empezar? Si utilizas Databricks configura la integración hoy mismo y empieza a tener una mejor visibilidad de los costes de tu plataforma de datos. ¿Aún no eres cliente de DoiT? Ponte en contacto con nosotros para saber más sobre cómo DoiT Cloud Intelligence puede ayudarte a maximizar el valor de tus inversiones en la nube, no sólo a reducir costes.
La integración de Databricks está disponible para todos los clientes de los niveles DoiT Cloud Intelligence Enhanced o Enterprise tiersasí como en los niveles DoiT Cloud Navigator Enhanced, Premium o Enterprise.
Para obtener más información sobre la integración de Databricks, consulta nuestra documentación en el Centro de Ayuda de DoiT o haz el recorrido paso a paso para configurar la integración con Databricks.
