La nuova integrazione Databricks per DoiT Cloud Intelligence le permette di gestire i costi Databricks insieme a quelli dell'infrastruttura cloud e degli altri servizi SaaS. Tenga sotto controllo la spesa, individui le anomalie sui costi Databricks e ottimizzi l'intero stack tecnologico.
Usa Databricks per la data analytics? Da oggi può collegarlo a DoiT Cloud Intelligence e analizzare nel dettaglio i costi e l'utilizzo di Databricks insieme ai dati di costo e utilizzo della sua infrastruttura cloud.
Una volta collegati i suoi account Databricks, potrà esplorare costi e utilizzo all'interno di DoiT Cloud Intelligence™ in diversi modi.
Vediamo nel dettaglio come sfruttare al meglio questa integrazione.
Databricks Lens
Databricks Lens è un dashboard pronto all'uso, disponibile non appena l'integrazione di Databricks è completata. Offre una panoramica di costi e utilizzo Databricks, con viste dedicate a utilizzo DBU, utilizzo dei cluster, costi giornalieri per job e altro ancora.
È un ottimo punto di partenza per analizzare Databricks, ma è solo la punta dell'iceberg. La parte davvero interessante arriva quando combina i dati Databricks con le altre funzionalità di DoiT, come Allocations, report personalizzati e Anomaly Detection.
Databricks Lens in DoiT Cloud Intelligence
Costruisca le Allocations con i dati di costo e utilizzo Databricks
Le Allocations sono fondamentali per ottenere una vera responsabilizzazione sui costi e gestire showback e chargeback accurati tra team, progetti e business unit.
Configurata l'integrazione, potrà includere i dati di dettaglio su costo e utilizzo Databricks — tramite standard dimensions e/o system labels — direttamente nelle sue Allocations.
Possono essere Allocations dedicate al solo Databricks oppure Allocations già esistenti che includono dati provenienti da altri cloud (come AWS) e/o da servizi integrati come Datadog.
Più elementi di costo riesce a includere nelle sue allocations — dall'infrastruttura cloud di base a piattaforme SaaS come Datadog e OpenAI — più la sua visibilità sui costi diventa completa e operativa, e meglio comprende l'impatto economico reale dei suoi investimenti tecnologici.
Nell'esempio qui sotto abbiamo creato una Allocation ("Databricks environments") che definisce diversi ambienti Databricks — production e dev/QA — utilizzando i dati acquisiti tramite l'integrazione Databricks.
Allocations in DoiT Cloud Intelligence che rappresentano i diversi ambienti Databricks
Crei report di costo e utilizzo a partire dai dati Databricks
Sfruttando gli stessi dati citati nella sezione precedente, può anche costruire report che la aiutano a capire spesa e utilizzo di Databricks.
Per esempio, la best practice per eseguire workloads SQL in Databricks è utilizzare il compute serverless.
Nel report qui sotto possiamo verificare — tramite la system label databricks/product_features/is_serverless — se ci sono workloads SQL in esecuzione su compute non serverless (valore "False" nella prima colonna).
Report che suddivide i workloads in esecuzione su compute serverless e non serverless per tipo di workload
Se accanto a "SQL" nella seconda colonna nota un importo significativo, può capire quali cluster stanno girando su compute non serverless aggiungendo databricks/cluster_name nella sezione Group by, così da individuare quelli da sostituire con compute serverless.
Tenga sotto controllo la spesa Databricks
Come accade per le altre integrazioni che abbiamo già rilasciato (ad esempio Datadog e OpenAI), in caso di picco anomalo dei costi su Databricks Anomaly Detection lo rileverà e la avviserà subito, così potrà intervenire prima che impatti ulteriormente su fattura e operatività.
In aggiunta, può creare Budgets a partire da Allocations che includono i dati Databricks.
Si ricorda le Allocations per i due tipi di ambienti Databricks costruite poco fa?
Qui sotto abbiamo impostato un budget che monitora la spesa di produzione Databricks — definita dalla nostra regola di Allocation "Databricks production" — rispetto a diverse soglie di spesa.
Budget in DoiT Cloud Intelligence che monitora i costi di produzione Databricks
Un altro caso d'uso interessante (e complementare ai Budgets) è configurare Alerts per monitorare l'utilizzo di Databricks. Come prima, abbiamo limitato l'ambito di questo alert alla regola di Allocation "Databricks production".
L'alert ci segnala quando i costi mese su mese crescono di oltre il 20% — ma poiché abbiamo aggiunto la system label databricks/cluster_name nel menu a tendina Evaluate for each, l'alert scatta quando il costo di un qualsiasi cluster di produzione aumenta di oltre il 20%.
Se i Budgets servono a tenere d'occhio le voci di spesa a livello aggregato, gli Alerts permettono di monitorare più istanze di una stessa dimensione. In questo caso, invece di creare un Budget per ogni cluster di produzione, basta configurare un singolo Alert.
Alert che segnala quando il costo di un qualsiasi cluster di produzione cresce di oltre il 20% mese su mese
Con la spesa Databricks affiancata all'infrastruttura cloud, agli altri costi SaaS integrati come Datadog e a qualsiasi altra voce importata tramite DataHub, ha finalmente un quadro economico davvero completo.
E poiché le sue metriche di unit economics sono calcolate sulla base delle Allocations, includere i dati Databricks significa che cost-per-customer, cost-per-transaction e altre metriche di business rifletteranno il costo reale e complessivo delle sue operations.
Pronto a iniziare? Se usa Databricks, attivi oggi stesso l'integrazione e ottenga da subito una visibilità migliore sui costi della sua data platform. Non è ancora cliente DoiT? Ci contatti per scoprire come DoiT Cloud Intelligence può aiutarla a massimizzare il valore dei suoi investimenti cloud, e non solo a ridurre i costi.
L'integrazione Databricks è disponibile per i clienti DoiT Cloud Intelligence idonei. Consulti la nostra pagina dei prezzi per i dettagli sui tier attuali.
Per approfondire l'integrazione Databricks, consulti la documentazione sul DoiT Help Center oppure segua il tour passo passo per configurarla.