Nouvelle intégration Databricks pour DoiT Cloud Intelligence. Pilotez vos coûts Databricks avec votre infrastructure cloud et vos autres coûts SaaS. Suivez vos dépenses, détectez les anomalies sur Databricks et optimisez l'ensemble de votre portefeuille technologique.
Vous utilisez Databricks pour vos analyses de données ? Vous pouvez désormais connecter Databricks à DoiT Cloud Intelligence et suivre vos coûts et votre usage Databricks en détail, aux côtés des données de coût et d'usage de votre infrastructure cloud.
Une fois vos comptes Databricks connectés, vous pourrez explorer vos coûts et votre usage Databricks dans DoiT Cloud Intelligence™ de plusieurs façons.
Passons en revue les principales possibilités offertes par cette intégration.
Databricks Lens
Databricks Lens est un dashboard prêt à l'emploi, généré dès la connexion de Databricks. Il offre une vue d'ensemble de vos coûts et de votre usage Databricks, avec des angles d'analyse sur votre consommation de DBU, l'utilisation de vos clusters, les coûts quotidiens par job, et bien plus encore.
S'il vous donne une longueur d'avance pour analyser votre environnement Databricks, ce n'est qu'un aperçu. Tout devient vraiment intéressant lorsque vous croisez vos données Databricks avec d'autres fonctionnalités DoiT comme les Allocations, les rapports personnalisés ou l'Anomaly Detection.
Databricks Lens dans DoiT Cloud Intelligence
Construire des Allocations à partir des données de coût et d'usage Databricks
Les Allocations sont essentielles pour instaurer une véritable responsabilisation des coûts et permettre un showback/chargeback précis entre équipes, projets et business units.
Une fois l'intégration en place, vous pourrez injecter vos données détaillées de coût et d'usage Databricks — via des dimensions standard et/ou des system labels — dans vos Allocations.
Il peut s'agir d'Allocations dédiées à Databricks ou d'Allocations existantes intégrant des données d'autres clouds (comme AWS) et/ou de services connectés comme Datadog.
Plus vous intégrez d'éléments de coût dans vos allocations — de l'infrastructure cloud aux plateformes SaaS comme Datadog et OpenAI — plus votre visibilité sur les coûts gagne en exhaustivité et en pertinence opérationnelle, et mieux vous mesurez l'impact économique réel de vos investissements technologiques.
Dans l'exemple ci-dessous, nous avons créé une Allocation (Databricks environments) qui définit plusieurs environnements Databricks — production et dev/QA — à partir des données ingérées via l'intégration Databricks.
Allocations dans DoiT Cloud Intelligence représentant différents environnements Databricks
Créer des rapports de coût et d'usage à partir des données Databricks
En vous appuyant sur les mêmes données que celles évoquées plus haut, vous pouvez aussi créer des rapports pour mieux cerner vos dépenses et votre usage Databricks.
Par exemple, la bonne pratique pour exécuter des workloads SQL dans Databricks consiste à utiliser le compute serverless.
Dans le rapport ci-dessous, le system label databricks/product_features/is_serverless permet de repérer les workloads SQL exécutés sur du compute non-serverless (valeur False dans la première colonne).
Rapport ventilant les workloads exécutés sur du compute serverless et non-serverless par type de workload
Si un montant significatif apparaît en face de SQL dans la deuxième colonne, vous pouvez identifier les clusters concernés en ajoutant databricks/cluster_name dans la section Group by, afin de repérer ceux à basculer vers du compute serverless.
Surveiller et maîtriser vos dépenses Databricks
Comme pour les autres intégrations déjà publiées (Datadog, OpenAI, etc.), si une hausse anormale des coûts survient sur Databricks, l'Anomaly Detection la détecte et vous alerte, pour que vous puissiez réagir avant que vos opérations et votre facture ne soient davantage impactées.
Vous pouvez également créer des Budgets à partir d'Allocations intégrant des données Databricks.
Vous vous souvenez des Allocations créées plus haut pour nos deux types d'environnements Databricks ?
Ci-dessous, nous avons créé un budget qui surveille nos dépenses de production Databricks — définies par notre règle d'Allocation Databricks production — par rapport à différents seuils.
Budget dans DoiT Cloud Intelligence surveillant les coûts de production Databricks
Autre cas d'usage pertinent, en complément des Budgets : configurer des Alerts pour surveiller votre usage Databricks. Comme précédemment, nous avons cadré cette alerte sur notre règle d'Allocation Databricks production.
Cette alerte nous prévient lorsque les coûts progressent de plus de 20 % d'un mois sur l'autre — et comme nous avons inclus le system label databricks/cluster_name dans le menu déroulant Evaluate for each, elle se déclenchera dès que le coût de n'importe quel cluster de production augmentera de plus de 20 %.
Là où les Budgets vous permettent de garder un œil sur les postes de dépenses à un niveau global, les Alerts vous aident à surveiller plusieurs instances d'une même dimension. Ici, plutôt que de créer un Budget par cluster de production, il suffit de configurer une seule Alert.
Alerte déclenchée dès que le coût d'un cluster de production augmente de plus de 20 % d'un mois sur l'autre
Avec vos dépenses Databricks réunies aux côtés de votre infrastructure cloud, de vos autres SaaS connectés comme Datadog et de tous les coûts importés via DataHub, vous obtenez une vision réellement complète de vos coûts.
Et puisque vos métriques d'unit economics sont calculées à partir des Allocations, intégrer les données Databricks dans vos Allocations signifie que votre coût par client, votre coût par transaction et vos autres indicateurs business refléteront le coût réel et complet de vos opérations.
Prêt à vous lancer ? Si vous utilisez Databricks, configurez l'intégration dès aujourd'hui et gagnez en visibilité sur les coûts de votre plateforme de données. Pas encore client DoiT ? Contactez-nous pour découvrir comment DoiT Cloud Intelligence peut vous aider à maximiser la valeur de vos investissements cloud, et pas seulement à en réduire les coûts.
L'intégration Databricks est disponible pour les clients DoiT Cloud Intelligence éligibles. Consultez notre page tarifs pour connaître les détails par palier.
Pour en savoir plus sur l'intégration Databricks, consultez notre documentation dans le DoiT Help Center ou suivez la visite guidée pas à pas de la configuration de l'intégration Databricks.