Neue Databricks-Integration für DoiT Cloud Intelligence: Steuern Sie Ihre Databricks-Kosten gemeinsam mit Cloud-Infrastruktur und weiteren SaaS-Kosten. Behalten Sie Ausgaben im Blick, erkennen Sie Anomalien bei Databricks-Kosten und optimieren Sie Ihr gesamtes Tech-Portfolio.
Sie nutzen Databricks für Datenanalysen? Ab sofort lässt sich Databricks an DoiT Cloud Intelligence anbinden – und Sie werten detaillierte Databricks-Kosten und -Nutzung gemeinsam mit Ihren Cloud-Infrastrukturdaten aus.
Sobald Sie Ihre Databricks-Konten verbunden haben, stehen Ihnen in DoiT Cloud Intelligence™ mehrere Wege offen, um Databricks-Kosten und -Nutzung zu analysieren.
Sehen wir uns die wichtigsten Möglichkeiten dieser Integration an.
Databricks Lens
Databricks Lens ist ein einsatzbereites Dashboard, das nach der Anbindung von Databricks automatisch bereitsteht. Es bietet einen Überblick über Ihre Databricks-Kosten und -Nutzung – mit Einblicken in DBU-Nutzung, Cluster-Auslastung, tägliche Kosten pro Job und vieles mehr.
Damit gelingt der schnelle Einstieg in die Analyse Ihrer Databricks-Umgebung – aber das ist erst der Anfang. Richtig spannend wird es, sobald Sie Ihre Databricks-Daten mit weiteren DoiT-Funktionen wie Allocations, individuellen Reports oder Anomaly Detection kombinieren.
Databricks Lens in DoiT Cloud Intelligence
Allocations mit Databricks-Kosten- und Nutzungsdaten aufbauen
Allocations sind unverzichtbar, um echte Kostenverantwortung zu schaffen und präzises Showback/Chargeback über Teams, Projekte und Geschäftsbereiche hinweg abzubilden.
Nach dem Setup der Integration lassen sich detaillierte Databricks-Kosten- und Nutzungsdaten – über Standard Dimensions und/oder System Labels – in Ihre Allocations einbeziehen.
Das können reine Databricks-Allocations sein oder bestehende Allocations, die bereits Daten aus anderen Clouds (etwa AWS) und/oder integrierten Services wie Datadog enthalten.
Je mehr Kostenelemente in Ihre Allocations einfließen – von der zentralen Cloud-Infrastruktur bis hin zu SaaS-Plattformen wie Datadog und OpenAI –, desto vollständiger und handlungsrelevanter wird Ihre Kostentransparenz und desto besser erkennen Sie die wirtschaftlichen Auswirkungen Ihrer Technologie-Investitionen.
Im folgenden Beispiel haben wir eine Allocation ("Databricks environments") angelegt, die mehrere Databricks-Umgebungen – Produktion sowie Dev/QA – auf Basis der über die Databricks-Integration eingelesenen Daten definiert.
Allocations in DoiT Cloud Intelligence, die unterschiedliche Databricks-Umgebungen abbilden
Kosten- und Nutzungs-Reports auf Basis von Databricks-Daten
Mit denselben Daten aus dem vorherigen Abschnitt lassen sich auch Reports erstellen, die Databricks-Ausgaben und -Nutzung greifbar machen.
Beispiel: Best Practice für SQL Workloads in Databricks ist der Einsatz von Serverless Compute.
Im folgenden Report erkennen wir – anhand des System Labels databricks/product_features/is_serverless –, ob SQL Workloads auf Non-Serverless-Compute laufen (Wert "False" in der ersten Spalte).
Report mit Aufschlüsselung der Workloads nach Serverless- und Non-Serverless-Compute pro Workload-Typ
Fällt in der zweiten Spalte ein nennenswerter Kostenbetrag neben "SQL" auf, lässt sich über das Hinzufügen von databricks/cluster_name im Bereich Group by analysieren, welche Cluster auf Non-Serverless-Compute laufen – und welche durch Serverless Compute ersetzt werden sollten.
Databricks-Ausgaben überwachen und steuern
Wie bei anderen bereits veröffentlichten Integrationen (etwa Datadog oder OpenAI) erkennt Anomaly Detection auch bei Databricks ungewöhnliche Kostenspitzen und meldet sie umgehend – damit Sie reagieren können, bevor sich die Auswirkungen auf Rechnung und Betrieb ausweiten.
Darüber hinaus lassen sich Budgets auf Basis von Allocations aufsetzen, die Databricks-Daten enthalten.
Erinnern Sie sich an die Allocations für die beiden Databricks-Umgebungen, die wir oben angelegt haben?
Im Beispiel unten haben wir ein Budget erstellt, das unsere Databricks-Produktionsausgaben – definiert über die Allocation-Regel "Databricks production" – gegen verschiedene Schwellenwerte überwacht.
Budget in DoiT Cloud Intelligence zur Überwachung der Databricks-Produktionskosten
Ein weiterer starker Anwendungsfall – und ideale Ergänzung zu Budgets – sind Alerts zur Überwachung Ihrer Databricks-Nutzung. Wie zuvor haben wir diesen Alert auf die Allocation-Regel "Databricks production" eingegrenzt.
Der Alert schlägt an, sobald die Kosten im Monatsvergleich um mehr als 20 % steigen. Da wir zusätzlich das System Label databricks/cluster_name im Dropdown Evaluate for each hinterlegt haben, meldet er sich für jeden Produktions-Cluster, dessen Kosten um mehr als 20 % zunehmen.
Während Budgets dabei helfen, Ausgaben auf hoher Ebene im Blick zu behalten, eignen sich Alerts, um mehrere Ausprägungen einer einzelnen Dimension zu überwachen. Statt für jeden Produktions-Cluster ein eigenes Budget anzulegen, genügt also ein einziger Alert.
Alert für den Fall, dass die Kosten eines Produktions-Clusters im Monatsvergleich um >20 % steigen
Wenn Ihre Databricks-Ausgaben direkt neben Ihrer Cloud-Infrastruktur, weiteren integrierten SaaS-Kosten wie Datadog und allen über DataHub angebundenen Kostendaten stehen, ergibt sich ein deutlich vollständigeres Kostenbild.
Und weil Ihre Unit-Economics-Kennzahlen auf Basis von Allocations berechnet werden, spiegeln Ihre Cost-per-Customer, Cost-per-Transaction und weitere Business-Kennzahlen mit den Databricks-Daten die tatsächlichen, vollständigen Betriebskosten wider.
Bereit loszulegen? Wenn Sie Databricks bereits einsetzen, richten Sie die Integration noch heute ein und verschaffen Sie sich mehr Transparenz über Ihre Datenplattform-Kosten. Noch kein DoiT-Kunde? Sprechen Sie uns an und erfahren Sie, wie DoiT Cloud Intelligence Ihnen hilft, den vollen Wert Ihrer Cloud-Investitionen auszuschöpfen – statt nur Kosten zu senken.
Die Databricks-Integration steht berechtigten DoiT Cloud Intelligence-Kunden zur Verfügung. Aktuelle Tier-Details finden Sie auf unserer Preisseite.
Mehr zur Databricks-Integration finden Sie in unserer Dokumentation im DoiT Help Center oder bei einer Schritt-für-Schritt-Tour durch das Setup der Databricks-Integration.