DoiT Cloud IntelligenceにDatabricks連携が新登場。クラウドインフラや他のSaaSコストとあわせてDatabricksのコストを管理できます。支出の可視化、Databricks支出の異常検知、そして技術portfolio全体の最適化までを一気通貫でサポートします。
データ分析にDatabricksをお使いの方へ。 DatabricksをDoiT Cloud Intelligenceに接続し、インフラのクラウドコスト・使用量データとあわせて、Databricksの詳細なコストと使用量を追跡できるようになりました。
Databricksアカウントの接続が完了すれば、DoiT Cloud Intelligence™上でDatabricksのコストと使用量をさまざまな切り口から分析できます。
本連携の主な活用ポイントを見ていきましょう。
Databricks Lens
Databricks Lensは、Databricksを連携するとすぐに使えるダッシュボードです。DBU使用量、クラスター利用状況、ジョブ別の日次コストなどの観点から、Databricksのコストと使用量の概要を確認できます。
Databricks分析の足がかりとして便利ですが、これはまだ入り口にすぎません。本領を発揮するのは、Allocations、カスタムレポート、Anomaly DetectionといったDoiTの他機能とDatabricksデータを組み合わせたときです。
DoiT Cloud IntelligenceのDatabricks Lens
Databricksのコスト・使用量データでAllocationsを構築
Allocationsは、コストの責任分担を明確にし、チーム・プロジェクト・事業部門ごとに正確なショーバック/チャージバックを行うために欠かせない機能です。
連携をセットアップすれば、標準ディメンションやシステムラベルを介して、Databricksの詳細なコスト・使用量データをAllocationsに組み込めます。
Databricks単独のAllocationsはもちろん、AWSなど他のクラウドや、Datadogなど連携済みサービスのデータを含む既存のAllocationsに追加することも可能です。
クラウドインフラからDatadogやOpenAIなどのSaaSプラットフォームまで、Allocationsに組み込むコスト要素が増えるほど、コストの可視化はより包括的かつ実用的になり、技術投資の経済的インパクトを総合的に把握できるようになります。
下の例では、Databricks連携で取り込んだデータを使い、本番環境とdev/QAなど複数のDatabricks環境を定義するAllocation(「Databricks environments」)を作成しています。
Databricksの各環境を表すDoiT Cloud IntelligenceのAllocations
Databricksデータを使ったコスト・使用量レポートの作成
同じデータを使って、Databricksの支出と使用状況を把握するためのレポートも作成できます。
たとえば、DatabricksでSQL workloadsを実行する際のベストプラクティスは、サーバーレスコンピュートを使うことです。
下のレポートでは、システムラベル databricks/product_features/is_serverless を使い、サーバーレス以外のコンピュートで動作しているSQL workloadsがないか(1列目の「False」)を確認できます。
workloadsのタイプ別に、サーバーレス/非サーバーレスコンピュートでの実行状況を分解したレポート
2列目の「SQL」の隣に大きなコストが表示されている場合は、Group byセクションに databricks/cluster_name を追加すれば、サーバーレス以外のコンピュートで動作しているクラスターを特定し、サーバーレスコンピュートへ移行すべき対象を洗い出せます。
Databricks支出のモニタリングとコントロール
Datadog、OpenAIといった既存の連携と同様に、Databricksでコストの異常急増が発生すると、Anomaly Detectionがそれを検知して通知します。請求や運用への影響が広がる前に、早めに対処できます。
さらに、Databricksデータを組み込んだAllocationsを使ってBudgetsを構築することもできます。
先ほど作成した、2種類のDatabricks環境向けのAllocationsを思い出してください。
下の例では、「Databricks production」のAllocationルールで定義した本番環境の支出を、複数のしきい値に対してモニタリングするBudgetを作成しています。
Databricks本番環境のコストをモニタリングするDoiT Cloud IntelligenceのBudget
もう1つ有効な使い方(かつBudgetsを補完する手段)が、Databricksの使用状況を監視するAlertsの設定です。ここでも同じく、「Databricks production」のAllocationルールにスコープを絞っています。
このアラートは、コストが前月比20%超で増加した場合に通知します。_Evaluate for each_のドロップダウンにシステムラベル databricks/cluster_name を指定しているため、_本番環境のいずれかのクラスターのコスト_が20%超上昇した時点でフラグが立つ仕組みです。
Budgetsが支出要素をマクロに監視するのに対し、Alertsは1つのディメンションに含まれる複数インスタンスをまとめて監視できます。今回のように、本番クラスターごとにBudgetを作らなくても、1つのAlertを設定するだけで済みます。
本番クラスターのコストが前月比20%超で上昇した際に通知するアラート
Databricksの支出を、クラウドインフラ、Datadogなど連携済みのSaaSコスト、さらにDataHub経由で取り込んだあらゆるコストと並べて把握できることで、より完全なコスト像が見えてきます。
また、ユニットエコノミクス指標はAllocationsをもとに算出されるため、AllocationsにDatabricksデータを組み込めば、顧客あたりコストやトランザクションあたりコストといったビジネス指標も、事業運営の真の総コストを反映したものになります。
さっそく始めましょう。 Databricksをお使いの方は、今すぐ連携をセットアップして、データプラットフォームのコストを見える化してください。まだDoiTをご利用でない方は、こちらからお問い合わせください。DoiT Cloud Intelligenceが、単なるコスト削減にとどまらず、クラウド投資から最大限の価値を引き出すためにどう役立つかをご紹介します。
Databricks連携は、対象となるDoiT Cloud Intelligenceのお客様にご利用いただけます。現行のティア詳細は 料金ページ をご覧ください。
Databricks連携の詳細は、 DoiT Help Centerのドキュメントをご確認いただくか、ステップバイステップのツアーでDatabricks連携のセットアップ手順をご体験ください。