データ分析にDatabricksを使う？ DatabricksをDoiTクラウド・インテリジェンスに接続し、インフラストラクチャ・クラウドのコストと使用状況のデータとともに、Databricksの詳細なコストと使用状況を追跡できるようになりました。
接続後 Databricks アカウントを接続するとDatabricks アカウントに接続すると、DoiT Cloud Intelligence™ で Databricks のコストと使用状況を確認することができます。
この統合を活用するための主な方法を紹介しよう。
データブリック・レンズ
Databricks Lens は、Databricks を統合した後に作成される、すぐに使用できるダッシュボードです。 DBU使用状況, クラスタ使用率, ジョブ別の日次コストなど。
Databricksを分析するためのスタートラインには立てますが、これは表面をなぞったに過ぎません。Databricks のデータを他の DoiT 機能（Allocations、カスタムレポート、Anomaly Detection など）と連携させることで、Databricks の分析がさらに面白くなります。
DoiTコンソールのDatabricksレンズ
Databricksのコストと使用データによるアロケーションの構築
アロケーションは、チーム、プロジェクト、ビジネスユニット全体にわたって、真のコスト・アカウンタビリティを達成し、正確なショーバック／チャージバックを可能にするために極めて重要です。
統合のセットアップにより、Databricksの詳細なコストと使用データを組み込むことができます。 標準ディメンションまたは システムラベル- あなたの アロケーション.
これらは、Databricksのみのアロケーションであったり、AWSのような他のクラウドやDatadogのような統合サービスからのデータを含む既存のアロケーションであったりします。
コア・クラウド・インフラから以下のようなSaaSプラットフォームに至るまで、より多くのコスト要素をアロケーションに含めることができます。 データドッグや やOpenAI-のような SaaS プラットフォームに至るまで、より多くのコスト要素を配賦に含めることができるため、コストの可視性がより完全で実用的なものとなり、テクノロジー投資の経済的影響を完全に把握できるようになります。
以下の例では、Databricks統合によって取り込まれたデータを使用して、本番環境と開発/QA環境という複数のDatabricks環境を定義するアロケーション（"Databricks environments"）を作成しました。
異なるDatabricks環境を表すDoiTコンソールのアロケーション
Databricksのデータを活用し、コストや利用状況に関するレポートを作成
上記のセクションで述べたのと同じデータを使用して、Databricksの使用量と使用状況を理解するのに役立つレポートを作成することもできます。
例えば、SQLワークロードをDatabricksで実行するためのベストプラクティスは、サーバーレスコンピートを使用することだ。
以下のレポートでは、システムラベルを使って databricks/product_features/is_serverlessを使用しています。 - SQLワークロードがサーバーレスでないコンピュートで実行されているかどうか（最初の列の "False "値）。
サーバーレスと非サーバーレスのコンピュートで実行されているワークロードをワークロードの種類別に分類したレポート
もし2列目の "SQL "の横に大きなコスト額が表示されたら、どのクラスタがサーバーレスでないコンピュートで実行されているかを分析するために、次のように追加します。 databricks/クラスタ名を グループ セクションに を追加することで、どのクラスタをサーバーレス・コンピュートで置き換える必要があるかを確認することができます。
Databricksの支出の監視と管理
私たちがリリースした他の統合（例：Datadog、OpenAI）と同様に、Databricksで異常なコスト急増があった場合、Anomaly Detectionがそれをピックアップして通知するので、請求書や業務にさらに影響が出る前に対策を講じることができます。
さらに バジェットを作成することができます。
上記で構築した2種類のDatabricks環境のアロケーションを覚えているだろうか？
以下では、"Databricks production "アロケーションルールによって定義されたDatabricksプロダクション支出を、様々な支出しきい値に対して監視する予算を作成しました。
Databricksの生産コストを監視するDoiTコンソールの予算
バジェットを補完する）もう1つの素晴らしい使用例は、次のように設定することです。 アラート Databricks の使用状況を監視します。上記と同様に、このアラートを "Databricks production" Allocation ルールにスコープしています。
このアラートは、前月比でコストが20%以上上昇した場合に知らせてくれる。 databricks/クラスタ名を 各ドロップダウンにシステム・ラベル プロダクション クラスタのコスト が20% 以上上昇した場合に、アラートはフラグを立てます。
バジェットは支出要素をハイレベルで監視するのに役立ちますが、アラートは単一ディメンジョンの複数のインスタンスを監視するのに役立ちます。この場合、すべてのプロダクション・クラスタにバジェットを作成する代わりに、単一のアラートを設定できます。
生産クラスタのコストが前月比>、20%上昇した場合のアラート監視
まとめ
Databricksのコストは、クラウドインフラ、Datadogのような他の統合SaaSのコスト、DataHubを通じて導入したその他のコストと一緒に使うことで、より完全なコストを把握することができます。
そして 単位経済指標Databricks のデータを Allocations に組み込むことは、顧客単価、トランザクション単価、その他のビジネス指標に、貴社のオペレーションの真の完全なコストを反映することを意味します。
始める準備はできましたか？Databricksをお使いの場合、 今すぐ統合をセットアップする そして、データプラットフォームのコストを可視化しましょう。まだDoiTのお客様ではありませんか？ お問い合わせDoiTクラウドインテリジェンスが、コスト削減だけでなく、クラウド投資の価値を最大化するためにどのようなお手伝いができるのか、ぜひお問い合わせください。
Databricksとの統合は、DoiTクラウドインテリジェンスのEnhancedまたはEnterpriseのすべてのお客様にご利用いただけます。 ティアDatabricksとの統合は、DoiT Cloud Navigator Enhanced、Premium、Enterpriseのすべてのお客様にご利用いただけます。
Databricksとの統合について詳しくは、以下のドキュメントをご覧ください。 DoiTヘルプセンター または ステップバイステップツアーをご覧ください。
