GenAI IntelligenceでVertex AIとDatabricksのモデルサービングコストおよびトークン使用量を追跡

Google Vertex AIおよびDatabricksのGenAIワークロードに関する詳細なコストとトークン使用量を、GenAI Intelligenceで追跡できるようになりました。GenAI Intelligenceは、Amazon Bedrock、OpenAI、Anthropic Claudeなど、対応プロバイダーを含むスタック全体のAIコストとトークン使用量を一元的かつ包括的に可視化します。

Databricksについては、以下が対象に含まれます：

• Databricksホスト型ファウンデーションモデル
• Mosaic AI Model Serving上のカスタムモデル
• モデルサービング関連のネットワークエグレス
• SQL AI Functionsの使用量

さらに、これらのAIプロバイダーのコストおよびトークンデータは、GenAIシステムラベルにも反映されます。これらのシステムラベルは、GenAIデータを統一されたカテゴリ（例：Model、Usage Type、Media Format）に標準化し、対応するすべてのGenAIプロバイダー間で一貫した形式にします。これにより、サービス固有のSKUやリソースを個別に確認することなく、プロバイダー横断でGenAIのコストと使用量を簡単にドリルダウンできます。

まずはGenAI Intelligenceをご覧いただき、GenAIシステムラベルを活用してGenAI支出のレポート作成や配分を行いましょう。

注意：DatabricksのGenAIワークロードをGenAI Lensで表示するには、事前にDatabricksアカウントをDoiT Cloud Intelligenceに接続する必要があります。