LiteLLMゲートウェイの支出をCloud Intelligence™へ

LiteLLMプロキシと同じ環境で小さなエクスポーターを1つ動かすだけで、すべてのモデル呼び出しがラベル付きの支出として表示され、過去のデータもさかのぼって取り込まれます。

セルフホストのLiteLLMゲートウェイでLLMトラフィックをルーティングしているなら、社内でも有数の詳細なコストデータがすでに手元にあります。すべての呼び出しが計測・価格算定され、呼び出し元のキー、チーム、エンドカスタマーでタグ付けされているのです。問題は、そのデータの置き場所です。データはプロキシ自身のPostgresの中にあり、その他あらゆる支出を分析する場所からは見えません。その結果、AIコストのレビューはゲートウェイのデータベースへのSQLクエリになり、請求の残りはFinOpsツールの中にある、という分断が生まれます。

私たちはこのギャップを埋めたいと考えました。Cloud Intelligence™は、LiteLLMの支出をモデル呼び出し1回につき1イベントとして取り込み、クラウド請求と同じレポートに表示できるようになりました。

できること

プロキシと同じ環境でlitellm-datahub-exporterを実行します。静的バイナリまたはコンテナが1つ、設定はプロキシのURLと2つのキーだけです。エクスポーターはLiteLLMの支出APIをポーリングし、ラベル付きイベントをDataHub APIにプッシュします。セットアップは、あえて退屈なほどシンプルに作ってあります。

各呼び出しには、プロバイダー、モデル、仮想キー、チームのラベルが付き、LiteLLM経由で渡していれば機能名とエンドカスタマー識別子も付きます。これらはレポート、アロケーション、予算で共通のディメンションとして使えるため、顧客別・機能別のコストも1分でレポート化できます。さらに同じイベントが、Anthropic、OpenAI、Bedrock、Gemini、Cursorの支出と並んでAI Intelligenceダッシュボードに表示されます(インテグレーションの全リスト)。

こだわった3つの設計

パイプラインは不要です。 デプロイすべきOpenTelemetry(OTEL)コレクターも、維持すべきフィルタールールも、ゲートウェイとレポートの間に挟まるテレメトリーバックエンドもなく、DoiTがお客様のネットワーク内に入り込む必要もありません。エクスポーターそのものがインテグレーションのすべてであり、リクエストパスの外側にあるため、モデル呼び出しにレイテンシーを加えたり、呼び出しを取りこぼしたりすることは決してありません。

過去のデータも引き継げます。 初回実行時に、エクスポーターは支出ログの保持期間分(最大2年)をさかのぼって取り込みます。ゲートウェイのライブテレメトリーストリームを利用するアプローチでは計測を始めた日以降のトラフィックしか見えませんが、この方式なら過去のデータから始められます。

実運用に耐えます。 各イベントのIDは決定的に生成されるため、再エクスポートしても重複せず上書きされます。エクスポーターを再起動しても、チェックポイントを失っても、障害後に1か月分をまるごと再送しても、数字は正しいままです。

LiteLLMはプロバイダーの請求書ではなく自身の価格マップからコストを算出するため、すべてのイベントは推定支出としてラベル付けされます。Cloud Intelligence™には、プロバイダー側のコストと使用状況レポートを取得するネイティブなAnthropicおよびOpenAIインテグレーションもあるため、ゲートウェイ側の数字とプロバイダーが実際に請求する金額を、1つのレポートで突き合わせることができます。

ネットワークの外に出ないもの

エクスポーターはApache-2.0ライセンスのオープンソースで、セキュリティチームが一度に読み切れるほど小さく、すべてお客様のインフラ内で動作します。LiteLLMの管理者キーは、お客様自身のプロキシに対してのみ使用されます。支出データの行は厳格なフィールド許可リストを通過するため、設定ミスがあってもプロンプトやレスポンスの内容がエクスポートされることはありません。この保証は、忘れずに設定しなければならないフィルターではなく、監査可能なコードによって担保されています。リリースは署名済みのコンテナおよびバイナリとしてSBOM付きで公開され、公開CIワークフローでビルドされるため、cosignで検証できます。

始め方

1. DataHubAdminスコープを持つCloud Intelligence™ APIトークンを作成します。
2. Docker、Helm、またはsystemdを使い、プロキシと同じ環境でエクスポーターを実行します。
3. 機能名とエンドカスタマー識別子でトラフィックにラベルを付け、Cloud Analyticsを開いてそれらでグループ化します。

最初のサイクルから約15分後に、LiteLLMプロバイダーの下に支出が表示されます。このインテグレーションには、ご利用のCloud Intelligence™プランでのDataHubサブスクリプションが必要です。詳細はLiteLLM接続ガイドをご覧ください。