Bifrost ゲートウェイの AI コスト帰属を Cloud Intelligence™ で

セルフホストの Maxim AI Bifrost ゲートウェイから、仮想キー・チーム・顧客ごとのリクエスト単位の LLM 支出を、クラウド請求と並べて確認できます。

LLM トラフィックをセルフホストの Bifrost ゲートウェイ経由でルーティングしているなら、コスト帰属の問題はすでに半分解決したも同然です。すべてのリクエストはチームや顧客に紐づく仮想キーを通過し、ゲートウェイはモデルカタログに基づいて各呼び出しのコストを算出します。問題は、そのデータの所在です。データは VPC 内、ゲートウェイ自身のログストアの中にあります。プロバイダーの請求書を見れば、先月 Anthropic や Bedrock にいくら使ったかは分かります。しかし、どのチーム、どの顧客、どのアプリケーションがその支出を生んだのかまでは分かりません。ゲートウェイはそれを知っているのに、これまでその情報が外に出ることはありませんでした。

bifrost-datahub-exporter は、ゲートウェイのリクエストデータを Cloud Intelligence™ に届けます。

できること

小さなコンテナまたはバイナリを 1 つ、ゲートウェイの隣で動かすだけです。Bifrost のログ API を増分ポーリングし、リクエストごとに 1 件のイベントを Cloud Intelligence™ にプッシュします。各イベントには、ゲートウェイのガバナンス階層に基づいて、プロバイダー、モデル、仮想キー、チーム、顧客のラベルがそのまま付与されます。これらのラベルは Cloud Analytics でそのままディメンションとして活用できます。チーム別にレポートを集計する、顧客ごとにコスト配賦を設定する、仮想キーに予算を設定する、任意の項目に異常検知を適用する、といったことが可能です。支出は AI Intelligence ダッシュボードにも他の AI プロバイダーと並んで表示され、プロンプトおよびコンプリーションのトークン数に加え、ゲートウェイ v2.0.0 以降では入力/出力のコスト内訳も確認できます。

1 点、押さえておきたいことがあります。Bifrost 自体は課金を行いません。プロバイダーのキーはお客様自身が用意するため、実際に請求される支出は、プロバイダーおよびクラウドコストのフィードを通じてすでに Cloud Intelligence™ に届いています。ゲートウェイの数値はカタログ価格に基づく推定値であり、このインテグレーションもそのように扱います。すべてのイベントには cost_basis: estimated ラベルが付きます。このデータセットは「誰が・何に使ったか」の把握に活用し、「いくらかかったか」は引き続き請求データで確認してください。

エクスポーターはオープンソース(Apache-2.0)で、VPC への導入前に必ず行われるセキュリティレビューを想定して設計されています。ゲートウェイのログは厳格なフィールド許可リストを通じてデコードされるため、プロンプトやレスポンスの内容がネットワークの外に出るコードパスは存在せず、CI のリークカナリアテストがその状態を維持し続けます。ゲートウェイの認証情報は内部にとどまり、外部への通信は Cloud Intelligence™ API への呼び出しのみです。リリースは再現可能なビルドとして cosign 署名付きで配布されるため、当社を信頼するのではなく、実行するものをご自身で検証できます。

セットアップはあえて拍子抜けするほどシンプルにしてあります。環境変数を 2 つ設定し、Helm チャートまたは docker-compose のエントリを追加すれば完了です。

導入手順

1. DataHub Admin 権限を持つ Cloud Intelligence™ API トークンを作成します。
2. ゲートウェイの URL とトークンを指定して、エクスポーターをゲートウェイの隣で実行します。Helm、docker-compose、systemd の各オプションは Bifrost 接続ガイド をご覧ください。
3. 15 分ほどで、データが DataHub > Datasets > Bifrost 配下と、Cloud Intelligence™ の Bifrost プロバイダーとして表示されます。

本番環境で Bifrost を運用している方は、実際のトラフィック量でレポートがどう見えるか、ぜひお聞かせください。どのラベルがコスト配賦モデルを支えているのか、そして最初に破綻するのはどこか。その声が、この領域で次に何を作るかを決めていきます。