Attribution des coûts IA de la gateway Bifrost dans Cloud Intelligence™

Visualisez les dépenses LLM par requête, ventilées par clé virtuelle, équipe et client, depuis votre gateway Bifrost auto-hébergée de Maxim AI, en regard de votre facture cloud.

Si vous faites transiter votre trafic LLM par une gateway Bifrost auto-hébergée, le problème de l'attribution est déjà à moitié résolu. Chaque requête passe par une clé virtuelle rattachée à une équipe ou à un client, et la gateway calcule le coût de chaque appel à partir de son catalogue de modèles. Le problème, c'est l'endroit où résident ces données : dans votre VPC, dans le store de logs propre à la gateway. Vos factures fournisseurs vous indiquent combien vous avez dépensé le mois dernier chez Anthropic ou sur Bedrock. Elles ne peuvent pas vous dire quelle équipe, quel client ou quelle application est à l'origine de ces dépenses. La gateway, elle, le sait — mais jusqu'ici, cette information restait cantonnée sur place.

L'exporteur bifrost-datahub-exporter envoie les données de requêtes de votre gateway dans Cloud Intelligence™.

Ce que vous y gagnez

Un petit conteneur ou binaire s'exécute à côté de votre gateway. Il interroge l'API de logs de Bifrost de manière incrémentale et pousse un événement par requête vers Cloud Intelligence™, étiqueté avec le fournisseur, le modèle, la clé virtuelle, l'équipe et le client, directement issus de la hiérarchie de gouvernance de la gateway. Ces labels deviennent des dimensions à part entière dans Cloud Analytics : groupez un rapport par équipe, construisez une allocation par client, définissez un budget sur une clé virtuelle, ou pointez la détection d'anomalies sur n'importe laquelle de ces dimensions. Les dépenses apparaissent aussi dans le dashboard AI Intelligence aux côtés de vos autres fournisseurs d'IA, avec le nombre de tokens de prompt et de complétion et, à partir de la version 2.0.0 de la gateway, la répartition des coûts entrée/sortie.

Un point à garder en tête : Bifrost ne facture rien. Vous utilisez vos propres clés fournisseurs ; les dépenses facturées arrivent donc déjà dans Cloud Intelligence™ via vos flux de coûts cloud et fournisseurs. Les chiffres de la gateway sont des estimations basées sur son catalogue de prix, et l'intégration les traite comme telles. Chaque événement porte un label cost_basis: estimated. Utilisez ce jeu de données pour répondre au qui et au quoi ; vos données de facturation continuent de répondre au combien.

L'exporteur est open source (Apache-2.0), conçu pour passer la revue de sécurité qui l'attend avant de toucher votre VPC. Il décode les logs de la gateway via une allowlist stricte de champs : le contenu des prompts et des réponses ne dispose d'aucun chemin de code vers l'extérieur de votre réseau, et un test leak-canary en CI garantit que cela reste le cas. Les identifiants de la gateway ne quittent jamais votre infrastructure ; le seul appel sortant est destiné aux API Cloud Intelligence™. Les releases sont publiées sous forme de builds reproductibles signés avec cosign : vous pouvez ainsi vérifier ce que vous exécutez au lieu de nous croire sur parole.

La mise en place est volontairement sans surprise : deux variables d'environnement, un chart Helm ou une entrée docker-compose, et c'est tout.

Pour commencer

1. Créez un token d'API Cloud Intelligence™ avec la permission DataHub Admin.
2. Exécutez l'exporteur à côté de votre gateway, avec l'URL de la gateway et le token. Le guide de connexion Bifrost détaille les options Helm, docker-compose et systemd.
3. Au bout d'environ 15 minutes, vos données apparaissent sous DataHub > Datasets > Bifrost et dans Cloud Intelligence™ en tant que fournisseur Bifrost.

Si vous exécutez Bifrost en production, nous aimerions savoir à quoi ressemblent vos rapports à des volumes de trafic réels : quels labels portent votre modèle d'allocation, et ce qui casse en premier. Ces retours orientent la suite de nos développements.