KI-Attribution vom Bifrost-Gateway in Cloud Intelligence™

Sehen Sie die LLM-Ausgaben pro Request nach Virtual Key, Team und Kunde aus Ihrem selbst gehosteten Maxim AI Bifrost-Gateway – direkt neben Ihrer Cloud-Rechnung.

Wenn Sie Ihren LLM-Traffic über ein selbst gehostetes Bifrost-Gateway leiten, haben Sie das Attributionsproblem bereits zur Hälfte gelöst. Jeder Request läuft über einen Virtual Key, der zu einem Team oder einem Kunden gehört, und das Gateway bepreist jeden Aufruf anhand seines Modellkatalogs. Das Problem ist, wo diese Daten liegen: in Ihrer VPC, im eigenen Log-Store des Gateways. Ihre Provider-Rechnungen zeigen, wie viel Sie letzten Monat für Anthropic oder Bedrock ausgegeben haben. Sie verraten Ihnen aber nicht, welches Team, welcher Kunde oder welche Anwendung dahintersteckt. Das Gateway weiß es – doch bislang blieb dieses Wissen genau dort.

Der bifrost-datahub-exporter bringt die Request-Daten Ihres Gateways nach Cloud Intelligence™.

Das bekommen Sie

Ein kleiner Container oder ein Binary läuft neben Ihrem Gateway. Er fragt die Logs-API von Bifrost inkrementell ab und schickt pro Request ein Event an Cloud Intelligence™ – gelabelt mit Provider, Modell, Virtual Key, Team und Kunde, direkt aus der Governance-Hierarchie des Gateways. Diese Labels werden zu vollwertigen Dimensionen in Cloud Analytics: Gruppieren Sie einen Report nach Team, erstellen Sie eine Allokation pro Kunde, setzen Sie ein Budget auf einen Virtual Key oder richten Sie die Anomalieerkennung darauf. Die Ausgaben erscheinen außerdem im AI-Intelligence-Dashboard neben Ihren anderen KI-Providern – inklusive Prompt- und Completion-Token-Zahlen und, ab Gateway v2.0.0, der Aufteilung in Input- und Output-Kosten.

Ein wichtiger Punkt vorab: Bifrost stellt nichts in Rechnung. Sie bringen Ihre eigenen Provider-Keys mit, daher fließen die tatsächlich fakturierten Ausgaben bereits über Ihre Provider- und Cloud-Kosten-Feeds in Cloud Intelligence™ ein. Die Zahlen des Gateways sind katalogbasierte Schätzungen, und genau so behandelt sie die Integration. Jedes Event trägt ein cost_basis: estimated-Label. Nutzen Sie dieses Dataset für die Frage nach dem Wer und Was – das Wie viel beantworten weiterhin Ihre Abrechnungsdaten.

Der Exporter ist Open Source (Apache-2.0) und von Grund auf für den Security-Review gebaut, den er vor dem Einsatz in Ihrer VPC durchlaufen wird. Er dekodiert Gateway-Logs über eine strikte Feld-Allowlist – Prompt- und Response-Inhalte haben also keinen Codepfad aus Ihrem Netzwerk hinaus, und ein Leak-Canary-Test in der CI stellt sicher, dass das so bleibt. Gateway-Zugangsdaten bleiben intern; der einzige ausgehende Aufruf geht an die Cloud Intelligence™-APIs. Releases erscheinen als reproduzierbare Builds mit Cosign-Signaturen – Sie können also selbst verifizieren, was Sie ausführen, statt uns vertrauen zu müssen.

Das Setup ist bewusst unspektakulär: zwei Umgebungsvariablen, ein Helm-Chart oder ein docker-compose-Eintrag – fertig.

Erste Schritte

1. Erstellen Sie ein Cloud Intelligence™-API-Token mit der Berechtigung DataHub Admin.
2. Starten Sie den Exporter neben Ihrem Gateway – mit Ihrer Gateway-URL und dem Token. Die Anleitung zur Bifrost-Anbindung beschreibt die Optionen für Helm, docker-compose und systemd.
3. Nach etwa 15 Minuten erscheinen Ihre Daten unter DataHub > Datasets > Bifrost sowie in Cloud Intelligence™ als Provider Bifrost.

Wenn Sie Bifrost produktiv einsetzen, möchten wir wissen, wie Ihre Reports bei echtem Traffic-Volumen aussehen: Welche Labels tragen Ihr Allokationsmodell, und woran hakt es zuerst? Dieses Feedback bestimmt, was wir hier als Nächstes bauen.