Bringen Sie Ihre LiteLLM-Gateway-Ausgaben in Cloud Intelligence™

Betreiben Sie einen kleinen Exporter neben Ihrem LiteLLM-Proxy – und jeder Modellaufruf erscheint als gelabelte Ausgabe, inklusive rückwirkend importierter Historie.

Wenn Sie Ihren LLM-Traffic über ein selbst gehostetes LiteLLM-Gateway leiten, verfügen Sie bereits über einige der aussagekräftigsten Kostendaten Ihres Unternehmens: Jeder Aufruf wird erfasst, bepreist und mit dem Key, dem Team und dem Endkunden versehen, von denen er stammt. Das Problem ist, wo diese Daten liegen: in der eigenen Postgres-Datenbank des Proxys – unsichtbar für den Ort, an dem Sie alle anderen Ausgaben analysieren. AI-Kostenreviews werden so zu SQL-Abfragen auf die Gateway-Datenbank, während der Rest der Rechnung in Ihrem FinOps-Tooling liegt.

Diese Lücke wollten wir schließen. Cloud Intelligence™ übernimmt jetzt LiteLLM-Ausgaben – ein Event pro Modellaufruf – in dieselben Reports wie Ihre Cloud-Rechnung.

Was Sie bekommen

Sie betreiben den litellm-datahub-exporter neben Ihrem Proxy: ein statisches Binary oder ein Container, konfiguriert mit Ihrer Proxy-URL und zwei Keys. Er fragt regelmäßig die Spend-APIs von LiteLLM ab und überträgt gelabelte Events an die DataHub API. Das Setup ist bewusst unspektakulär.

Jeder Aufruf kommt gelabelt an – mit Provider, Modell, virtuellem Key, Team und, sofern Sie sie über LiteLLM durchreichen, Ihrem Feature-Namen und Ihrer Endkunden-Kennung. Daraus werden einheitliche Dimensionen in Reports, Allokationen und Budgets – ein Report zu Kosten pro Feature und Kunde ist damit in einer Minute erstellt. Dieselben Events erscheinen zudem im AI Intelligence Dashboard – direkt neben Ihren Ausgaben für Anthropic, OpenAI, Bedrock, Gemini und Cursor (vollständige Liste der Integrationen).

Drei Designentscheidungen, auf die es ankommt

Es gibt keine Pipeline. Kein OpenTelemetry-(OTEL-)Collector, den Sie deployen müssen, keine Filterregeln zum Pflegen, kein Telemetrie-Backend zwischen Ihrem Gateway und Ihren Reports – und DoiT muss zu keinem Zeitpunkt auf Ihr Netzwerk zugreifen. Der Exporter ist die gesamte Integration, und er liegt außerhalb des Request-Pfads. Er kann also weder die Latenz eines Modellaufrufs erhöhen noch einen Aufruf verlieren.

Die Historie kommt mit. Beim ersten Lauf importiert der Exporter rückwirkend Daten aus dem Aufbewahrungszeitraum Ihrer Spend-Logs – bis zu zwei Jahre. Ansätze, die den Live-Telemetrie-Stream des Gateways anzapfen, sehen nur Traffic ab dem Tag der Instrumentierung; dieser hier startet mit der Vergangenheit.

Er hält dem echten Betrieb stand. Jedes Event hat eine deterministische ID, und erneute Exporte überschreiben, statt zu duplizieren. Starten Sie den Exporter neu, verlieren Sie seinen Checkpoint, spielen Sie nach einem Ausfall einen ganzen Monat erneut ein – die Zahlen bleiben korrekt.

LiteLLM berechnet Kosten aus seiner Preistabelle, nicht aus den Rechnungen der Provider; jedes Event ist daher als geschätzte Ausgabe gekennzeichnet. Da Cloud Intelligence™ zusätzlich native Integrationen für Anthropic und OpenAI bietet, die Kosten- und Nutzungsdaten direkt von den Providern beziehen, können Sie die Sicht des Gateways in einem einzigen Report mit dem abgleichen, was die Provider tatsächlich in Rechnung stellen.

Was Ihr Netzwerk nie verlässt

Der Exporter ist Open Source unter Apache-2.0, klein genug, dass Ihr Security-Team ihn in einem Rutsch durchlesen kann, und er läuft vollständig in Ihrer Infrastruktur. Ihr LiteLLM-Admin-Key wird ausschließlich für Zugriffe auf Ihren eigenen Proxy verwendet. Spend-Zeilen durchlaufen eine strikte Feld-Allowlist, sodass Prompt- und Response-Inhalte selbst bei einer Fehlkonfiguration nicht exportiert werden können. Diese Garantie ist im Code verankert, den Sie auditieren können – nicht in einem Filter, an dessen Konfiguration Sie denken müssen. Releases erscheinen als signierte Container und Binaries mit veröffentlichten SBOMs, gebaut in einem öffentlichen CI-Workflow, den Sie mit cosign verifizieren können.

So starten Sie

1. Erstellen Sie einen Cloud Intelligence™-API-Token mit dem Scope DataHubAdmin.
2. Betreiben Sie den Exporter neben Ihrem Proxy – per Docker, Helm oder systemd.
3. Labeln Sie Ihren Traffic mit Feature- und Endkunden-Kennungen, öffnen Sie anschließend Cloud Analytics und gruppieren Sie danach.

Ihre Ausgaben erscheinen etwa 15 Minuten nach dem ersten Zyklus unter dem Provider LiteLLM. Die Integration setzt ein DataHub-Abonnement in Ihrem Cloud Intelligence™-Tarif voraus; alles Weitere finden Sie im Leitfaden zur LiteLLM-Anbindung.