Lleva el gasto de tu gateway LiteLLM a Cloud Intelligence™

Ejecuta un pequeño exporter junto a tu proxy de LiteLLM y cada llamada a modelos aparece como gasto etiquetado, con todo el historial ya cargado.

Si enrutas el tráfico de LLM a través de un gateway LiteLLM autoalojado, ya tienes algunos de los datos de costos más valiosos de tu empresa: cada llamada medida, con su precio calculado y etiquetada con la key, el equipo y el cliente final que la originó. El problema es dónde viven esos datos. Se quedan en el Postgres del propio proxy, invisibles para el lugar donde analizas todo lo demás que gastas. Así, las revisiones de costos de IA terminan siendo consultas SQL contra la base de datos del gateway, mientras el resto de la factura vive en tus herramientas de FinOps.

Queríamos cerrar esa brecha. Cloud Intelligence™ ahora incorpora el gasto de LiteLLM, un evento por cada llamada a un modelo, a los mismos reportes que tu factura de la nube.

Lo que obtienes

Ejecutas el litellm-datahub-exporter junto a tu proxy: un binario estático o un contenedor, configurado con la URL de tu proxy y dos keys. Este consulta las APIs de gasto de LiteLLM y envía eventos etiquetados a la API de DataHub. La configuración es deliberadamente aburrida.

Cada llamada llega etiquetada con proveedor, modelo, key virtual y equipo y, si los pasas a través de LiteLLM, con el nombre de tu funcionalidad y el identificador de tu cliente final. Todo eso se convierte en dimensiones unificadas en reportes, asignaciones y presupuestos, así que el costo por funcionalidad y por cliente es un reporte que armas en un minuto, y esos mismos eventos alimentan el dashboard de AI Intelligence junto a tu gasto de Anthropic, OpenAI, Bedrock, Gemini y Cursor lista completa de integraciones.

Tres decisiones de diseño que importan

No hay pipeline. No hay que desplegar un collector de OpenTelemetry (OTEL), ni mantener reglas de filtrado, ni poner un backend de telemetría entre tu gateway y tus reportes, y DoiT no necesita acceder a tu red para nada. El exporter es toda la integración, y queda fuera de la ruta de las solicitudes, por lo que nunca puede agregar latencia a una llamada a un modelo ni perder ninguna.

El historial viene incluido. En la primera ejecución, el exporter carga el historial desde la retención de tus registros de gasto, hasta dos años atrás. Los enfoques que se conectan al stream de telemetría en vivo del gateway solo ven el tráfico desde el día en que los instrumentaste; este, en cambio, empieza con el pasado.

Sobrevive a las operaciones reales. Cada evento tiene un id determinístico, y las reexportaciones sobrescriben en lugar de duplicar. Reinicia el exporter, borra su checkpoint o reprocesa un mes completo después de una caída: los números se mantienen correctos.

LiteLLM calcula el costo a partir de su mapa de precios, no de las facturas de los proveedores, por lo que cada evento se etiqueta como gasto estimado. Como Cloud Intelligence™ también cuenta con integraciones nativas de Anthropic y OpenAI que obtienen los reportes de costo y uso del lado del proveedor, puedes conciliar la vista del gateway con lo que los proveedores realmente cobran, en un solo reporte.

Lo que nunca sale de tu red

El exporter es open source bajo licencia Apache-2.0, lo suficientemente pequeño como para que tu equipo de seguridad lo lea de una sentada, y se ejecuta por completo en tu infraestructura. Tu admin key de LiteLLM se usa únicamente contra tu propio proxy. Las filas de gasto pasan por una allowlist estricta de campos, así que el contenido de los prompts y las respuestas no puede exportarse ni siquiera por una mala configuración; esa garantía está implementada en código que puedes auditar, no en un filtro que tienes que acordarte de configurar. Las versiones se publican como contenedores y binarios firmados con SBOMs públicos, generados por un workflow de CI público que puedes verificar con cosign.

Comienza ahora

1. Crea un token de API de Cloud Intelligence™ con el scope DataHubAdmin.
2. Ejecuta el exporter junto a tu proxy con Docker, Helm o systemd.
3. Etiqueta tu tráfico con identificadores de funcionalidad y de cliente final, y luego abre Cloud Analytics y agrupa por ellos.

Tu gasto aparece bajo el proveedor LiteLLM unos 15 minutos después del primer ciclo. La integración requiere una suscripción a DataHub en tu plan de Cloud Intelligence™; la guía de conexión de LiteLLM cubre el resto.