Atribución de IA del gateway Bifrost en Cloud Intelligence™

Visualiza el gasto en LLM por request —desglosado por virtual key, equipo y cliente— desde tu gateway Bifrost self-hosted de Maxim AI, junto a tu factura de la nube.

Si enrutas el tráfico de LLM a través de un gateway Bifrost self-hosted, ya tienes medio resuelto el problema de la atribución. Cada request pasa por una virtual key que pertenece a un equipo o a un cliente, y el gateway calcula el precio de cada llamada a partir de su catálogo de modelos. El problema es dónde viven esos datos: dentro de tu VPC, en el almacén de logs del propio gateway. Las facturas de tus proveedores te dicen cuánto gastaste en Anthropic o Bedrock el mes pasado. Lo que no te dicen es qué equipo, qué cliente o qué aplicación generó ese gasto. El gateway lo sabe, pero hasta ahora esa información no salía de ahí.

El bifrost-datahub-exporter envía los datos de requests de tu gateway a Cloud Intelligence™.

Qué obtienes

Un pequeño contenedor o binario se ejecuta junto a tu gateway. Consulta la API de logs de Bifrost de forma incremental y envía un evento por request a Cloud Intelligence™, etiquetado con proveedor, modelo, virtual key, equipo y cliente, directamente desde la jerarquía de gobernanza del gateway. Esas etiquetas se convierten en dimensiones de pleno derecho en Cloud Analytics: agrupa un reporte por equipo, crea una asignación por cliente, define un presupuesto sobre una virtual key o aplica la detección de anomalías sobre cualquiera de ellas. El gasto también aparece en el dashboard de AI Intelligence junto a tus demás proveedores de IA, con conteos de tokens de prompt y completion y, a partir de la versión 2.0.0 del gateway, con el desglose de costos de entrada/salida.

Un punto importante: Bifrost no factura nada. Tú aportas tus propias claves de proveedor, así que el gasto facturado ya llega a Cloud Intelligence™ a través de tus feeds de costos de nube y de proveedores. Los números del gateway son estimaciones basadas en precios de catálogo, y la integración los trata como tales. Cada evento lleva la etiqueta cost_basis: estimated. Usa este dataset para responder quién y qué; tus datos de facturación siguen respondiendo cuánto.

El exporter es de código abierto (Apache-2.0), diseñado pensando en la revisión de seguridad que recibirá antes de tocar tu VPC. Decodifica los logs del gateway mediante una lista estricta de campos permitidos, de modo que el contenido de prompts y respuestas no tiene ninguna vía en el código para salir de tu red, y un test de leak-canary en CI se encarga de que siga así. Las credenciales del gateway se quedan dentro; la única llamada saliente es hacia las APIs de Cloud Intelligence™. Los releases se publican como builds reproducibles con firmas de cosign, para que puedas verificar lo que ejecutas en lugar de confiar en nuestra palabra.

La configuración es aburrida a propósito: dos variables de entorno, un chart de Helm o una entrada de docker-compose, y listo.

Primeros pasos

1. Crea un token de API de Cloud Intelligence™ con el permiso DataHub Admin.
2. Ejecuta el exporter junto a tu gateway con la URL del gateway y el token. La guía de conexión de Bifrost incluye las opciones para Helm, docker-compose y systemd.
3. En unos 15 minutos, tus datos aparecen en DataHub > Datasets > Bifrost y en Cloud Intelligence™ como el proveedor Bifrost.

Si usas Bifrost en producción, queremos saber cómo se ven tus reportes con volúmenes de tráfico reales: qué etiquetas sostienen tu modelo de asignación y qué es lo primero que falla. Ese feedback define lo próximo que construiremos aquí.