L'attribuzione AI del gateway Bifrost in Cloud Intelligence™

Visualizzi la spesa LLM per singola richiesta, suddivisa per virtual key, team e cliente, dal Suo gateway Bifrost self-hosted di Maxim AI, direttamente accanto alla fattura cloud.

Se instrada il traffico LLM attraverso un gateway Bifrost self-hosted, ha già risolto metà del problema dell'attribuzione. Ogni richiesta passa attraverso una virtual key associata a un team o a un cliente, e il gateway calcola il prezzo di ogni chiamata in base al proprio catalogo di modelli. Il problema è dove risiedono questi dati: all'interno della Sua VPC, nel log store del gateway. Le fatture dei provider Le dicono quanto ha speso il mese scorso su Anthropic o Bedrock, ma non quale team, quale cliente o quale applicazione ha generato quella spesa. Il gateway lo sa, ma finora quell'informazione non usciva da lì.

Il bifrost-datahub-exporter trasferisce i dati delle richieste del Suo gateway in Cloud Intelligence™.

Cosa ottiene

Un piccolo container o binario viene eseguito accanto al gateway. Interroga in modo incrementale l'API dei log di Bifrost e invia a Cloud Intelligence™ un evento per ogni richiesta, etichettato con provider, modello, virtual key, team e cliente, ricavati direttamente dalla gerarchia di governance del gateway. Queste etichette diventano dimensioni a pieno titolo in Cloud Analytics: può raggruppare un report per team, creare un'allocazione per cliente, impostare un budget su una virtual key o puntare il rilevamento delle anomalie su uno qualsiasi di questi elementi. La spesa compare inoltre nella dashboard AI Intelligence insieme agli altri provider AI, con il conteggio dei token di prompt e completion e, a partire dalla versione 2.0.0 del gateway, la suddivisione dei costi tra input e output.

Un punto da tenere presente: Bifrost non fattura nulla. Le chiavi dei provider sono le Sue, quindi la spesa fatturata arriva già in Cloud Intelligence™ attraverso i feed di costo dei provider e del cloud. I numeri del gateway sono stime basate sui prezzi di catalogo, e l'integrazione li tratta come tali. Ogni evento porta un'etichetta cost_basis: estimated. Usi questo dataset per capire chi e cosa; per sapere quanto, restano i Suoi dati di fatturazione.

L'exporter è open source (Apache-2.0), progettato per superare la security review a cui verrà sottoposto prima di entrare nella Sua VPC. Decodifica i log del gateway attraverso una rigorosa allowlist di campi: non esiste quindi alcun percorso nel codice attraverso cui il contenuto di prompt e risposte possa uscire dalla Sua rete, e un test leak-canary nella CI garantisce che resti così. Le credenziali del gateway rimangono all'interno; l'unica chiamata in uscita è verso le API di Cloud Intelligence™. Le release vengono distribuite come build riproducibili con firme cosign, così può verificare ciò che esegue invece di doversi fidare sulla parola.

La configurazione è volutamente noiosa: due variabili d'ambiente, un Helm chart o una voce in docker-compose, ed è fatta.

Come iniziare

1. Crei un token API di Cloud Intelligence™ con il permesso DataHub Admin.
2. Esegua l'exporter accanto al gateway, indicando l'URL del gateway e il token. La guida alla connessione di Bifrost illustra le opzioni Helm, docker-compose e systemd.
3. Entro circa 15 minuti, i Suoi dati compaiono in DataHub > Datasets > Bifrost e in Cloud Intelligence™ come provider Bifrost.

Se utilizza Bifrost in produzione, ci interessa sapere come si presentano i Suoi report con volumi di traffico reali: quali etichette sostengono il Suo modello di allocazione e che cosa cede per primo. Questo feedback orienta ciò che costruiremo qui in futuro.