Announcement
Esta página também está disponível em English, Deutsch, Español, Français, Italiano e 日本語.
Atribuição de IA do gateway Bifrost no Cloud Intelligence™
Veja o gasto com LLM por requisição, por chave virtual, equipe e cliente do seu gateway Bifrost self-hosted da Maxim AI, lado a lado com sua fatura de nuvem.
Se você roteia tráfego de LLM por um gateway Bifrost self-hosted, já tem metade do problema de atribuição resolvido. Cada requisição passa por uma chave virtual que pertence a uma equipe ou a um cliente, e o gateway precifica cada chamada a partir do seu catálogo de modelos. O problema é onde esses dados ficam: dentro da sua VPC, no próprio armazenamento de logs do gateway. As faturas dos seus provedores dizem quanto você gastou com Anthropic ou Bedrock no mês passado. Elas não conseguem dizer qual equipe, qual cliente ou qual aplicação gerou esse gasto. O gateway sabe — mas, até agora, esse conhecimento nunca saía de lá.
O bifrost-datahub-exporter leva os dados de requisições do seu gateway para o Cloud Intelligence™.
O que você ganha
Um pequeno contêiner ou binário roda ao lado do seu gateway. Ele consulta a API de logs do Bifrost de forma incremental e envia um evento por requisição ao Cloud Intelligence™, rotulado com provedor, modelo, chave virtual, equipe e cliente, direto da hierarquia de governança do gateway. Esses rótulos viram dimensões nativas no Cloud Analytics: agrupe um relatório por equipe, crie uma alocação por cliente, defina um orçamento para uma chave virtual, aponte a detecção de anomalias para qualquer um deles. O gasto também aparece no dashboard de AI Intelligence junto com seus outros provedores de IA, com contagens de tokens de prompt e completion e, no gateway v2.0.0 ou posterior, a divisão de custo entre entrada e saída.
Um ponto importante para não confundir: o Bifrost não fatura nada. Você usa suas próprias chaves de provedor, então o gasto faturado já chega ao Cloud Intelligence™ pelos feeds de custo dos seus provedores e da nuvem. Os números do gateway são estimativas baseadas no catálogo de preços, e a integração os trata exatamente assim. Cada evento carrega o rótulo cost_basis: estimated. Use esse conjunto de dados para responder quem e o quê; seus dados de faturamento continuam respondendo quanto.
O exporter é open source (Apache-2.0), construído já pensando na revisão de segurança pela qual vai passar antes de entrar na sua VPC. Ele decodifica os logs do gateway por meio de uma allowlist estrita de campos, então o conteúdo de prompts e respostas não tem nenhum caminho de código para fora da sua rede — e um teste de leak-canary no CI garante que continue assim. As credenciais do gateway não saem de lá; a única chamada de saída é para as APIs do Cloud Intelligence™. As releases são publicadas como builds reproduzíveis com assinaturas cosign, para você poder verificar o que está executando em vez de simplesmente confiar na gente.
A configuração é chata de propósito: duas variáveis de ambiente, um Helm chart ou uma entrada no docker-compose, e pronto.
Como começar
- Crie um token de API do Cloud Intelligence™ com a permissão DataHub Admin.
- Execute o exporter ao lado do seu gateway com a URL do gateway e o token. O guia de conexão do Bifrost traz as opções de Helm, docker-compose e systemd.
- Em cerca de 15 minutos, seus dados aparecem em DataHub > Datasets > Bifrost e no Cloud Intelligence™ como o provedor Bifrost.
Se você roda o Bifrost em produção, queremos saber como ficam seus relatórios com volumes reais de tráfego: quais rótulos sustentam seu modelo de alocação e o que quebra primeiro. Esse feedback vai definir o que construímos por aqui daqui em diante.
