Configuração
Uma chave de API. Visibilidade total da Vast.ai.
Conecte sua conta Vast.ai com uma chave de API somente leitura. A DoiT ingere automaticamente suas cobranças de aluguel, armazenamento e banda. Sem agentes, sem mudanças nos seus workloads de treinamento ou inferência. Poucas horas depois de conectar, você já vê relatórios unificados de custos de GPU.
O que você ganha
Feito para a realidade de alugar GPUs em um marketplace
O que os times de IA e FinOps realmente nos pedem quando seus gastos com GPU passam a seguir a precificação de marketplace da Vast.ai.
Relatórios de gastos com GPU
Analise os gastos da Vast.ai por tipo de GPU, instância, projeto ou time, sem exportar faturas para planilhas.
Anomalias em tempo real
Receba alertas quando um treinamento ou uma instância esquecida fizer sua fatura disparar.
Detecção de GPUs ociosas
Identifique instâncias alugadas paradas e pare de pagar por horas de GPU sem uso.
Contexto multicloud
Veja os gastos da Vast.ai lado a lado com seus outros provedores de nuvem em um único relatório.
Visibilidade de armazenamento e banda
Separe as cobranças de aluguel de GPU dos custos de armazenamento e banda que se acumulam em torno de datasets de treinamento e checkpoints.
Governança e orçamentos
Defina orçamentos por time ou projeto antes que os experimentos virem surpresas.
A página de faturamento mostra o que você gastou. O Cloud Intelligence™ ajuda você a fazer algo a respeito.
Muito além da página de faturamento da Vast.ai
Consolidação por tipo de GPU e projeto
Visões consolidadas de todas as instâncias alugadas, com drill-down em qualquer modelo de GPU, projeto ou time.
Alertas de anomalias em tempo real
Detecção com machine learning nas dimensões de instância, tipo de GPU e projeto, com envio para Slack ou e-mail.
Previsões e orçamentos
Projete para onde caminham os gastos com GPU em preços de marketplace e defina orçamentos antes que os custos de treinamento fujam do controle.
Alocação de custos bem organizada
Atribua horas de GPU a times e projetos e divida a infraestrutura compartilhada de treinamento do jeito que o financeiro espera.
Visão multicloud de custos de IA
Combine os aluguéis da Vast.ai com gastos de GPU na AWS ou no Google Cloud em um panorama único dos seus custos de computação para IA.
Forward Deployed Engineers
Arquitetos de nuvem de classe mundial que atuam como uma extensão do seu time para implementar otimizações.
Attribute + computação de IA
Mapeie os gastos de computação de IA ao trabalho que os gera
O sensor de runtime do Attribute cobre infraestrutura e inferência de IA, mapeando custos a clientes e workloads sem depender de um programa de tagueamento. Combinado com os dados de gastos da Vast.ai na DoiT, você vê quanto cada cliente e workload realmente custa. Ideal para: times de IA que querem a atribuição de custos de infraestrutura e inferência em uma única visão.
Cobertura de computação
Atribua custos em workloads de IA em contêineres e em VMs.
Atribuição de serviços de dados
Cubra os bancos de dados, object storage, caches e filas que alimentam seus pipelines.
Workloads autogerenciados
Atribua custos de Kafka, Elasticsearch e RabbitMQ que sustentam treinamento e serving.
Cobertura completa de APIs de inferência
Capture chamadas de invocação de modelos e respostas em streaming em toda a sua stack de serving.
Custos por modelo
Detalhe os gastos de inferência por modelo em toda a sua stack de IA.
Visões por cliente e workload
Mostre qual cliente e workload é responsável por cada custo.
Anomalias de infraestrutura e IA
Detecte gastos incomuns na infraestrutura e na inferência de modelos.
Empresas em rápido crescimento rodam com o Cloud Intelligence™
Economia média nos primeiros 90 dias
Tempo médio de implementação
“O foco da DoiT em confiabilidade, combinado com a flexibilidade do sistema, nos ajuda a otimizar com segurança nossos workloads do Amazon EKS sem nenhuma intervenção dos nossos engenheiros.”
Oren Ashkenazy
Diretor de DevOps e Cloud na Fiverr
Pronto para conectar sua conta Vast.ai?
Coloque em foco seus gastos com GPU na Vast.ai.
Frequently asked
questions
Posso ver os gastos da Vast.ai junto com meus outros custos de nuvem?
Sim. O Cloud Intelligence™ normaliza as cobranças de aluguel, armazenamento e banda da Vast.ai na mesma camada de relatórios dos seus outros provedores de nuvem, para você comparar custos de GPU entre plataformas e consolidar tudo por time ou projeto em uma única visão.
O que é preciso para conectar a Vast.ai ao Cloud Intelligence™?
Basta conectar com uma chave de API somente leitura da sua conta Vast.ai. A DoiT cuida da ingestão e da normalização dos seus dados de faturamento e uso, sem agentes para instalar e sem mudanças nos seus workloads de treinamento ou inferência. A maioria dos times entra no ar em um dia.
Quais tipos de GPU ou instâncias respondem pela maior parte dos meus gastos?
Os relatórios permitem fazer drill-down do gasto total da Vast.ai até uma instância ou modelo de GPU específico, com filtros por projeto, time ou período. Você vê exatamente quais treinamentos e workloads de serving estão gerando os custos, sem exportar faturas.
Serei alertado se um treinamento ou uma instância esquecida fizer minha fatura disparar?
A detecção de anomalias roda continuamente sobre seus gastos na Vast.ai. Quando um job de treinamento descontrolado ou uma instância deixada ligada durante a noite faz os custos saírem do padrão esperado, você recebe um alerta por Slack ou e-mail com a causa provável.
A DoiT pode me ajudar a encontrar instâncias de GPU ociosas?
Sim. Como você paga os aluguéis da Vast.ai por hora, estejam as GPUs em uso ou não, instâncias ociosas são a fonte mais comum de desperdício. O Cloud Intelligence™ destaca gastos em instâncias sem atividade relevante para você encerrá-las antes que as horas se acumulem.
Como a precificação de marketplace da Vast.ai afeta os relatórios de custos?
Os hosts da Vast.ai definem seus próprios preços, então suas tarifas efetivas mudam conforme a oferta e a demanda. O Cloud Intelligence™ reporta as cobranças realmente faturadas ao longo do tempo, facilitando ver como mudanças de tarifa, escolhas de instância e uso contribuem, cada um, para a sua fatura.
A Vast.ai já me mostra o faturamento. O que o Cloud Intelligence™ acrescenta?
A visão de faturamento da Vast.ai mostra o que você gastou naquela plataforma. O Cloud Intelligence™ adiciona consolidação multicloud, detecção de anomalias, orçamentos e previsões, alocação de custos por time e projeto, além de acesso a Forward Deployed Engineers que ajudam você a agir sobre o que os dados mostram.
Que acesso o Cloud Intelligence™ tem à minha conta Vast.ai e como ele é protegido?
O Cloud Intelligence™ usa acesso de API somente leitura com escopo de privilégio mínimo. Nunca iniciamos, paramos ou modificamos suas instâncias sem a sua aprovação, e a plataforma tem certificação SOC 2 Type II.