Esta página también está disponible en English, Deutsch, Français, Italiano, 日本語 y Português.
DataHub integra 26 proveedores externos, desde proveedores de RPC de Solana hasta ClickHouse, en el mismo sistema de reportes que AWS.
La infraestructura es una de las partidas más grandes de Jupiter y, después de las adquisiciones, nadie podía decir con precisión qué tan grande. Ninguno de los workloads heredados se había migrado a la nube principal, así que el total variaba según qué facturas se contaran.
La brecha más grande llegó con el mercado. Solana maneja un alto volumen de escrituras, lo que ejerce una presión inusual del lado de las lecturas, y ha surgido toda una clase de empresas especializadas para atenderlo: los proveedores de Remote Procedure Call (RPC), que leen la cadena y transmiten sus cambios en nombre de Jupiter. Son uno de los costos de infraestructura más grandes de Jupiter, y son negocios jóvenes cuya facturación funciona en consecuencia.
"Nos envían una factura, la pagamos, pero catalogarla en algún lugar es todo un desafío. Es difícil entender qué nos está costando realmente." compartió Kyle.
Según los cálculos de Kyle, entre el 20% y el 40% del gasto de infraestructura de Jupiter quedaba fuera de cualquier sistema. Satyam Gupta, Senior Customer Success Manager en DoiT, lo resume sin rodeos: "si las facturas de terceros se registran a mano, en la práctica no se están registrando." Un equipo solo puede proyectar sobre el gasto que puede ver.
DataHub es la parte de Cloud Intelligence creada precisamente para esta brecha. Toma los datos de costos que están fuera de los proveedores de nube y los coloca en el mismo lugar que la factura de la nube. Los datos llegan por API o carga de CSV, con las dimensiones y métricas que define el cliente, de modo que la factura de un proveedor demasiado pequeño para justificar una integración nativa se convierte en una fuente que la plataforma trata como cualquier otra: disponible para reportes, presupuestos, alertas y pronósticos.
La capacidad ya estaba ahí, pero lo que Jupiter obtuvo fue alguien con quien construir.
Satyam Gupta, junto con los Forward Deployed Engineers (FDE) de DoiT, partió de cómo llegan las facturas en la realidad, no de la referencia de la API. Convirtió un PDF real de Jupiter al formato de DataHub, lo cargó y construyó encima los reportes y las alertas, para que el equipo pudiera ver el resultado terminado antes de comprometerse. Los Forward Deployed Engineers de DoiT intervinieron donde el trabajo iba más allá de la configuración, mientras Jupiter probaba la solución y definía cómo debían leerse los datos, y el equipo de Satyam automatizó el flujo a partir de ese feedback.
"Al integrar DataHub, el equipo de DoiT se involucró a tal punto que fue el propio equipo de DoiT quien armó el primer script de ingesta y el pipeline para nosotros." compartió Kyle.
Lo que entregaron se ajusta a los hábitos del equipo de finanzas. Las facturas llegan a una carpeta de Google Drive, el pipeline las procesa y las carga en Cloud Intelligence junto a la facturación de los proveedores de nube. Jupiter hizo ajustes menores y lo puso en producción.
Jupiter podría haber rastreado por su cuenta a los proveedores faltantes, pero eso deja los datos de costos en dos lugares, y un pronóstico solo puede correr sobre uno. Tener el 60% en DoiT y el resto en otra parte no es una posición desde la cual se pueda planificar. Kyle ya había usado otras plataformas de FinOps, y ahí es donde marca el contraste.
"DoiT realmente ha logrado llenar el vacío que no vi en algunas de las plataformas de FinOps que usé en el pasado." Kyle Espinola, Head of Platform Engineering, Jupiter
Al integrar DataHub, el equipo de DoiT se involucró a tal punto que fue el soporte de DoiT quien armó el primer script de ingesta y el pipeline para destrabarnos.
Kyle Espinola, Head of Platform Engineering
Jupiter es un agregador de exchanges descentralizados en Solana. El trabajo de un agregador es encontrar la mejor ruta para una operación en un mercado de liquidez fragmentada, y Jupiter aporta la inteligencia de ruteo y la infraestructura de lectura para lograrlo. No custodia fondos ni intermedia operaciones. Varias verticales financieras corren hoy sobre esa base, y una serie de adquisiciones durante el último año sumó más. Cada una llegó con su propia infraestructura, y así es como una empresa construida principalmente sobre AWS también tiene workloads en Cloudflare Workers, Google Cloud y en bare metal.
Mantener todo eso funcionando es tarea de platform engineering. Kyle Espinola lidera ese grupo, responsable de Site Reliability Engineering (SRE), infraestructura, automatización de despliegues y FinOps, y que publica los golden paths que siguen todos los demás equipos para poner un servicio en producción y mantenerlo saludable. Su ambición para la plataforma va a la par de la ambición del producto: la super app que Jupiter está construyendo debería ser una sola plataforma por debajo, no varias unidas con parches.
Jupiter alimenta DataHub con 26 proveedores externos —entre ellos sus proveedores de RPC, ClickHouse y Cloudflare— junto a su facturación de AWS y Google Cloud. La porción que Kyle alguna vez describió como más del 30% sin reportar ahora está en el mismo sistema que todo lo demás.
"Pasar del 60% al 100% en un solo sistema es un avance enorme, y DataHub es una gran herramienta: flexible, que realmente nos permite llenar los vacíos y aprovechar todos los reportes." dice Kyle.
El número de cobertura no es todo el retorno. Los pronósticos y el análisis de uso histórico corren sobre el catálogo completo de proveedores, no solo sobre la porción de nube, que es sobre lo que Jupiter planifica. Los presupuestos y las alertas alcanzan a proveedores que no tenían monitoreo alguno, así que una factura que se dispara se detecta de inmediato en lugar de descubrirse después. La catalogación que Kyle describía —acordarse de registrar una factura antes de que el número se pierda— ahora es tarea del pipeline, no de una persona.
La cobertura era el prerrequisito. La siguiente pregunta es la rentabilidad.
"Tenemos una visibilidad muy clara de los ingresos que genera un producto, pero para entender tu ganancia necesitas conocer el costo. Y una gran parte de nuestro costo por producto está en el gasto de infraestructura." compartió Kyle.
Las asignaciones mapearán ese gasto a las líneas de producto entre los distintos proveedores, y Kubernetes Intelligence, que se activa este trimestre, desglosará el entorno compartido de Elastic Kubernetes Service (EKS) por namespace. DoiT y AWS trabajan en paralelo en la consolidación, asegurando acuerdos contractuales y créditos de migración para llevar los workloads adquiridos a AWS.
Conoce más sobre las integraciones
Conectar tus nubes es la parte fácil. Las integraciones envían anomalías a Jira, muestran recomendaciones de right-sizing en Slack y disparan runbooks en cuanto se rompe un presupuesto. Menos panel único, más fuente única de acción.
On integrating DataHub, the DoiT team was very hands-on to the point where DoiT support put together the first ingestion script and pipeline to unlock us.
Kyle Espinola, Head of Platform Engineering
“PerfectScale gives us the confidence to automate Kubernetes optimization while letting our engineers focus on building what matters.”
Josh Zarrabi, Infrastructure Engineer
“Without PerfectScale by DoiT, I don't know how we would do it. We'd have to have twice the number of people on my team to stay on top of it. With PerfectScale, we can focus on the more strategic issues.”
David Adkins, Director of Software and Platform Engineering
Connecting IBM and AWS privately was the piece we needed to get right, and we wanted to move faster on it than we could on our own. DoiT worked through the options with us, found the subnet overlap that was breaking the routing, and made it stable. That unblocked everything else.
DevOps Lead, Software Projects
Attribute™'s platform is truly unique. We now have crystal-clear visibility into our cloud spend at the workload and tenant level, and that insight has already led to actionable savings and powerful insights as we further scale our service.
Paul White, VP of Engineering, Shasta Cloud
We have worked with DoiT for many years, and there has been an increasing number of capabilities and features in DoiT Cloud Intelligence. We've embedded features such as Cloud Analytics and Reports in our own FinOps processes, it's become core to what we do.
Martin Lee, Director of Operations
DoiT gave us the confidence to move from experimentation to production. They helped us understand the right way to build AI for the real world.
Milad Rezazadeh, CTO
Attribute™'s cost grouping technology took our cost visibility and allocation to a whole new level. Now, our teams are fully accountable for their budgets, significantly improving our cloud efficiency and helping us minimize unnecessary costs.
Eli Zilbershtein, Head of DevOps, Hippo
You can't tag a customer in a multi-tenant environment. Attribute™ finally shows us what each customer costs and what's driving those costs.
Omri Cohen, Director of Engineering, Platform
Attribute™'s data is truly unmatched. No other solution on the market could deliver the precise customer cost and usage profiles we needed in such a complex infrastructure. Within weeks, the data from Attribute™ transformed our understanding of cost structures, influencing key strategic decisions in pricing, renegotiations, and market positioning.
Jonathan Langer, COO, Claroty
Attribute™ simplified tracking customer costs in our multi-tenant environments. Customer cost measurement is now clear and standardized, and finance gets the business context they need. Integration was quick and required no changes.
Kfir Lippmann, CFO, Salt Security
Attribute™ translates complex cloud bills into actionable, business-centric insights that empower our engineering teams to take true ownership of their costs.
Balamurugan Mohandossgandhi, Head of IT and Infrastructure, PropertyGuru
This has let us get a better idea of what our cost of goods sold really is. It's not every day you come across something that delivers value as quickly as yours did for us. I was seeing useful insights inside the POC, and we had only deployed it to a couple of real clusters.
Jason Moore, Principal DevOps Engineer, Accrete AI
Let us show you what ships this week.
