L'infrastruttura è una delle voci di spesa più importanti per Jupiter e, dopo le acquisizioni, nessuno sapeva dire con precisione a quanto ammontasse. Nessuno dei workloads ereditati era stato migrato sul cloud principale, quindi il totale cambiava a seconda delle fatture considerate.
Il gap più ampio, però, veniva dal mercato. Solana gestisce un volume elevato di scritture, il che esercita una pressione insolita sul lato delle letture, ed è nata un'intera categoria di aziende specializzate per servirla: i provider di Remote Procedure Call (RPC), che leggono la chain e ne trasmettono le modifiche per conto di Jupiter. Rappresentano uno dei maggiori costi infrastrutturali di Jupiter, e sono aziende giovani la cui fatturazione funziona di conseguenza.
"Ci inviano una fattura, noi la paghiamo, ma catalogarla da qualche parte è una vera sfida. È difficile capire che cosa ci costa davvero." ha raccontato Kyle.
Secondo le stime di Kyle, tra il 20% e il 40% della spesa infrastrutturale di Jupiter restava fuori da qualsiasi sistema. Satyam Gupta, Senior Customer Success Manager di DoiT, lo dice senza giri di parole: "se le fatture di terze parti vengono tracciate a mano, in pratica non vengono tracciate affatto." Un team può fare previsioni solo sulla spesa che riesce a vedere.
DataHub è la componente di Cloud Intelligence pensata proprio per questo gap. Prende i dati di costo esterni ai cloud provider e li riunisce nello stesso posto della fattura cloud. I dati arrivano via API o caricamento CSV, con dimensioni e metriche definite dal cliente, così la fattura di un vendor troppo piccolo per giustificare un'integrazione nativa diventa una fonte che la piattaforma tratta come qualsiasi altra: disponibile per report, budget, alert e previsioni.
La funzionalità c'era già, ma ciò che Jupiter ha ottenuto è stato qualcuno con cui costruire.
Satyam Gupta, insieme ai Forward Deployed Engineers (FDE) di DoiT, è partito da come le fatture arrivano davvero, non dalla documentazione delle API. Ha convertito un vero PDF di Jupiter nel formato DataHub, lo ha acquisito e ci ha costruito sopra reporting e alert, così il team ha potuto vedere il risultato finito prima di prendere qualsiasi impegno. I Forward Deployed Engineers di DoiT sono intervenuti dove il lavoro andava oltre la configurazione, mentre Jupiter testava la soluzione e definiva come i dati dovessero essere letti, e il team di Satyam ha automatizzato il flusso sulla base di quel feedback.
"Nell'integrazione di DataHub, il team di DoiT è stato estremamente operativo, al punto da realizzare per noi il primo script di ingestion e la prima pipeline." ha raccontato Kyle.
Il risultato consegnato si adatta alle abitudini del team finance. Le fatture arrivano in una cartella Google Drive, la pipeline le analizza e le carica in Cloud Intelligence accanto alla fatturazione dei cloud provider. Jupiter ha apportato piccole modifiche e l'ha messa in produzione.
Jupiter avrebbe potuto tracciare da sola i vendor mancanti, ma così i dati di costo restano in due posti diversi, e una previsione può basarsi su uno solo. Il 60% in DoiT e il resto altrove non è una posizione da cui si può pianificare. Kyle aveva già usato altre piattaforme FinOps, ed è proprio qui che vede la differenza.
"DoiT è davvero riuscita a colmare quel gap che non avevo visto coprire da alcune delle piattaforme FinOps che ho usato in passato." Kyle Espinola, Head of Platform Engineering, Jupiter
Nell'integrazione di DataHub, il team di DoiT è stato estremamente operativo, al punto che il supporto di DoiT ha realizzato il primo script di ingestion e la prima pipeline per sbloccarci.
Kyle Espinola, Head of Platform Engineering
Jupiter è un aggregatore di exchange decentralizzati su Solana. Il compito di un aggregatore è trovare il percorso migliore per un'operazione in un contesto di liquidità frammentata, e Jupiter fornisce l'intelligenza di routing e l'infrastruttura di lettura per farlo. Non custodisce fondi né intermedia le operazioni. Diversi verticali finanziari oggi poggiano su quella base, e una serie di acquisizioni nell'ultimo anno ne ha aggiunti altri. Ognuna è arrivata con la propria infrastruttura, ed è così che un'azienda costruita principalmente su AWS si ritrova anche con workloads su Cloudflare Workers, Google Cloud e bare metal.
Tenere tutto in funzione è compito del platform engineering. Kyle Espinola guida quel gruppo, responsabile di Site Reliability Engineering (SRE), infrastruttura, automazione dei deployment e FinOps, e pubblica le golden path che ogni altro team segue per mettere in produzione un servizio e mantenerlo in salute. La sua ambizione per la piattaforma rispecchia quella del prodotto: la super app che Jupiter sta costruendo deve poggiare su un'unica piattaforma, non su più piattaforme cucite insieme.
Jupiter alimenta DataHub con 26 vendor esterni, tra cui i suoi provider RPC, ClickHouse e Cloudflare, accanto alla fatturazione AWS e Google Cloud. La quota che Kyle aveva descritto come oltre il 30% non rendicontato si trova ora nello stesso sistema di tutto il resto.
"Passare dal 60% al 100% in un unico sistema è una svolta enorme, e DataHub è un ottimo strumento, flessibile, che ci permette davvero di colmare i gap sfruttando al contempo tutto il reporting." afferma Kyle.
Il dato sulla copertura non è l'unico beneficio. Le previsioni e l'analisi dell'utilizzo storico ora coprono l'intero catalogo di vendor anziché la sola componente cloud, ed è su questo che Jupiter basa la pianificazione. Budget e alert raggiungono vendor che prima non avevano alcun monitoraggio, così una fattura che schizza verso l'alto viene segnalata subito invece di essere scoperta a posteriori. La catalogazione descritta da Kyle, ricordarsi di registrare una fattura prima che il numero vada perso, è ora compito della pipeline, non di una persona.
La copertura era il prerequisito. La prossima domanda riguarda il profitto.
"Abbiamo una visibilità molto chiara sui ricavi generati da un prodotto, ma per capire il profitto bisogna conoscere i costi. E una parte importante dei costi dei nostri prodotti è la spesa infrastrutturale." ha raccontato Kyle.
Le allocazioni mapperanno quella spesa sulle linee di prodotto attraverso i vari vendor, e Kubernetes Intelligence, che verrà attivata questo trimestre, scomporrà per namespace il parco condiviso Elastic Kubernetes Service (EKS). DoiT e AWS stanno lavorando in parallelo al consolidamento, definendo accordi contrattuali e crediti di migrazione per portare su AWS i workloads acquisiti.
Scopra di più sulle integrazioni
Collegare i cloud è la parte facile. Le integrazioni inviano le anomalie in Jira, mostrano i consigli di right-sizing in Slack e attivano i runbook nel momento in cui un budget sfora. Meno single pane of glass, più single source of action.
On integrating DataHub, the DoiT team was very hands-on to the point where DoiT support put together the first ingestion script and pipeline to unlock us.
Kyle Espinola, Head of Platform Engineering
“PerfectScale gives us the confidence to automate Kubernetes optimization while letting our engineers focus on building what matters.”
Josh Zarrabi, Infrastructure Engineer
“Without PerfectScale by DoiT, I don't know how we would do it. We'd have to have twice the number of people on my team to stay on top of it. With PerfectScale, we can focus on the more strategic issues.”
David Adkins, Director of Software and Platform Engineering
Connecting IBM and AWS privately was the piece we needed to get right, and we wanted to move faster on it than we could on our own. DoiT worked through the options with us, found the subnet overlap that was breaking the routing, and made it stable. That unblocked everything else.
DevOps Lead, Software Projects
Attribute™'s platform is truly unique. We now have crystal-clear visibility into our cloud spend at the workload and tenant level, and that insight has already led to actionable savings and powerful insights as we further scale our service.
Paul White, VP of Engineering, Shasta Cloud
We have worked with DoiT for many years, and there has been an increasing number of capabilities and features in DoiT Cloud Intelligence. We've embedded features such as Cloud Analytics and Reports in our own FinOps processes, it's become core to what we do.
Martin Lee, Director of Operations
DoiT gave us the confidence to move from experimentation to production. They helped us understand the right way to build AI for the real world.
Milad Rezazadeh, CTO
Attribute™'s cost grouping technology took our cost visibility and allocation to a whole new level. Now, our teams are fully accountable for their budgets, significantly improving our cloud efficiency and helping us minimize unnecessary costs.
Eli Zilbershtein, Head of DevOps, Hippo
You can't tag a customer in a multi-tenant environment. Attribute™ finally shows us what each customer costs and what's driving those costs.
Omri Cohen, Director of Engineering, Platform
Attribute™'s data is truly unmatched. No other solution on the market could deliver the precise customer cost and usage profiles we needed in such a complex infrastructure. Within weeks, the data from Attribute™ transformed our understanding of cost structures, influencing key strategic decisions in pricing, renegotiations, and market positioning.
Jonathan Langer, COO, Claroty
Attribute™ simplified tracking customer costs in our multi-tenant environments. Customer cost measurement is now clear and standardized, and finance gets the business context they need. Integration was quick and required no changes.
Kfir Lippmann, CFO, Salt Security
Attribute™ translates complex cloud bills into actionable, business-centric insights that empower our engineering teams to take true ownership of their costs.
Balamurugan Mohandossgandhi, Head of IT and Infrastructure, PropertyGuru
This has let us get a better idea of what our cost of goods sold really is. It's not every day you come across something that delivers value as quickly as yours did for us. I was seeing useful insights inside the POC, and we had only deployed it to a couple of real clusters.
Jason Moore, Principal DevOps Engineer, Accrete AI
Let us show you what ships this week.
