Questa pagina è disponibile anche in English, Deutsch, Español, Français, 日本語 e Português.

Arabesque AI decuplica l'elaborazione dei dati

DoiT ha guidato l'intera migrazione su Google Cloud con GKE, Cloud Run e BigQuery, tagliando i costi dei server del 75% e liberando i ricercatori dal DevOps.

The Challenge

Arabesque AI aveva bisogno di uno scaling elastico per rispondere alla domanda in rapida crescita di soluzioni di intelligenza artificiale nei mercati finanziari. Il modello di infrastruttura ibrida generava problemi di capacità e manutenzione destinati ad assorbire troppe risorse con la crescita. I ricercatori dedicavano una parte considerevole del tempo alla gestione DevOps invece che alla ricerca sull'AI.

The Solution

Arabesque AI ha migrato l'intera infrastruttura su Google Cloud, adottando Google Kubernetes Engine per l'orchestrazione, Cloud Run per il computing serverless, BigQuery come data warehouse scalabile e diversi altri servizi Google Cloud. La piattaforma elabora dati provenienti da fonti diverse, tra cui metriche ESG e dati di mercato, per alimentare il motore AI proprietario dell'azienda.

Results

Capacità di streaming e analisi dei dati moltiplicata per 10
Costi dei server ridotti di circa il 75% grazie a istanze preemptible e servizi pay-per-use
Tempi di formazione dei nuovi assunti dimezzati, con un team più che raddoppiato in meno di un anno
Risorse riallocate in larga parte dalle operations alla ricerca e sviluppo

Per un'azienda in crescita come la nostra la ricerca è un obiettivo di business fondamentale. Con Google Cloud la maggior parte delle risorse è dedicata alla ricerca e solo una minima parte alle operations. È esattamente l'opposto di quanto accadeva prima e ci consente di migliorare la piattaforma a un ritmo molto più rapido.
Nikolaos Kaplis, CTO, Arabesque AI

La sfida

Arabesque AI doveva affrontare sfide di scalabilità rilevanti con il proprio modello di infrastruttura ibrida. Il ritmo di crescita avrebbe generato problemi di capacità e manutenzione sui server on-premises, e il provisioning di nuove macchine, oltre alla loro gestione, avrebbe richiesto un impegno eccessivo di risorse. I ricercatori dedicavano una parte sostanziale del tempo alla gestione DevOps invece di concentrarsi sull'attività core, ossia la ricerca sull'AI. L'allineamento tra ambiente on-premises e cloud era estremamente oneroso e non sostenibile nel lungo periodo.

La soluzione

Arabesque AI ha aderito al programma Google Cloud for Startups e ha migrato l'intera infrastruttura su Google Cloud. Basata su Kubernetes e orchestrata da Google Kubernetes Engine, la piattaforma utilizza Cloud Run per alleggerire il carico di gestione dell'infrastruttura. Il sistema elabora i dati attraverso più pipeline basate su Cloud Functions e Pub/Sub e archivia i dataset su Cloud Storage. BigQuery funge da data warehouse scalabile e consente query rapide su petabyte di dati senza alcun overhead operativo.

Motore AI ed elaborazione dei dati

Il motore di intelligenza artificiale proprietario di Arabesque AI gira su nodi GKE e scala fino a migliaia di core durante l'addestramento di nuovi modelli, per poi tornare a dimensioni ridotte al termine. I pool di nodi preemptible rendono il processo economicamente vantaggioso e semplice da gestire. Il motore AI genera nuovi segnali a partire dalle informazioni di mercato archiviate in BigQuery, spesso moltiplicando più volte la dimensione originale dei dati. La combinazione tra segnali proprietari e dati di mercato esistenti consente di costruire nuove strategie d'investimento.

La partnership con DoiT International

Una volta completata la migrazione, Arabesque AI ha collaborato con DoiT International, Google Cloud Premier Partner, per ottimizzare la propria infrastruttura. DoiT ha semplificato il processo di fatturazione e fornito una guida preziosa nella migrazione a BigQuery, facendo risparmiare due giorni di lavoro. La partnership ha inoltre garantito l'accesso a ulteriore supporto e a competenze ingegneristiche all'occorrenza.

Risultati e impatto sul business

La migrazione ha consentito ad Arabesque AI di spostare il focus del team dalle operations agli obiettivi di ricerca. La capacità di streaming e analisi dei dati è stata moltiplicata per 10, mentre i costi dei server si sono ridotti di circa il 75%. L'azienda ha più che raddoppiato le proprie dimensioni in meno di un anno, dimezzando al tempo stesso i tempi di formazione. L'adozione di tecnologie open source su Google Cloud ha reso più semplice assumere e formare nuovi talenti in un ambiente developer-friendly.

Innovazione futura

Arabesque AI sta sviluppando Knowledge Graph, un progetto pensato per estrarre insight da informazioni non strutturate come notizie e feed dei social media. In esecuzione su Dataflow, sarà in grado di estrarre automaticamente le informazioni rilevanti dalle fonti testuali. L'obiettivo è partire da testo non strutturato per identificare aziende, relazioni e segnali utili a migliorare le previsioni, evolvendo dagli algoritmi di natural language processing verso il natural language understanding.

Scopra come DoiT aiuta i team cloud a tenere sotto controllo la spesa

Veda come DoiT Cloud Intelligence aiuta i team a migliorare visibilità, governance e unit economics negli ambienti cloud.

Visiti DoiT Parli con il nostro team

What they say

What I really like about DoiT's approach is that you're very hands-on and proactive. Satyam would ping me a few times a sprint, letting me know about the most current features, checking in on how things are going. When we are going through a peak time, that proactiveness makes a real difference. Satyam always comes through whenever we need support and helps us leverage the right experts to get us where we need to be.

Chiamaka Ibeme, Engineering Manager, Platform

SELECT has made important cost data readily accessible. I will often pull it up during engineering design reviews so we can quickly evaluate cost impact and projections and factor that into our design decisions.

Douglas Zickuhr, Senior Data Platform Engineer at Personio

I love clicking through SELECT to understand how our environment and workloads are evolving. I probably check it every day. It's coffee and SELECT for me every morning.

Ian Fahey, Senior Analytics Engineer at Loop

You guys have the best UI experience that I've had of any software. It's like you just read my mind where, like, oh, I wish I could click there. Oh, I can

Diana Koshy, Sr. Director of Data Engineering at Kargo

SELECT feels like exactly what Paul and I would have built if we had locked ourselves in a room for 18 months to create our ideal monitoring solution.

Devin McGee, Data Engineering Lead at Home Chef

SELECT dramatically lowers the cognitive load to understanding Snowflake costs. I'm able to sit there and easily understand what's driving the cost. Not to blow smoke up your ass, but it's just so easy to do in your platform

Blake Baggett, Head of Data Operations at Entain

One of the most helpful cost rituals we've setup from SELECT is the weekly spend digest sent to Slack. I can start high level and ensure things are in check. If not, I can very quickly drill down into specific workloads which may have driven the cost spike and remediate them before they become a bigger issue.

Michael Revelo, Manager of data and analytics engineering at ClickUp

Through SELECT's automated savings feature and deep cost visibility, we were able to instantly lower our Snowflake spend by over 40% and achieve a 20X ROI on our SELECT investment.

Skyler Chi, SVP, GTM Productivity & Excellence at Exiger

Our costs had jumped up 3X as we scaled, so we're talking about 60% savings in Snowflake spend after adopting SELECT.

Edward Mancey, GTM Lead at Synthesia

DoiT was a true partner, not a vendor. They helped us understand the problem, refine the vision, and build something production-ready far faster than we could have on our own. Their expertise, responsiveness, and commitment made all the difference.

Dr. Anish Kapur, Founder & CEO, Promptly

DoiT's Customer Success and Forward Deployed Engineering teams work very closely with us. The regular sessions with our CSM keep us focused on the right priorities, and the FDEs provide the deep technical guidance we need to validate decisions and optimize our environment. That combination has been genuinely valuable for us.

Alexander Lundberg Santos, Platform Engineer at Extenda Retail

Every customer has unique usage patterns. Manual resource optimization simply didn't scale—we needed automation to ensure every customer, regardless of size, had right-sized infrastructure without consuming our team's capacity.

Brad Quinn, Lead Platform Engineer, PlayHQ

SNCF

PerfectScale allowed us to grow capacity without growing cost. We effectively absorbed 30% more usage for free.

Thomas Comtet, Senior Staff Engineer, SNCF

Your cloud bill shouldn't be a mystery

Let us show you what ships this week.

Book a demo