Esta página também está disponível em English, Deutsch, Español, Français, Italiano e 日本語.

Arabesque AI multiplica por 10 o processamento de dados

A DoiT conduziu toda a migração para o Google Cloud, usando GKE, Cloud Run e BigQuery para cortar 75% dos custos com servidores e tirar os pesquisadores do DevOps.

The Challenge

A Arabesque AI precisava de escala elástica para acompanhar a demanda crescente por soluções de IA nos mercados financeiros. O modelo de infraestrutura híbrida gerava gargalos de capacidade e manutenção que consumiriam recursos demais à medida que a empresa crescesse. Os pesquisadores gastavam um tempo enorme com DevOps em vez de se dedicar à pesquisa em IA, o foco central do negócio.

The Solution

A Arabesque AI migrou toda a infraestrutura para o Google Cloud, usando o Google Kubernetes Engine para orquestração, o Cloud Run para computação serverless, o BigQuery como data warehouse escalável e vários outros serviços do Google Cloud. A plataforma processa dados de diversas fontes, incluindo métricas ESG e dados de mercado, para alimentar o motor de IA proprietário da empresa.

Results

Multiplicou por 10 a capacidade de streaming e análise de dados
Cortou cerca de 75% dos custos com servidores usando preemptible instances e serviços pay-per-use
Reduziu pela metade o tempo de treinamento de novos colaboradores e dobrou o time em menos de um ano
Redirecionou a maior parte dos recursos de operações para pesquisa e desenvolvimento

Para uma empresa em crescimento como a nossa, pesquisa é um objetivo central do negócio. Com o Google Cloud, a maior parte dos nossos recursos vai para pesquisa e só uma fração mínima é gasta com operações. É o oposto do que tínhamos antes, e isso nos permite evoluir a plataforma muito mais rápido.
Nikolaos Kaplis, CTO, Arabesque AI

O desafio

A Arabesque AI enfrentava grandes desafios para escalar com seu modelo de infraestrutura híbrida. O ritmo de crescimento gerava problemas de capacidade e manutenção nos servidores on-premises. Provisionar novos servidores e mantê-los em funcionamento consumia recursos demais. Os pesquisadores gastavam um tempo enorme com DevOps em vez de se dedicar à pesquisa em IA, o foco central do negócio. Manter o alinhamento entre on-premises e nuvem na solução híbrida era penoso e não se sustentaria no longo prazo.

A solução

A Arabesque AI participou do programa Google Cloud for Startups e migrou toda a infraestrutura para o Google Cloud. Construída sobre Kubernetes e orquestrada pelo Google Kubernetes Engine, a plataforma usa o Cloud Run para reduzir o esforço de gestão de infraestrutura. O sistema processa dados em várias pipelines com Cloud Functions e Pub/Sub, e armazena os datasets no Cloud Storage. O BigQuery atua como data warehouse escalável, permitindo consultas rápidas em petabytes de dados sem nenhuma sobrecarga operacional.

Motor de IA e processamento de dados

O motor de inteligência artificial proprietário da Arabesque AI roda em nós do GKE, escalando para milhares de cores no treinamento de novos modelos e voltando ao tamanho normal em seguida. Pools de nós preemptíveis tornam o processo econômico e fácil de gerenciar. O motor de IA cria novos sinais a partir das informações de mercado armazenadas no BigQuery, muitas vezes expandindo os dados para várias vezes o tamanho original. Essa combinação de sinais proprietários e dados de mercado já existentes dá origem a novas estratégias de investimento.

Parceria com a DoiT International

Concluída a migração, a Arabesque AI passou a trabalhar com a DoiT International, Google Cloud Premier Partner, para otimizar sua infraestrutura. A DoiT simplificou o processo de faturamento e deu uma orientação excelente na migração para o BigQuery, economizando dois dias de trabalho. A parceria também garantiu acesso a suporte adicional e a expertise de engenharia sempre que necessário.

Resultados e impacto no negócio

A migração permitiu que a Arabesque AI deslocasse o foco do time, saindo de operações para os objetivos de pesquisa. A capacidade de streaming e análise de dados foi multiplicada por 10 e os custos com servidores caíram cerca de 75%. A empresa mais que dobrou de tamanho em menos de um ano e reduziu pela metade o tempo de treinamento. Usar tecnologias open source no Google Cloud facilitou contratar e treinar novos talentos em um ambiente amigável para desenvolvedores.

Inovação para o futuro

A Arabesque AI está desenvolvendo o Knowledge Graph, um projeto para extrair insights de informações não estruturadas, como notícias e redes sociais. Rodando no Dataflow, ele extrairá automaticamente as informações relevantes de fontes textuais. A ideia é partir de texto não estruturado e identificar empresas, relações e sinais necessários para aprimorar as previsões, evoluindo dos algoritmos de processamento de linguagem natural para a compreensão de linguagem natural.

Veja como a DoiT ajuda times de nuvem a controlar gastos

Descubra como o DoiT Cloud Intelligence ajuda os times a ganhar visibilidade, governança e unit economics em ambientes de nuvem.

Conheça a DoiT Fale com nosso time

What they say

What I really like about DoiT's approach is that you're very hands-on and proactive. Satyam would ping me a few times a sprint, letting me know about the most current features, checking in on how things are going. When we are going through a peak time, that proactiveness makes a real difference. Satyam always comes through whenever we need support and helps us leverage the right experts to get us where we need to be.

Chiamaka Ibeme, Engineering Manager, Platform

SELECT has made important cost data readily accessible. I will often pull it up during engineering design reviews so we can quickly evaluate cost impact and projections and factor that into our design decisions.

Douglas Zickuhr, Senior Data Platform Engineer at Personio

I love clicking through SELECT to understand how our environment and workloads are evolving. I probably check it every day. It's coffee and SELECT for me every morning.

Ian Fahey, Senior Analytics Engineer at Loop

You guys have the best UI experience that I've had of any software. It's like you just read my mind where, like, oh, I wish I could click there. Oh, I can

Diana Koshy, Sr. Director of Data Engineering at Kargo

SELECT feels like exactly what Paul and I would have built if we had locked ourselves in a room for 18 months to create our ideal monitoring solution.

Devin McGee, Data Engineering Lead at Home Chef

SELECT dramatically lowers the cognitive load to understanding Snowflake costs. I'm able to sit there and easily understand what's driving the cost. Not to blow smoke up your ass, but it's just so easy to do in your platform

Blake Baggett, Head of Data Operations at Entain

One of the most helpful cost rituals we've setup from SELECT is the weekly spend digest sent to Slack. I can start high level and ensure things are in check. If not, I can very quickly drill down into specific workloads which may have driven the cost spike and remediate them before they become a bigger issue.

Michael Revelo, Manager of data and analytics engineering at ClickUp

Through SELECT's automated savings feature and deep cost visibility, we were able to instantly lower our Snowflake spend by over 40% and achieve a 20X ROI on our SELECT investment.

Skyler Chi, SVP, GTM Productivity & Excellence at Exiger

Our costs had jumped up 3X as we scaled, so we're talking about 60% savings in Snowflake spend after adopting SELECT.

Edward Mancey, GTM Lead at Synthesia

DoiT was a true partner, not a vendor. They helped us understand the problem, refine the vision, and build something production-ready far faster than we could have on our own. Their expertise, responsiveness, and commitment made all the difference.

Dr. Anish Kapur, Founder & CEO, Promptly

DoiT's Customer Success and Forward Deployed Engineering teams work very closely with us. The regular sessions with our CSM keep us focused on the right priorities, and the FDEs provide the deep technical guidance we need to validate decisions and optimize our environment. That combination has been genuinely valuable for us.

Alexander Lundberg Santos, Platform Engineer at Extenda Retail

Every customer has unique usage patterns. Manual resource optimization simply didn't scale—we needed automation to ensure every customer, regardless of size, had right-sized infrastructure without consuming our team's capacity.

Brad Quinn, Lead Platform Engineer, PlayHQ

SNCF

PerfectScale allowed us to grow capacity without growing cost. We effectively absorbed 30% more usage for free.

Thomas Comtet, Senior Staff Engineer, SNCF

Your cloud bill shouldn't be a mystery

Let us show you what ships this week.

Book a demo