The Challenge
A Datonics esbarrava em limitações para processar grandes volumes de dados com rapidez e bom custo. As queries levavam horas ou simplesmente falhavam, e a conta do BigQuery passava de US$ 20.000 por mês. Era preciso otimizar a infraestrutura, melhorar a economia unitária e manter a precisão dos dados nas campanhas de publicidade programática.
The Solution
O Cloud Data Architect da DoiT implementou um algoritmo HyperLogLog (HLL) para otimizar o desempenho do BigQuery. Essa estrutura de dados gera estimativas precisas em grandes volumes sem consumir memória em excesso. A DoiT atuou de forma consultiva, desenvolveu provas de conceito e entregou a solução em pacotes fáceis de implementar.
Results
- Tempo de processamento das queries caiu de horas para 7 segundos (melhoria de 99%)
- Uso de slots no BigQuery caiu de 2.000 para 132 (redução de 93%)
- Volume de dados escaneados por query reduzido em 99%
- Milhares de dólares de economia mensal em infraestrutura
- Mais produtividade dos analistas e maior velocidade de entrega
A DoiT acertou o equilíbrio entre apontar caminhos para que a gente mesmo estudasse e pesquisasse e dar uma opinião clara sobre qual solução nos atenderia melhor.
Adi Pinhasi, CTO da Datonics
Conheça a Datonics
A Datonics é uma das principais empresas do mundo em agregação e distribuição de dados de busca e publicidade digital direcionada. Fundada em 2011 como subsidiária da Almondnet, pioneira em publicidade direcionada na Internet, a empresa ajuda negócios no mundo todo a criar e veicular campanhas de publicidade programática por meio de sua plataforma principal de análise de dados.
O desafio
A Datonics enfrentava desafios sérios de escalabilidade no processamento de grandes volumes de dados. As queries levavam horas para rodar ou falhavam por completo, e os custos com BigQuery passavam de US$ 20.000 por mês no plano on-demand. A empresa convivia com um crescimento de custos imprevisível, duplicação de dados e dificuldade para integrar dados de várias fontes, o que impactava o time-to-insight e a satisfação dos clientes.
A solução
Elad Shaabi, Cloud Data Architect da DoiT, fez uma investigação aprofundada e implementou um algoritmo HyperLogLog (HLL) para otimizar o desempenho do BigQuery. Essa estrutura de dados gera estimativas precisas em grandes volumes sem consumir memória em excesso. A DoiT atuou de forma consultiva, desenvolveu várias provas de conceito e entregou a solução em pacotes fáceis de implementar.
Os resultados
A implementação do HLL melhorou drasticamente o desempenho das queries, reduzindo o tempo de processamento de horas para sete segundos. O uso de slots caiu de 2.000 para 132, e o volume de dados escaneados por query diminuiu 99%. Essas otimizações geraram milhares de dólares de economia mensal, adiaram upgrades caros de infraestrutura e aumentaram bastante a produtividade dos analistas e a velocidade de entrega.
O que vem por aí
A Datonics segue crescendo e avançando em novos mercados, apoiada por uma parceria de mais de uma década com a DoiT. Os ganhos de eficiência do HLL permitem à empresa lidar com volumes de dados antes inviáveis para seu orçamento e sua infraestrutura, abrindo caminho para escalar com confiança e uma economia unitária previsível.
Veja como a DoiT ajuda times de nuvem a controlar gastos
Descubra como o DoiT Cloud Intelligence ajuda equipes a ganhar visibilidade, governança e melhor economia unitária em ambientes de nuvem.
More customer stories
Promptly economiza US$ 600 mil e lança IA em semanas
- $600K
- Economia anual em custos de nuvem
- 3 months
- de tempo de engenharia economizado
Extenda Retail corta desperdício de SSD e acelera IA
Monta chega a mais de 250 mil pontos de recarga de veículos elétricos
- 250,000
- Pontos de recarga gerenciados globalmente
Wicked Reports lança GenAI 3 meses mais rápido
- 3 months saved
- de tempo de desenvolvimento economizado com o Cloud Accelerator da DoiT
- 25% faster
- do prazo de protótipo até produção em relação às estimativas internas
- $0 additional spend
- zero gasto adicional com infraestrutura durante a construção do protótipo, graças aos créditos AWS e à otimização da DoiT
DaySmart
DaySmart lança recurso de IA em 90 dias
- 90 days
- Do POC ao deploy
- 90 days
- Do POC ao deploy sem consumir nenhuma hora da engenharia interna
- 6x
- Equivalente em Engineers economizados
Vivaticket reduz a criação de ambientes AWS de 3 dias para 15 minutos
- 15min
- Tempo de criação de ambiente
- 15min
- Tempo de criação de ambiente (contra 3 dias antes)
- 20min
- Deploy de aplicações em modo imutável
Blumira escala o SOC Auto-Focus sem perder o controle dos custos
Luxury Escapes economiza mais de US$ 10 mil/mês na AWS
Promptly economiza US$ 600 mil e lança IA em semanas
- $600K
- Economia anual em custos de nuvem
- 3 months
- de tempo de engenharia economizado
Extenda Retail corta desperdício de SSD e acelera IA
Monta chega a mais de 250 mil pontos de recarga de veículos elétricos
- 250,000
- Pontos de recarga gerenciados globalmente
Wicked Reports lança GenAI 3 meses mais rápido
- 3 months saved
- de tempo de desenvolvimento economizado com o Cloud Accelerator da DoiT
- 25% faster
- do prazo de protótipo até produção em relação às estimativas internas
- $0 additional spend
- zero gasto adicional com infraestrutura durante a construção do protótipo, graças aos créditos AWS e à otimização da DoiT
DaySmart
DaySmart lança recurso de IA em 90 dias
- 90 days
- Do POC ao deploy
- 90 days
- Do POC ao deploy sem consumir nenhuma hora da engenharia interna
- 6x
- Equivalente em Engineers economizados
Vivaticket reduz a criação de ambientes AWS de 3 dias para 15 minutos
- 15min
- Tempo de criação de ambiente
- 15min
- Tempo de criação de ambiente (contra 3 dias antes)
- 20min
- Deploy de aplicações em modo imutável
Blumira escala o SOC Auto-Focus sem perder o controle dos custos
What they say
What I really like about DoiT's approach is that you're very hands-on and proactive. Satyam would ping me a few times a sprint, letting me know about the most current features, checking in on how things are going. When we are going through a peak time, that proactiveness makes a real difference. Satyam always comes through whenever we need support and helps us leverage the right experts to get us where we need to be.
Chiamaka Ibeme, Engineering Manager, Platform
SELECT has made important cost data readily accessible. I will often pull it up during engineering design reviews so we can quickly evaluate cost impact and projections and factor that into our design decisions.
Douglas Zickuhr, Senior Data Platform Engineer at Personio
I love clicking through SELECT to understand how our environment and workloads are evolving. I probably check it every day. It's coffee and SELECT for me every morning.
Ian Fahey, Senior Analytics Engineer at Loop
You guys have the best UI experience that I've had of any software. It's like you just read my mind where, like, oh, I wish I could click there. Oh, I can
Diana Koshy, Sr. Director of Data Engineering at Kargo
SELECT feels like exactly what Paul and I would have built if we had locked ourselves in a room for 18 months to create our ideal monitoring solution.
Devin McGee, Data Engineering Lead at Home Chef
SELECT dramatically lowers the cognitive load to understanding Snowflake costs. I'm able to sit there and easily understand what's driving the cost. Not to blow smoke up your ass, but it's just so easy to do in your platform
Blake Baggett, Head of Data Operations at Entain
One of the most helpful cost rituals we've setup from SELECT is the weekly spend digest sent to Slack. I can start high level and ensure things are in check. If not, I can very quickly drill down into specific workloads which may have driven the cost spike and remediate them before they become a bigger issue.
Michael Revelo, Manager of data and analytics engineering at ClickUp
Through SELECT's automated savings feature and deep cost visibility, we were able to instantly lower our Snowflake spend by over 40% and achieve a 20X ROI on our SELECT investment.
Skyler Chi, SVP, GTM Productivity & Excellence at Exiger
Our costs had jumped up 3X as we scaled, so we're talking about 60% savings in Snowflake spend after adopting SELECT.
Edward Mancey, GTM Lead at Synthesia
DoiT was a true partner, not a vendor. They helped us understand the problem, refine the vision, and build something production-ready far faster than we could have on our own. Their expertise, responsiveness, and commitment made all the difference.
Dr. Anish Kapur, Founder & CEO, Promptly
DoiT's Customer Success and Forward Deployed Engineering teams work very closely with us. The regular sessions with our CSM keep us focused on the right priorities, and the FDEs provide the deep technical guidance we need to validate decisions and optimize our environment. That combination has been genuinely valuable for us.
Alexander Lundberg Santos, Platform Engineer at Extenda Retail
Every customer has unique usage patterns. Manual resource optimization simply didn't scale—we needed automation to ensure every customer, regardless of size, had right-sized infrastructure without consuming our team's capacity.
Brad Quinn, Lead Platform Engineer, PlayHQ
PerfectScale allowed us to grow capacity without growing cost. We effectively absorbed 30% more usage for free.
Thomas Comtet, Senior Staff Engineer, SNCF
Your cloud bill shouldn't be a mystery
Let us show you what ships this week.