Esta página también está disponible en English, Deutsch, Français, Italiano, 日本語 y Português.

Huq reduce sus costos de nube un 50% y multiplica por 4 su volumen de datos

DoiT acompañó a Huq en su migración de AWS a Google Cloud y reconstruyó su pipeline sobre Dataflow y BigQuery para procesar casi mil millones de registros de geolocalización al día.

The Challenge

Los clientes de Huq pedían tiempos de respuesta cada vez más cortos y un acceso más frecuente a datos de alta frecuencia. La empresa necesitaba adaptar su pipeline para responder casi en tiempo real, sin perder flexibilidad frente a clientes con distintas necesidades técnicas.

The Solution

DoiT ayudó a Huq a migrar su pipeline principal de procesamiento de datos de AWS a Google Cloud con Apache Beam y Google Dataflow. La solución incluyó la orquestación de workflows con Cloud Composer, el almacenamiento con Cloud Storage y BigQuery, y la optimización de costos mediante reOptimize CMP y superQuery IDE.

Results

Redujo los costos de nube un 50% mientras el volumen de datos se cuadruplicó, pasando de 200 a 800 millones de puntos diarios
Construyó una arquitectura escalable capaz de procesar casi mil millones de registros de geolocalización al día
Logró escalar el procesamiento de datos 100 veces sin tocar el stack

Somos un equipo técnico compacto, lo que nos permite movernos muy rápido y reaccionar con agilidad a los cambios. Pero cuando adoptas tecnologías nuevas, necesitas apoyarte en expertos de primer nivel. Elegimos a DoiT International sobre todo por la calidad de la comunicación y por el profundo conocimiento técnico de su equipo.
Isambard Poulson, Cofundador y CTO, Huq

Conoce a Huq

Huq mide los factores del mundo real que afectan a las empresas para ayudarlas a tener una visión integral de su mercado. La compañía genera benchmarks económicos y sociales a partir de datos de movilidad que funcionan como un proxy del flujo de personas en retail, transporte, centros urbanos y lugares de trabajo. Este recurso anonimizado reúne grandes volúmenes de datos ricos y descriptivos que permiten análisis complejos del comportamiento del consumidor.

Encontrar las soluciones adecuadas con un enfoque a la medida

Isambard se acercó a DoiT en mayo de 2020 por recomendación de otro cliente. A Huq le convenció el enfoque a la medida de DoiT: se tomó el tiempo de entender los requerimientos en lugar de empujar productos ya hechos. El onboarding fue fluido y las herramientas disponibles encajaban muy bien con las necesidades de Huq.

Construir un pipeline de datos escalable

DoiT ayudó a Huq a completar su migración a Google Cloud con un pipeline que ingiere, procesa, analiza y exporta casi mil millones de registros de geolocalización al día. La solución utiliza Google Cloud Composer para la orquestación de workflows, Cloud Storage para la carga de datos, Dataflow para el enriquecimiento y BigQuery para el acceso de los clientes.

Mantener los costos bajo control con herramientas de optimización

DoiT aportó reOptimize CMP para ganar visibilidad sobre el uso de la nube y optimizar los costos. Huq también accedió a superQuery IDE, un entorno de desarrollo con IA para BigQuery que permite consultas más eficientes y una respuesta más flexible a los clientes.

Ahorros significativos a la par del crecimiento

Con el apoyo de DoiT, Huq redujo a la mitad su factura de nube mientras sus necesidades de datos se cuadruplicaron. Hoy procesa 800 millones de puntos de datos al día, frente a los 200 millones anteriores, con un 50% menos de costo. El nuevo stack puede escalar el procesamiento de datos 100 veces sin necesidad de cambios.

Descubre cómo DoiT ayuda a los equipos de nube a controlar su gasto

Explora cómo DoiT Cloud Intelligence ayuda a los equipos a mejorar la visibilidad, la gobernanza y la economía unitaria en sus entornos de nube.

Visita DoiT Habla con nuestro equipo

What they say

What I really like about DoiT's approach is that you're very hands-on and proactive. Satyam would ping me a few times a sprint, letting me know about the most current features, checking in on how things are going. When we are going through a peak time, that proactiveness makes a real difference. Satyam always comes through whenever we need support and helps us leverage the right experts to get us where we need to be.

Chiamaka Ibeme, Engineering Manager, Platform

SELECT has made important cost data readily accessible. I will often pull it up during engineering design reviews so we can quickly evaluate cost impact and projections and factor that into our design decisions.

Douglas Zickuhr, Senior Data Platform Engineer at Personio

I love clicking through SELECT to understand how our environment and workloads are evolving. I probably check it every day. It's coffee and SELECT for me every morning.

Ian Fahey, Senior Analytics Engineer at Loop

You guys have the best UI experience that I've had of any software. It's like you just read my mind where, like, oh, I wish I could click there. Oh, I can

Diana Koshy, Sr. Director of Data Engineering at Kargo

SELECT feels like exactly what Paul and I would have built if we had locked ourselves in a room for 18 months to create our ideal monitoring solution.

Devin McGee, Data Engineering Lead at Home Chef

SELECT dramatically lowers the cognitive load to understanding Snowflake costs. I'm able to sit there and easily understand what's driving the cost. Not to blow smoke up your ass, but it's just so easy to do in your platform

Blake Baggett, Head of Data Operations at Entain

One of the most helpful cost rituals we've setup from SELECT is the weekly spend digest sent to Slack. I can start high level and ensure things are in check. If not, I can very quickly drill down into specific workloads which may have driven the cost spike and remediate them before they become a bigger issue.

Michael Revelo, Manager of data and analytics engineering at ClickUp

Through SELECT's automated savings feature and deep cost visibility, we were able to instantly lower our Snowflake spend by over 40% and achieve a 20X ROI on our SELECT investment.

Skyler Chi, SVP, GTM Productivity & Excellence at Exiger

Our costs had jumped up 3X as we scaled, so we're talking about 60% savings in Snowflake spend after adopting SELECT.

Edward Mancey, GTM Lead at Synthesia

DoiT was a true partner, not a vendor. They helped us understand the problem, refine the vision, and build something production-ready far faster than we could have on our own. Their expertise, responsiveness, and commitment made all the difference.

Dr. Anish Kapur, Founder & CEO, Promptly

DoiT's Customer Success and Forward Deployed Engineering teams work very closely with us. The regular sessions with our CSM keep us focused on the right priorities, and the FDEs provide the deep technical guidance we need to validate decisions and optimize our environment. That combination has been genuinely valuable for us.

Alexander Lundberg Santos, Platform Engineer at Extenda Retail

When we started working with DoiT, we deployed Flexsave to save time and reduce complexity. We still use it today. But what really stands out is the expert support. Having someone to collaborate with on deep cloud cost topics, someone who really understands the nuances, is incredibly valuable.

Jesper Terkelsen, CTO at Monta

DoiT's Cloud Accelerator turned our AI idea into a shipped product, saving at least three months of development and delivering reliable, explainable insights our customers trust.

Scott Desgrosseilliers, CEO and co-founder, Wicked Reports

Your cloud bill shouldn't be a mystery

Let us show you what ships this week.

Book a demo