Esta página también está disponible en English, Deutsch, Français, Italiano, 日本語 y Português.

Huq reduce sus costos de nube un 50% y multiplica por 4 su volumen de datos

DoiT acompañó a Huq en su migración de AWS a Google Cloud y reconstruyó su pipeline sobre Dataflow y BigQuery para procesar casi mil millones de registros de geolocalización al día.

The Challenge

Los clientes de Huq pedían tiempos de respuesta cada vez más cortos y un acceso más frecuente a datos de alta frecuencia. La empresa necesitaba adaptar su pipeline para responder casi en tiempo real, sin perder flexibilidad frente a clientes con distintas necesidades técnicas.

The Solution

DoiT ayudó a Huq a migrar su pipeline principal de procesamiento de datos de AWS a Google Cloud con Apache Beam y Google Dataflow. La solución incluyó la orquestación de workflows con Cloud Composer, el almacenamiento con Cloud Storage y BigQuery, y la optimización de costos mediante reOptimize CMP y superQuery IDE.

Results

Redujo los costos de nube un 50% mientras el volumen de datos se cuadruplicó, pasando de 200 a 800 millones de puntos diarios
Construyó una arquitectura escalable capaz de procesar casi mil millones de registros de geolocalización al día
Logró escalar el procesamiento de datos 100 veces sin tocar el stack

Somos un equipo técnico compacto, lo que nos permite movernos muy rápido y reaccionar con agilidad a los cambios. Pero cuando adoptas tecnologías nuevas, necesitas apoyarte en expertos de primer nivel. Elegimos a DoiT International sobre todo por la calidad de la comunicación y por el profundo conocimiento técnico de su equipo.
Isambard Poulson, Cofundador y CTO, Huq

Conoce a Huq

Huq mide los factores del mundo real que afectan a las empresas para ayudarlas a tener una visión integral de su mercado. La compañía genera benchmarks económicos y sociales a partir de datos de movilidad que funcionan como un proxy del flujo de personas en retail, transporte, centros urbanos y lugares de trabajo. Este recurso anonimizado reúne grandes volúmenes de datos ricos y descriptivos que permiten análisis complejos del comportamiento del consumidor.

Encontrar las soluciones adecuadas con un enfoque a la medida

Isambard se acercó a DoiT en mayo de 2020 por recomendación de otro cliente. A Huq le convenció el enfoque a la medida de DoiT: se tomó el tiempo de entender los requerimientos en lugar de empujar productos ya hechos. El onboarding fue fluido y las herramientas disponibles encajaban muy bien con las necesidades de Huq.

Construir un pipeline de datos escalable

DoiT ayudó a Huq a completar su migración a Google Cloud con un pipeline que ingiere, procesa, analiza y exporta casi mil millones de registros de geolocalización al día. La solución utiliza Google Cloud Composer para la orquestación de workflows, Cloud Storage para la carga de datos, Dataflow para el enriquecimiento y BigQuery para el acceso de los clientes.

Mantener los costos bajo control con herramientas de optimización

DoiT aportó reOptimize CMP para ganar visibilidad sobre el uso de la nube y optimizar los costos. Huq también accedió a superQuery IDE, un entorno de desarrollo con IA para BigQuery que permite consultas más eficientes y una respuesta más flexible a los clientes.

Ahorros significativos a la par del crecimiento

Con el apoyo de DoiT, Huq redujo a la mitad su factura de nube mientras sus necesidades de datos se cuadruplicaron. Hoy procesa 800 millones de puntos de datos al día, frente a los 200 millones anteriores, con un 50% menos de costo. El nuevo stack puede escalar el procesamiento de datos 100 veces sin necesidad de cambios.

Descubre cómo DoiT ayuda a los equipos de nube a controlar su gasto

Explora cómo Cloud Intelligence™ ayuda a los equipos a mejorar la visibilidad, la gobernanza y la economía unitaria en sus entornos de nube.

Visita DoiT Habla con nuestro equipo

What they say

On integrating DataHub, the DoiT team was very hands-on to the point where DoiT support put together the first ingestion script and pipeline to unlock us.

Kyle Espinola, Head of Platform Engineering

“PerfectScale gives us the confidence to automate Kubernetes optimization while letting our engineers focus on building what matters.”

Josh Zarrabi, Infrastructure Engineer

“Without PerfectScale by DoiT, I don't know how we would do it. We'd have to have twice the number of people on my team to stay on top of it. With PerfectScale, we can focus on the more strategic issues.”

David Adkins, Director of Software and Platform Engineering

Connecting IBM and AWS privately was the piece we needed to get right, and we wanted to move faster on it than we could on our own. DoiT worked through the options with us, found the subnet overlap that was breaking the routing, and made it stable. That unblocked everything else.

DevOps Lead, Software Projects

Attribute™'s platform is truly unique. We now have crystal-clear visibility into our cloud spend at the workload and tenant level, and that insight has already led to actionable savings and powerful insights as we further scale our service.

Paul White, VP of Engineering, Shasta Cloud

We have worked with DoiT for many years, and there has been an increasing number of capabilities and features in DoiT Cloud Intelligence. We've embedded features such as Cloud Analytics and Reports in our own FinOps processes, it's become core to what we do.

Martin Lee, Director of Operations

DoiT gave us the confidence to move from experimentation to production. They helped us understand the right way to build AI for the real world.

Milad Rezazadeh, CTO

Attribute™'s cost grouping technology took our cost visibility and allocation to a whole new level. Now, our teams are fully accountable for their budgets, significantly improving our cloud efficiency and helping us minimize unnecessary costs.

Eli Zilbershtein, Head of DevOps, Hippo

You can't tag a customer in a multi-tenant environment. Attribute™ finally shows us what each customer costs and what's driving those costs.

Omri Cohen, Director of Engineering, Platform

Attribute™'s data is truly unmatched. No other solution on the market could deliver the precise customer cost and usage profiles we needed in such a complex infrastructure. Within weeks, the data from Attribute™ transformed our understanding of cost structures, influencing key strategic decisions in pricing, renegotiations, and market positioning.

Jonathan Langer, COO, Claroty

Attribute™ simplified tracking customer costs in our multi-tenant environments. Customer cost measurement is now clear and standardized, and finance gets the business context they need. Integration was quick and required no changes.

Kfir Lippmann, CFO, Salt Security

Attribute™ translates complex cloud bills into actionable, business-centric insights that empower our engineering teams to take true ownership of their costs.

Balamurugan Mohandossgandhi, Head of IT and Infrastructure, PropertyGuru

This has let us get a better idea of what our cost of goods sold really is. It's not every day you come across something that delivers value as quickly as yours did for us. I was seeing useful insights inside the POC, and we had only deployed it to a couple of real clusters.

Jason Moore, Principal DevOps Engineer, Accrete AI

Your cloud bill shouldn't be a mystery

Let us show you what ships this week.

Book a demo