Diese Seite ist auch in English, Español, Français, Italiano, 日本語 und Português verfügbar.

Huq senkt Cloud-Kosten um 50 % – bei vierfachem Datenvolumen

DoiT begleitete Huq bei der Migration von AWS zu Google Cloud und baute die Pipeline auf Dataflow und BigQuery neu auf – für täglich knapp eine Milliarde Geo-Location-Datensätze.

The Challenge

Die Kunden von Huq forderten immer kürzere Bearbeitungszeiten und häufigeren Zugriff auf hochfrequente Daten. Das Unternehmen musste seine Datenpipeline so anpassen, dass sie nahezu in Echtzeit auf Kundenanfragen reagiert – und dabei flexibel genug bleibt, um unterschiedlichste technische Anforderungen abzudecken.

The Solution

DoiT unterstützte Huq bei der Migration der zentralen Datenverarbeitungs-Pipeline von AWS zu Google Cloud mit Apache Beam und Google Dataflow. Die Lösung umfasst Workflow-Orchestrierung mit Cloud Composer, Datenspeicherung mit Cloud Storage und BigQuery sowie Kostenoptimierung über reOptimize CMP und superQuery IDE.

Results

Cloud-Kosten um 50 % gesenkt, während sich das Datenvolumen von 200 Millionen auf 800 Millionen Datenpunkte pro Tag vervierfachte
Skalierbare Architektur aufgebaut, die täglich fast eine Milliarde Geo-Location-Datensätze verarbeitet
Datenverarbeitung um den Faktor 100 skalierbar – ohne Änderungen am Stack

Wir sind ein kleines technisches Team und können dadurch sehr schnell agieren und auf Veränderungen reagieren. Wenn man aber neue Technologien einführt, braucht man Zugang zu erstklassiger Expertise. Ausschlaggebend für die Entscheidung für DoiT International waren die Qualität der Kommunikation und das tiefe technische Know-how des Teams.
Isambard Poulson, Co-Founder und CTO, Huq

Das ist Huq

Huq misst reale Faktoren, die Unternehmen beeinflussen, und verschafft ihnen so einen ganzheitlichen Blick auf ihren Markt. Auf Basis von Mobilitätsdaten erstellt das Unternehmen wirtschaftliche und gesellschaftliche Benchmarks, die als Indikator für Besucherfrequenzen im Einzelhandel, im Verkehr, in Innenstädten und an Arbeitsplätzen dienen. Diese anonymisierte Datenbasis umfasst große Mengen reichhaltiger, beschreibender Daten und ermöglicht komplexe Analysen des Konsumentenverhaltens.

Maßgeschneiderte Lösungen statt Produkte von der Stange

Isambard wandte sich im Mai 2020 auf Empfehlung eines anderen Kunden an DoiT. DoiT überzeugte Huq mit einem maßgeschneiderten Ansatz und nahm sich die Zeit, die Anforderungen wirklich zu verstehen, statt einfach vorhandene Produkte zu verkaufen. Das Onboarding verlief reibungslos und die verfügbaren Tools passten hervorragend zu den Anforderungen von Huq.

Eine skalierbare Datenpipeline aufbauen

DoiT half Huq, die Migration zu Google Cloud abzuschließen und eine Datenpipeline aufzubauen, die täglich fast eine Milliarde Geo-Location-Datensätze in hoher Geschwindigkeit aufnimmt, verarbeitet, analysiert und exportiert. Die Lösung nutzt Google Cloud Composer für die Workflow-Orchestrierung, Cloud Storage für das Laden der Daten, Dataflow für die Anreicherung und BigQuery für den Kundenzugriff.

Kosten im Griff – mit den passenden Optimierungs-Tools

DoiT stellte reOptimize CMP bereit, um die Cloud-Nutzung transparenter zu machen und Kosten gezielt zu optimieren. Zusätzlich erhielt Huq Zugang zu superQuery IDE, einer KI-gestützten Entwicklungsumgebung für BigQuery, die effizienteres Querying und eine flexiblere Reaktion auf Kundenanfragen ermöglicht.

Drastische Kostenersparnis bei gleichzeitigem Wachstum

Mit Unterstützung von DoiT halbierte Huq seine Cloud-Rechnung, während sich der Datenbedarf vervierfachte. Das Unternehmen verarbeitet heute täglich 800 Millionen Datenpunkte – zuvor waren es 200 Millionen – bei um 50 % gesunkenen Kosten. Der neue Stack lässt sich um den Faktor 100 skalieren, ohne dass Anpassungen nötig wären.

So unterstützt DoiT Cloud-Teams bei der Kostenkontrolle

Erfahren Sie, wie DoiT Cloud Intelligence Teams dabei hilft, Transparenz, Governance und Unit Economics über alle Cloud-Umgebungen hinweg zu verbessern.

DoiT entdecken Team kontaktieren

What they say

What I really like about DoiT's approach is that you're very hands-on and proactive. Satyam would ping me a few times a sprint, letting me know about the most current features, checking in on how things are going. When we are going through a peak time, that proactiveness makes a real difference. Satyam always comes through whenever we need support and helps us leverage the right experts to get us where we need to be.

Chiamaka Ibeme, Engineering Manager, Platform

SELECT has made important cost data readily accessible. I will often pull it up during engineering design reviews so we can quickly evaluate cost impact and projections and factor that into our design decisions.

Douglas Zickuhr, Senior Data Platform Engineer at Personio

I love clicking through SELECT to understand how our environment and workloads are evolving. I probably check it every day. It's coffee and SELECT for me every morning.

Ian Fahey, Senior Analytics Engineer at Loop

You guys have the best UI experience that I've had of any software. It's like you just read my mind where, like, oh, I wish I could click there. Oh, I can

Diana Koshy, Sr. Director of Data Engineering at Kargo

SELECT feels like exactly what Paul and I would have built if we had locked ourselves in a room for 18 months to create our ideal monitoring solution.

Devin McGee, Data Engineering Lead at Home Chef

SELECT dramatically lowers the cognitive load to understanding Snowflake costs. I'm able to sit there and easily understand what's driving the cost. Not to blow smoke up your ass, but it's just so easy to do in your platform

Blake Baggett, Head of Data Operations at Entain

One of the most helpful cost rituals we've setup from SELECT is the weekly spend digest sent to Slack. I can start high level and ensure things are in check. If not, I can very quickly drill down into specific workloads which may have driven the cost spike and remediate them before they become a bigger issue.

Michael Revelo, Manager of data and analytics engineering at ClickUp

Through SELECT's automated savings feature and deep cost visibility, we were able to instantly lower our Snowflake spend by over 40% and achieve a 20X ROI on our SELECT investment.

Skyler Chi, SVP, GTM Productivity & Excellence at Exiger

Our costs had jumped up 3X as we scaled, so we're talking about 60% savings in Snowflake spend after adopting SELECT.

Edward Mancey, GTM Lead at Synthesia

DoiT was a true partner, not a vendor. They helped us understand the problem, refine the vision, and build something production-ready far faster than we could have on our own. Their expertise, responsiveness, and commitment made all the difference.

Dr. Anish Kapur, Founder & CEO, Promptly

DoiT's Customer Success and Forward Deployed Engineering teams work very closely with us. The regular sessions with our CSM keep us focused on the right priorities, and the FDEs provide the deep technical guidance we need to validate decisions and optimize our environment. That combination has been genuinely valuable for us.

Alexander Lundberg Santos, Platform Engineer at Extenda Retail

When we started working with DoiT, we deployed Flexsave to save time and reduce complexity. We still use it today. But what really stands out is the expert support. Having someone to collaborate with on deep cloud cost topics, someone who really understands the nuances, is incredibly valuable.

Jesper Terkelsen, CTO at Monta

DoiT's Cloud Accelerator turned our AI idea into a shipped product, saving at least three months of development and delivering reliable, explainable insights our customers trust.

Scott Desgrosseilliers, CEO and co-founder, Wicked Reports

Your cloud bill shouldn't be a mystery

Let us show you what ships this week.

Book a demo