Diese Seite ist auch in English, Español, Français, Italiano, 日本語 und Português verfügbar.

Huq senkt Cloud-Kosten um 50 % – bei vierfachem Datenvolumen

DoiT begleitete Huq bei der Migration von AWS zu Google Cloud und baute die Pipeline auf Dataflow und BigQuery neu auf – für täglich knapp eine Milliarde Geo-Location-Datensätze.

The Challenge

Die Kunden von Huq forderten immer kürzere Bearbeitungszeiten und häufigeren Zugriff auf hochfrequente Daten. Das Unternehmen musste seine Datenpipeline so anpassen, dass sie nahezu in Echtzeit auf Kundenanfragen reagiert – und dabei flexibel genug bleibt, um unterschiedlichste technische Anforderungen abzudecken.

The Solution

DoiT unterstützte Huq bei der Migration der zentralen Datenverarbeitungs-Pipeline von AWS zu Google Cloud mit Apache Beam und Google Dataflow. Die Lösung umfasst Workflow-Orchestrierung mit Cloud Composer, Datenspeicherung mit Cloud Storage und BigQuery sowie Kostenoptimierung über reOptimize CMP und superQuery IDE.

Results

Cloud-Kosten um 50 % gesenkt, während sich das Datenvolumen von 200 Millionen auf 800 Millionen Datenpunkte pro Tag vervierfachte
Skalierbare Architektur aufgebaut, die täglich fast eine Milliarde Geo-Location-Datensätze verarbeitet
Datenverarbeitung um den Faktor 100 skalierbar – ohne Änderungen am Stack

Wir sind ein kleines technisches Team und können dadurch sehr schnell agieren und auf Veränderungen reagieren. Wenn man aber neue Technologien einführt, braucht man Zugang zu erstklassiger Expertise. Ausschlaggebend für die Entscheidung für DoiT International waren die Qualität der Kommunikation und das tiefe technische Know-how des Teams.
Isambard Poulson, Co-Founder und CTO, Huq

Das ist Huq

Huq misst reale Faktoren, die Unternehmen beeinflussen, und verschafft ihnen so einen ganzheitlichen Blick auf ihren Markt. Auf Basis von Mobilitätsdaten erstellt das Unternehmen wirtschaftliche und gesellschaftliche Benchmarks, die als Indikator für Besucherfrequenzen im Einzelhandel, im Verkehr, in Innenstädten und an Arbeitsplätzen dienen. Diese anonymisierte Datenbasis umfasst große Mengen reichhaltiger, beschreibender Daten und ermöglicht komplexe Analysen des Konsumentenverhaltens.

Maßgeschneiderte Lösungen statt Produkte von der Stange

Isambard wandte sich im Mai 2020 auf Empfehlung eines anderen Kunden an DoiT. DoiT überzeugte Huq mit einem maßgeschneiderten Ansatz und nahm sich die Zeit, die Anforderungen wirklich zu verstehen, statt einfach vorhandene Produkte zu verkaufen. Das Onboarding verlief reibungslos und die verfügbaren Tools passten hervorragend zu den Anforderungen von Huq.

Eine skalierbare Datenpipeline aufbauen

DoiT half Huq, die Migration zu Google Cloud abzuschließen und eine Datenpipeline aufzubauen, die täglich fast eine Milliarde Geo-Location-Datensätze in hoher Geschwindigkeit aufnimmt, verarbeitet, analysiert und exportiert. Die Lösung nutzt Google Cloud Composer für die Workflow-Orchestrierung, Cloud Storage für das Laden der Daten, Dataflow für die Anreicherung und BigQuery für den Kundenzugriff.

Kosten im Griff – mit den passenden Optimierungs-Tools

DoiT stellte reOptimize CMP bereit, um die Cloud-Nutzung transparenter zu machen und Kosten gezielt zu optimieren. Zusätzlich erhielt Huq Zugang zu superQuery IDE, einer KI-gestützten Entwicklungsumgebung für BigQuery, die effizienteres Querying und eine flexiblere Reaktion auf Kundenanfragen ermöglicht.

Drastische Kostenersparnis bei gleichzeitigem Wachstum

Mit Unterstützung von DoiT halbierte Huq seine Cloud-Rechnung, während sich der Datenbedarf vervierfachte. Das Unternehmen verarbeitet heute täglich 800 Millionen Datenpunkte – zuvor waren es 200 Millionen – bei um 50 % gesunkenen Kosten. Der neue Stack lässt sich um den Faktor 100 skalieren, ohne dass Anpassungen nötig wären.

So unterstützt DoiT Cloud-Teams bei der Kostenkontrolle

Erfahren Sie, wie Cloud Intelligence™ Teams dabei hilft, Transparenz, Governance und Unit Economics über alle Cloud-Umgebungen hinweg zu verbessern.

DoiT entdecken Team kontaktieren

What they say

On integrating DataHub, the DoiT team was very hands-on to the point where DoiT support put together the first ingestion script and pipeline to unlock us.

Kyle Espinola, Head of Platform Engineering

“PerfectScale gives us the confidence to automate Kubernetes optimization while letting our engineers focus on building what matters.”

Josh Zarrabi, Infrastructure Engineer

“Without PerfectScale by DoiT, I don't know how we would do it. We'd have to have twice the number of people on my team to stay on top of it. With PerfectScale, we can focus on the more strategic issues.”

David Adkins, Director of Software and Platform Engineering

Connecting IBM and AWS privately was the piece we needed to get right, and we wanted to move faster on it than we could on our own. DoiT worked through the options with us, found the subnet overlap that was breaking the routing, and made it stable. That unblocked everything else.

DevOps Lead, Software Projects

Attribute™'s platform is truly unique. We now have crystal-clear visibility into our cloud spend at the workload and tenant level, and that insight has already led to actionable savings and powerful insights as we further scale our service.

Paul White, VP of Engineering, Shasta Cloud

We have worked with DoiT for many years, and there has been an increasing number of capabilities and features in DoiT Cloud Intelligence. We've embedded features such as Cloud Analytics and Reports in our own FinOps processes, it's become core to what we do.

Martin Lee, Director of Operations

DoiT gave us the confidence to move from experimentation to production. They helped us understand the right way to build AI for the real world.

Milad Rezazadeh, CTO

Attribute™'s cost grouping technology took our cost visibility and allocation to a whole new level. Now, our teams are fully accountable for their budgets, significantly improving our cloud efficiency and helping us minimize unnecessary costs.

Eli Zilbershtein, Head of DevOps, Hippo

You can't tag a customer in a multi-tenant environment. Attribute™ finally shows us what each customer costs and what's driving those costs.

Omri Cohen, Director of Engineering, Platform

Attribute™'s data is truly unmatched. No other solution on the market could deliver the precise customer cost and usage profiles we needed in such a complex infrastructure. Within weeks, the data from Attribute™ transformed our understanding of cost structures, influencing key strategic decisions in pricing, renegotiations, and market positioning.

Jonathan Langer, COO, Claroty

Attribute™ simplified tracking customer costs in our multi-tenant environments. Customer cost measurement is now clear and standardized, and finance gets the business context they need. Integration was quick and required no changes.

Kfir Lippmann, CFO, Salt Security

Attribute™ translates complex cloud bills into actionable, business-centric insights that empower our engineering teams to take true ownership of their costs.

Balamurugan Mohandossgandhi, Head of IT and Infrastructure, PropertyGuru

This has let us get a better idea of what our cost of goods sold really is. It's not every day you come across something that delivers value as quickly as yours did for us. I was seeing useful insights inside the POC, and we had only deployed it to a couple of real clusters.

Jason Moore, Principal DevOps Engineer, Accrete AI

Your cloud bill shouldn't be a mystery

Let us show you what ships this week.

Book a demo