このページはEnglish、Deutsch、Español、Français、Italiano、Portuguêsでもご覧いただけます。

Huq、データ量4倍でもクラウドコスト50%減

DoiTがHuqのAWSからGoogle Cloudへの移行を支援。DataflowとBigQueryでパイプラインを再構築し、1日あたり約10億件の位置情報レコードを処理可能に。

The Challenge

Huqの顧客からは、より短いリードタイムと高頻度データへの定常的なアクセスを求める声が高まっていました。技術要件の異なる顧客にも柔軟に対応しつつ、ニアリアルタイムでニーズに応えられるよう、データパイプラインの刷新が必要だったのです。

The Solution

DoiTはApache BeamとGoogle Dataflowを用いて、HuqのコアデータパイプラインをAWSからGoogle Cloudへ移行する作業を支援しました。Cloud Composerによるワークフロー制御、Cloud StorageとBigQueryによるデータ保管、reOptimize CMPとsuperQuery IDEによるコスト最適化を組み合わせたソリューションです。

Results

1日あたりのデータ量を2億件から8億件へと4倍に拡大しながら、クラウドコストを50%削減
1日約10億件の位置情報レコードを処理できるスケーラブルなアーキテクチャを構築
スタック変更なしでデータ処理を100倍まで拡張できる体制を実現

私たちは少数精鋭の技術チームで、意思決定も方針転換もスピーディーに行えます。ただ、新しい技術を取り入れるときには最先端の知見が欠かせません。DoiT Internationalを選んだ決め手は、コミュニケーションの質の高さと、チームが備える深い技術力でした。
Isambard Poulson, Huq 共同創業者兼 CTO

Huqとは

Huqは、ビジネスに影響を与える実世界の要因を計測し、企業が市場を多角的に捉えられるよう支援しています。モビリティデータを活用し、小売・交通・街なか・職場における人流の代理指標として、経済・社会のベンチマークを提供。匿名化された豊富で詳細なデータを基盤に、消費者行動の高度な分析を可能にしています。

要件に寄り添うアプローチで最適解を導く

Isambardは2020年5月、別の顧客からの紹介でDoiTに相談しました。既存製品を押し売りするのではなく、要件をじっくり理解する姿勢がHuqの心をつかみました。オンボーディングはスムーズに進み、利用できるツール群もHuqのニーズに見事に合致するものでした。

スケーラブルなデータパイプラインの構築

DoiTはHuqのGoogle Cloud移行を完遂まで支援し、1日約10億件の位置情報レコードを高速に取り込み、処理・分析・エクスポートするデータパイプラインを構築しました。ワークフロー制御にGoogle Cloud Composer、データロードにCloud Storage、エンリッチメントにDataflow、顧客向けアクセスにBigQueryを採用しています。

最適化ツールでコストを的確にコントロール

DoiTは、クラウド利用状況の可視化とコスト最適化を強化するreOptimize CMPを提供しました。さらにHuqは、BigQuery向けのAI搭載開発環境であるsuperQuery IDEを活用できるようになり、より効率的なクエリ実行と柔軟な顧客対応が可能になりました。

スケールしながら大幅なコスト削減を実現

DoiTの支援により、Huqはデータ量が4倍に増えてもクラウド費用を半減させました。1日のデータポイントは従来の2億件から8億件へと拡大し、コストは50%減。新しいスタックは変更を加えることなくデータ処理を100倍まで拡張できます。

DoiTがクラウドチームのコスト管理をどう支えるかをご紹介

DoiT Cloud Intelligenceが、クラウド環境全体の可視性、ガバナンス、ユニットエコノミクスの向上をどのように後押しするかをご覧ください。

DoiTを見るチームに相談する

What they say

What I really like about DoiT's approach is that you're very hands-on and proactive. Satyam would ping me a few times a sprint, letting me know about the most current features, checking in on how things are going. When we are going through a peak time, that proactiveness makes a real difference. Satyam always comes through whenever we need support and helps us leverage the right experts to get us where we need to be.

Chiamaka Ibeme, Engineering Manager, Platform

SELECT has made important cost data readily accessible. I will often pull it up during engineering design reviews so we can quickly evaluate cost impact and projections and factor that into our design decisions.

Douglas Zickuhr, Senior Data Platform Engineer at Personio

I love clicking through SELECT to understand how our environment and workloads are evolving. I probably check it every day. It's coffee and SELECT for me every morning.

Ian Fahey, Senior Analytics Engineer at Loop

You guys have the best UI experience that I've had of any software. It's like you just read my mind where, like, oh, I wish I could click there. Oh, I can

Diana Koshy, Sr. Director of Data Engineering at Kargo

SELECT feels like exactly what Paul and I would have built if we had locked ourselves in a room for 18 months to create our ideal monitoring solution.

Devin McGee, Data Engineering Lead at Home Chef

SELECT dramatically lowers the cognitive load to understanding Snowflake costs. I'm able to sit there and easily understand what's driving the cost. Not to blow smoke up your ass, but it's just so easy to do in your platform

Blake Baggett, Head of Data Operations at Entain

One of the most helpful cost rituals we've setup from SELECT is the weekly spend digest sent to Slack. I can start high level and ensure things are in check. If not, I can very quickly drill down into specific workloads which may have driven the cost spike and remediate them before they become a bigger issue.

Michael Revelo, Manager of data and analytics engineering at ClickUp

Through SELECT's automated savings feature and deep cost visibility, we were able to instantly lower our Snowflake spend by over 40% and achieve a 20X ROI on our SELECT investment.

Skyler Chi, SVP, GTM Productivity & Excellence at Exiger

Our costs had jumped up 3X as we scaled, so we're talking about 60% savings in Snowflake spend after adopting SELECT.

Edward Mancey, GTM Lead at Synthesia

DoiT was a true partner, not a vendor. They helped us understand the problem, refine the vision, and build something production-ready far faster than we could have on our own. Their expertise, responsiveness, and commitment made all the difference.

Dr. Anish Kapur, Founder & CEO, Promptly

DoiT's Customer Success and Forward Deployed Engineering teams work very closely with us. The regular sessions with our CSM keep us focused on the right priorities, and the FDEs provide the deep technical guidance we need to validate decisions and optimize our environment. That combination has been genuinely valuable for us.

Alexander Lundberg Santos, Platform Engineer at Extenda Retail

When we started working with DoiT, we deployed Flexsave to save time and reduce complexity. We still use it today. But what really stands out is the expert support. Having someone to collaborate with on deep cloud cost topics, someone who really understands the nuances, is incredibly valuable.

Jesper Terkelsen, CTO at Monta

DoiT's Cloud Accelerator turned our AI idea into a shipped product, saving at least three months of development and delivering reliable, explainable insights our customers trust.

Scott Desgrosseilliers, CEO and co-founder, Wicked Reports

Your cloud bill shouldn't be a mystery

Let us show you what ships this week.

Book a demo