このページはEnglish、Deutsch、Español、Français、Italiano、Portuguêsでもご覧いただけます。

Lightricks、Google Cloudで1日10億イベントを処理

DoiTがBigQuery、Dataflow、GKEへの移行を支援。ボトルネックを解消し、Lightricksのクリエイター向けアプリ全体でリアルタイム分析を実現。

The Challenge

従来のハイブリッド構成では、増大する需要や高度化する機械学習・分析ニーズに追いつけませんでした。重要なビジネス局面でインフラがボトルネックとなり、資金調達ラウンドや利用ピーク時にはデータアップロードが上限に達したり、クラスターが停止する事態も発生していました。

The Solution

LightricksはGoogle Cloudへ移行し、BigQueryとDataflowでデータ取り込みと分析を自動化。Google Kubernetes Engineでコンテナ基盤を構築し、機械学習モデルにはVertex AIを採用しました。DoiT Internationalはアーキテクチャ設計から課題解決まで継続的に伴走しています。

Results

BigQueryとDataflowで1日約10億件のイベントを処理
最小限のエンジニアリングリソースで、わずか数週間でGKE上にKubernetes基盤を稼働
重要なビジネス局面でシステム障害を招いていたインフラのボトルネックを解消
テラバイト級のデータに基づく広告キャンペーン最適化など、リアルタイムなビジネスインテリジェンスを実現

たとえばGKEでクラスターを立ち上げて機械学習システムにつなぎたいとき、研究用データレイクとオンプレミスのコンピュート機能がきちんと同期するよう、DoiTがしっかり支えてくれました。当社の機械学習基盤は非常に複雑ですが、アーキテクチャから問題解決まで、あらゆる場面でDoiTが継続的にサポートしてくれています。
Ofir Bibi, VP Research, Lightricks

スケールという課題に挑む

LightricksはFacetune、Videoleap、Photoleapといったアプリで急速に市場での成功を収めました。しかし、急成長によりハイブリッドクラウド／オンプレミス構成の限界が露呈。GPU需要への対応に苦戦し、高度化する機械学習・分析要件を支えきれなくなりました。資金調達ラウンドや利用ピーク時には深刻な障害も発生し、より堅牢な基盤への移行が急務となりました。

大規模データ取り込みの自動化

BigQueryとDataflowは、Lightricksのデータ基盤刷新の中核となりました。同社は現在、毎秒約10,000件、1日あたり10億件規模のイベントを取り込んでいます。Dataflowの自動スケーリングにより、データアップロードが上限に達するというこれまでのボトルネックは解消。この自動化によってリアルタイムなビジネスインテリジェンスが可能になり、テラバイト級のデータに基づく広告キャンペーンの最適化や、成果の高いマーケティング施策からのユーザーへの即時ターゲティングが実現しています。

少人数チームを支える大規模インフラ

Google Kubernetes Engineの導入で、Lightricksの少数精鋭エンジニアリングチームはインフラの複雑さから大きく解放されました。わずか数名のエンジニアとDevOps担当者が、数週間でKubernetes基盤を稼働させることに成功。これは従来のシステムでは到底実現できなかった成果です。ストレージとコンピュートを分離したことで、これまで開発を阻んでいたインフラ上の障壁が解消され、チームはシステム維持ではなくビジネス価値の創出に集中できるようになりました。

機械学習基盤の強化

Google Cloudは、Lightricksの機械学習workloadsにおけるコンピュートリソース確保の課題を解決しました。2014年に試験的にクラウドでのトレーニングを始めて以来、必要なときに必要なだけコンピュートリソースを使える堅牢な基盤へと進化。マーケティング、プロダクト最適化、レコメンデーションエンジンの各チームは現在、Compute Engine上で機械学習モデルを構築しており、Vertex AIへの移行により、レコメンドシステムやユーザーインタラクション最適化のスケーリングはさらに高速化しています。

サードパーティ連携をセキュアに

Google Cloudの連携機能により、LightricksはCloudinaryやElasticsearchといったサードパーティサービスと安全に接続できます。システムをパブリックインターネットにさらすことなく、プライベートネットワーク外への通信転送をセキュアに実現。このセキュリティ基盤は、オープンソース技術を活用したバックエンド開発を堅牢に保護しながら推進する力となっています。

今後の成長とプラットフォーム拡張

Lightricksは2022年、アプリ間で共有できるプロフィールやメディアアップロード機能など、バックエンドサービスの大規模拡張を計画しています。これに伴いデータ量は増加し、機械学習モデルの高度化も求められます。Google Cloudの支援のもと、同社は迅速かつコスト効率の高いスケーリングを実現しながら、クリエイター向けプラットフォームを発展させ、最先端のコンテンツ制作サービスを提供し続けていきます。

DoiTがクラウドコストの最適化をどう支援するか

DoiT Cloud Intelligenceが、クラウド環境全体の可視化、ガバナンス、ユニットエコノミクスをどう改善するかをご覧ください。

DoiTを見るチームに相談する

What they say

What I really like about DoiT's approach is that you're very hands-on and proactive. Satyam would ping me a few times a sprint, letting me know about the most current features, checking in on how things are going. When we are going through a peak time, that proactiveness makes a real difference. Satyam always comes through whenever we need support and helps us leverage the right experts to get us where we need to be.

Chiamaka Ibeme, Engineering Manager, Platform

SELECT has made important cost data readily accessible. I will often pull it up during engineering design reviews so we can quickly evaluate cost impact and projections and factor that into our design decisions.

Douglas Zickuhr, Senior Data Platform Engineer at Personio

I love clicking through SELECT to understand how our environment and workloads are evolving. I probably check it every day. It's coffee and SELECT for me every morning.

Ian Fahey, Senior Analytics Engineer at Loop

You guys have the best UI experience that I've had of any software. It's like you just read my mind where, like, oh, I wish I could click there. Oh, I can

Diana Koshy, Sr. Director of Data Engineering at Kargo

SELECT feels like exactly what Paul and I would have built if we had locked ourselves in a room for 18 months to create our ideal monitoring solution.

Devin McGee, Data Engineering Lead at Home Chef

SELECT dramatically lowers the cognitive load to understanding Snowflake costs. I'm able to sit there and easily understand what's driving the cost. Not to blow smoke up your ass, but it's just so easy to do in your platform

Blake Baggett, Head of Data Operations at Entain

One of the most helpful cost rituals we've setup from SELECT is the weekly spend digest sent to Slack. I can start high level and ensure things are in check. If not, I can very quickly drill down into specific workloads which may have driven the cost spike and remediate them before they become a bigger issue.

Michael Revelo, Manager of data and analytics engineering at ClickUp

Through SELECT's automated savings feature and deep cost visibility, we were able to instantly lower our Snowflake spend by over 40% and achieve a 20X ROI on our SELECT investment.

Skyler Chi, SVP, GTM Productivity & Excellence at Exiger

Our costs had jumped up 3X as we scaled, so we're talking about 60% savings in Snowflake spend after adopting SELECT.

Edward Mancey, GTM Lead at Synthesia

DoiT was a true partner, not a vendor. They helped us understand the problem, refine the vision, and build something production-ready far faster than we could have on our own. Their expertise, responsiveness, and commitment made all the difference.

Dr. Anish Kapur, Founder & CEO, Promptly

DoiT's Customer Success and Forward Deployed Engineering teams work very closely with us. The regular sessions with our CSM keep us focused on the right priorities, and the FDEs provide the deep technical guidance we need to validate decisions and optimize our environment. That combination has been genuinely valuable for us.

Alexander Lundberg Santos, Platform Engineer at Extenda Retail

Every customer has unique usage patterns. Manual resource optimization simply didn't scale—we needed automation to ensure every customer, regardless of size, had right-sized infrastructure without consuming our team's capacity.

Brad Quinn, Lead Platform Engineer, PlayHQ

SNCF

PerfectScale allowed us to grow capacity without growing cost. We effectively absorbed 30% more usage for free.

Thomas Comtet, Senior Staff Engineer, SNCF

Your cloud bill shouldn't be a mystery

Let us show you what ships this week.

Book a demo