Lightricks ingère 1 milliard d'événements par jour sur Google Cloud

Lightricks a migré vers Google Cloud en s'appuyant sur BigQuery et Dataflow pour automatiser l'ingestion et l'analyse de ses données. Les équipes ont déployé Google Kubernetes Engine pour une infrastructure conteneurisée et adopté Vertex AI pour leurs modèles de machine learning. DoiT International apporte un accompagnement architectural continu et une expertise pointue en résolution de problèmes.

Lightricks a rapidement rencontré le succès avec des applications comme Facetune, Videoleap et Photoleap. Mais cette croissance fulgurante a révélé les limites de son infrastructure hybride cloud/on-premises. Le système peinait à absorber la demande en GPU et ne pouvait plus suivre des besoins toujours plus pointus en machine learning et en analytique. Des défaillances critiques se sont produites pendant des levées de fonds et des pics d'utilisation, rendant indispensable l'adoption d'une plateforme plus robuste.

BigQuery et Dataflow sont devenus le socle de la nouvelle plateforme de données de Lightricks. L'entreprise ingère désormais environ 10 000 événements par seconde, soit un milliard par jour. L'autoscale de Dataflow a fait disparaître les goulets d'étranglement qui saturaient auparavant les chargements. Cette automatisation ouvre la voie à une business intelligence temps réel : les équipes optimisent leurs campagnes publicitaires sur des téraoctets de données et ciblent instantanément les utilisateurs issus des campagnes marketing les plus performantes.

Google Kubernetes Engine a considérablement réduit la complexité d'infrastructure pour l'équipe d'ingénierie resserrée de Lightricks. En quelques semaines, une poignée d'ingénieurs et de DevOps ont déployé une infrastructure Kubernetes opérationnelle, chose impensable avec le système précédent. La séparation du stockage et du calcul a levé les obstacles qui freinaient le développement, permettant aux équipes de se concentrer sur la création de valeur métier plutôt que sur la maintenance.

Google Cloud a résolu les problèmes de disponibilité de calcul rencontrés par Lightricks sur ses workloads de machine learning. L'équipe est passée d'expérimentations d'entraînement dans le cloud en 2014 à une plateforme robuste où les ressources de calcul sont disponibles à la demande. Les équipes marketing, optimisation produit et moteur de recommandation conçoivent désormais leurs modèles de machine learning sur Compute Engine, et la migration vers Vertex AI accélère encore le passage à l'échelle des systèmes de recommandation et d'optimisation des interactions utilisateur.

Les capacités d'intégration de Google Cloud permettent à Lightricks de se connecter en toute sécurité à des services tiers comme Cloudinary et Elasticsearch. La plateforme assure un acheminement sécurisé du trafic hors des réseaux privés, sans exposer les systèmes à Internet. Ce cadre de sécurité soutient le développement backend de Lightricks, qui bâtit ses services sur des technologies open source tout en conservant une protection solide.

Lightricks prévoit une expansion majeure de ses services backend en 2022, avec notamment des profils partagés entre applications et de nouvelles fonctionnalités d'upload de médias. Cette croissance générera davantage de données et exigera des modèles de machine learning plus aboutis. Avec Google Cloud, l'entreprise peut évoluer rapidement et à moindre coût tout en développant sa plateforme dédiée aux créateurs et en maintenant des services de création de contenu à la pointe.