Lightricks procesa 1.000 millones de eventos al día en Google Cloud

Lightricks migró a Google Cloud y se apoyó en BigQuery y Dataflow para automatizar la ingesta y el análisis de datos. El equipo desplegó Google Kubernetes Engine para una infraestructura basada en contenedores y adoptó Vertex AI para sus modelos de machine learning. DoiT International acompañó el proceso con soporte continuo en arquitectura y resolución de problemas.

Lightricks encontró rápidamente éxito en el mercado con apps como Facetune, Videoleap y Photoleap. Sin embargo, el crecimiento acelerado dejó al descubierto las limitaciones de su infraestructura híbrida on-premises. El sistema no daba abasto con la demanda de GPU ni con los requisitos cada vez más complejos de machine learning y analítica. Las fallas críticas se producían durante rondas de financiación y picos de uso, lo que hizo urgente contar con una plataforma más robusta.

BigQuery y Dataflow se convirtieron en la base de la transformación de la plataforma de datos de Lightricks. Hoy la compañía procesa cerca de 10.000 eventos por segundo, lo que suma mil millones de eventos al día. La función de autoscale de Dataflow eliminó los cuellos de botella anteriores, cuando las cargas de datos llegaban al límite del sistema. Esta automatización permite hacer business intelligence en tiempo real: los equipos optimizan campañas publicitarias sobre terabytes de datos y segmentan al instante a los usuarios que llegan desde campañas de marketing exitosas.

Google Kubernetes Engine redujo drásticamente la complejidad de la infraestructura para el reducido equipo de ingeniería de Lightricks. En cuestión de semanas, unos pocos Engineers y personas de DevOps pusieron en marcha una infraestructura funcional de Kubernetes que habría sido imposible con el sistema anterior. La separación entre almacenamiento y cómputo eliminó los obstáculos que antes frenaban el desarrollo y permitió a los equipos concentrarse en generar valor para el negocio en lugar de mantener sistemas.

Google Cloud resolvió los problemas de disponibilidad de cómputo para los workloads de machine learning de Lightricks. El equipo pasó del entrenamiento experimental en la nube en 2014 a una plataforma robusta donde los recursos de cómputo están disponibles bajo demanda. Los equipos de marketing, optimización de producto y motores de recomendación hoy crean modelos de machine learning en Compute Engine, y la migración a Vertex AI permite escalar aún más rápido los sistemas de recomendación y la optimización de la interacción con los usuarios.

Las capacidades de integración de Google Cloud permiten a Lightricks conectarse de forma segura con servicios de terceros como Cloudinary y Elasticsearch. La plataforma habilita el reenvío seguro de tráfico fuera de las redes privadas, sin exponer los sistemas a la Internet pública. Este marco de seguridad acompaña el desarrollo del backend de Lightricks, que construye servicios sobre tecnologías open-source sin perder una protección sólida.

Lightricks planea una expansión importante de sus servicios de backend en 2022, que incluye perfiles compartidos entre apps y carga de contenido multimedia. Este crecimiento generará más datos y exigirá modelos de machine learning más sofisticados. Con el respaldo de Google Cloud, la compañía puede escalar de forma rápida y rentable mientras desarrolla su plataforma para creadores y mantiene servicios de creación de contenido de última generación.