Lightricks verarbeitet 1 Milliarde Events pro Tag auf Google Cloud

Lightricks migrierte zu Google Cloud und setzt für die automatisierte Datenaufnahme und -analyse auf BigQuery und Dataflow. Das Team führte Google Kubernetes Engine für containerisierte Infrastruktur ein und nutzt Vertex AI für Machine-Learning-Modelle. DoiT International liefert dabei laufend Unterstützung – von der Architektur bis zur Problemlösung.

Mit Apps wie Facetune, Videoleap und Photoleap fand Lightricks schnell den Marktdurchbruch. Doch das rasante Wachstum brachte die hybride Cloud-on-Premises-Infrastruktur an ihre Grenzen. Das System konnte den GPU-Bedarf nicht mehr decken und bildete die zunehmend komplexen Anforderungen an Machine Learning und Analytics nicht mehr ab. Während Finanzierungsrunden und in Spitzenzeiten kam es zu kritischen Ausfällen – eine robustere Plattform musste her.

BigQuery und Dataflow bilden das Fundament der neuen Datenplattform von Lightricks. Heute laufen rund 10.000 Events pro Sekunde durch das System – täglich eine Milliarde. Die Autoscale-Funktion von Dataflow hat die früheren Engpässe beseitigt, an denen Daten-Uploads regelmäßig an Systemgrenzen scheiterten. Diese Automatisierung macht Business Intelligence in Echtzeit möglich: Teams optimieren Werbekampagnen auf Basis von Terabytes an Daten und sprechen Nutzer aus erfolgreichen Marketingkampagnen sofort gezielt an.

Google Kubernetes Engine hat die Infrastruktur-Komplexität für das schlanke Engineering-Team von Lightricks drastisch reduziert. Innerhalb weniger Wochen brachten einige Engineers und DevOps-Mitarbeitende eine funktionsfähige Kubernetes-Infrastruktur an den Start – mit dem Vorgängersystem wäre das undenkbar gewesen. Die Trennung von Storage und Compute hat die Infrastrukturhürden beseitigt, die die Entwicklung zuvor ausgebremst hatten. So können sich die Teams auf den Mehrwert für das Business konzentrieren, statt Systeme zu warten.

Google Cloud hat die Compute-Engpässe für Machine-Learning-Workloads bei Lightricks aufgelöst. Vom experimentellen Cloud-Training im Jahr 2014 hat sich das Team zu einer robusten Plattform weiterentwickelt, auf der Compute-Ressourcen on demand bereitstehen. Marketing, Produktoptimierung und Recommendation Engine entwickeln ihre Machine-Learning-Modelle heute auf Compute Engine – und mit der Migration zu Vertex AI lassen sich Empfehlungssysteme und die Optimierung der Nutzerinteraktion noch schneller skalieren.

Dank der Integrationsmöglichkeiten von Google Cloud kann Lightricks Drittanbieter-Dienste wie Cloudinary und Elasticsearch sicher anbinden. Die Plattform leitet Traffic sicher außerhalb privater Netzwerke weiter, ohne Systeme dem öffentlichen Internet auszusetzen. Dieses Sicherheitsframework stützt die Backend-Entwicklung von Lightricks: Das Unternehmen baut seine Services auf Open-Source-Technologien auf – bei robustem Schutz.

Für 2022 plant Lightricks einen umfangreichen Ausbau seiner Backend-Services, darunter app-übergreifende Profile und Funktionen für den Medien-Upload. Dieses Wachstum erzeugt mehr Daten und erfordert leistungsfähigere Machine-Learning-Modelle. Mit Google Cloud im Rücken kann das Unternehmen schnell und kosteneffizient skalieren, seine Creator-Plattform weiterentwickeln und dabei State-of-the-Art-Services für die Content-Erstellung liefern.