Lightricks processa 1 bilhão de eventos por dia no Google Cloud

A Lightricks migrou para o Google Cloud, apoiando-se em BigQuery e Dataflow para ingestão e análise automatizadas de dados. O time adotou o Google Kubernetes Engine para a infraestrutura conteinerizada e o Vertex AI para os modelos de machine learning. A DoiT International ofereceu suporte arquitetural contínuo e expertise na solução de problemas.

A Lightricks conquistou rapidamente o mercado com apps como Facetune, Videoleap e Photoleap. Mas o crescimento acelerado expôs os limites da infraestrutura híbrida (nuvem e on-premises). O sistema não acompanhava a demanda por GPU e não suportava requisitos cada vez mais complexos de machine learning e analytics. Falhas críticas aconteciam em rodadas de captação e picos de uso, criando uma necessidade urgente de uma plataforma mais robusta.

BigQuery e Dataflow se tornaram a base da transformação da plataforma de dados da Lightricks. Hoje, a empresa ingere cerca de 10.000 eventos por segundo — um bilhão de eventos por dia. O autoscale do Dataflow acabou com os gargalos anteriores, em que os uploads de dados esbarravam no limite do sistema. Essa automação viabiliza business intelligence em tempo real, permitindo que os times otimizem campanhas de mídia sobre terabytes de dados e impactem na hora usuários vindos de campanhas de marketing bem-sucedidas.

O Google Kubernetes Engine reduziu drasticamente a complexidade de infraestrutura para o time enxuto de engenharia da Lightricks. Em poucas semanas, alguns engenheiros e profissionais de DevOps colocaram de pé uma infraestrutura Kubernetes funcional — algo impossível com o sistema anterior. A separação entre armazenamento e computação eliminou os obstáculos que antes travavam o desenvolvimento, liberando os times para focar em gerar valor para o negócio em vez de manter sistemas.

O Google Cloud resolveu os desafios de disponibilidade de computação da Lightricks para workloads de machine learning. O time saiu do treinamento experimental em nuvem, lá em 2014, para uma plataforma robusta, com recursos de computação disponíveis sob demanda. Hoje, os times de marketing, otimização de produto e motor de recomendação criam modelos de machine learning no Compute Engine, e a migração para o Vertex AI viabiliza um escalonamento ainda mais rápido para sistemas de recomendação e otimização da interação com o usuário.

Os recursos de integração do Google Cloud permitem que a Lightricks se conecte com segurança a serviços de terceiros como Cloudinary e Elasticsearch. A plataforma faz o encaminhamento seguro de tráfego para fora das redes privadas, sem expor os sistemas à Internet pública. Essa estrutura de segurança apoia o desenvolvimento de backend da Lightricks, que constrói serviços sobre tecnologias open-source sem abrir mão de uma proteção sólida.

A Lightricks planeja uma grande expansão dos serviços de backend em 2022, incluindo perfis compartilhados entre apps e funcionalidades de upload de mídia. Esse crescimento vai gerar ainda mais dados e exigir modelos de machine learning mais avançados. Com o apoio do Google Cloud, a empresa escala rápido e com bom custo enquanto desenvolve sua plataforma para criadores e mantém serviços de criação de conteúdo de ponta.