Outbrain corta 40% dos custos de infraestrutura

A Outbrain se uniu à DoiT International para migrar ao Google Cloud tendo o Cloud Dataproc como espinha dorsal. A solução adotou autoscaling para ajustar o tamanho do cluster conforme cada projeto e nós preemptivos para ganhar eficiência de custos. O BigQuery viabilizou análises granulares de tráfego, e o Cloud Storage abrigou os 6 petabytes de dados de pesquisa.

A Outbrain enfrentava um prazo crítico para modernizar sua infraestrutura. A tecnologia do cluster de pesquisa estava ficando obsoleta, e o contrato de hospedagem precisava ser renovado até o primeiro trimestre de 2018. A infraestrutura existente reunia milhares de servidores espalhados por vários data centers, o que funcionava bem para o serviço de recomendações ao vivo, mas gerava ineficiências nos projetos de pesquisa. O uso do cluster era elástico, com servidores ociosos e desperdício de custos durante projetos menores. A empresa precisava de uma solução que se integrasse de forma fluida ao cluster de recomendações ao vivo on-premises, com mais eficiência e escalabilidade.

A Outbrain se uniu à DoiT International para planejar e executar a migração para o Google Cloud. O projeto começou com uma prova de conceito no fim de 2017, para validar a viabilidade da tecnologia e capacitar os pesquisadores. Em janeiro de 2018, a migração completa foi iniciada. A equipe transferiu 6 petabytes de dados para o Cloud Storage usando linhas físicas de backup de rede, sem interromper as operações normais. O Cloud Dataproc se tornou a espinha dorsal do novo cluster de pesquisa, com recursos integrados do Hadoop e conexão direta com os dados no Cloud Storage.

A nova arquitetura aproveitou o Cloud Dataproc com autoscaling para ajustar dinamicamente o tamanho do cluster conforme cada projeto. Nós preemptivos entraram em cena para garantir eficiência de custos em workloads compatíveis. O BigQuery permitiu análises granulares do desempenho dos data centers e abriu caminho para otimizar o tráfego entre regiões. A Cloud Vision API trouxe marcação de imagens em escala. Essa abordagem híbrida preservou a integração com a infraestrutura on-premises e, ao mesmo tempo, extraiu o máximo dos benefícios da nuvem.

A migração trouxe ganhos imediatos de custo, com economia de 40% em infraestrutura frente ao cluster de pesquisa anterior. Iniciar projetos virou algo fluido, sem os longos prazos de provisionamento de hardware. A empresa ganhou mais previsibilidade de custos com autoscaling e gestão sob demanda do cluster. A stack moderna fortaleceu a atração de talentos e posicionou a Outbrain como uma empregadora de ponta. A eficiência operacional cresceu com as capacidades serverless de pesquisa e o melhor aproveitamento dos recursos.

A Outbrain segue otimizando seu serviço com tecnologias do Google Cloud. A empresa vem testando clusters Kubernetes para lidar com picos de tráfego de forma mais eficiente, com escalonamento rápido de capacidade computacional durante grandes eventos noticiosos e desligamento automático quando a demanda cai. A abordagem responde ao desafio do superprovisionamento de servidores para picos de carga, sem comprometer a disponibilidade do serviço. A parceria contínua com o Google é voltada à otimização de longo prazo e ao acesso a ferramentas e tecnologias emergentes.