Outbrain recorta un 40% sus costos de infraestructura

Outbrain se asoció con DoiT International para migrar a Google Cloud apoyándose en Cloud Dataproc como columna vertebral. La solución sumó autoscaling para ajustar el tamaño del cluster según las necesidades de cada proyecto y nodos preemptibles para optimizar el costo. BigQuery habilitó analíticas granulares de tráfico, mientras Cloud Storage se encargó de los 6 petabytes de datos de investigación.

Outbrain tenía encima una fecha límite crítica para actualizar su infraestructura. La tecnología de su cluster de investigación estaba quedando obsoleta y su contrato de hosting vencía en el primer trimestre de 2018. La infraestructura existente, con miles de servidores repartidos en varios data centers, funcionaba bien para el servicio de recomendaciones en vivo, pero resultaba ineficiente para los proyectos de investigación. Como el uso del cluster era elástico, se acumulaban servidores ociosos y se perdía dinero durante los proyectos más chicos. La compañía necesitaba una solución que se integrara sin fricciones con su cluster on-premises de recomendaciones en vivo y, al mismo tiempo, ganara en eficiencia y escalabilidad.

Outbrain se asoció con DoiT International para planificar y ejecutar la migración a Google Cloud. El proyecto arrancó con una Prueba de Concepto a finales de 2017 para validar la viabilidad de la tecnología y capacitar a los investigadores. En enero de 2018 comenzó la migración completa. El equipo trasladó 6 petabytes de datos a Cloud Storage mediante líneas físicas de respaldo de red, sin interrumpir la operación normal. Cloud Dataproc se convirtió en la columna vertebral del nuevo cluster de investigación, con capacidades integradas de Hadoop y conexión fluida con los datos alojados en Cloud Storage.

La nueva arquitectura se apoyó en Cloud Dataproc con autoscaling para ajustar de forma dinámica el tamaño del cluster según las necesidades de cada proyecto. Se sumaron nodos preemptibles para optimizar el costo en los workloads adecuados. BigQuery permitió analíticas granulares sobre el rendimiento de los data centers y optimizar el tráfico entre regiones. La Cloud Vision API aportó etiquetado de imágenes a gran escala. Este enfoque híbrido mantuvo la integración con la infraestructura on-premises a la vez que maximizó los beneficios de la nube.

La migración trajo beneficios inmediatos: 40% de ahorro en costos de infraestructura frente al cluster de investigación anterior. Arrancar un nuevo proyecto pasó a ser inmediato, sin los largos tiempos de aprovisionamiento de hardware. La compañía ganó mayor previsibilidad de costos gracias al autoscaling y a la gestión de clusters on-demand. Su stack tecnológico moderno también mejoró la atracción de talento, posicionando a Outbrain como un empleador de vanguardia. Y la eficiencia operativa creció gracias a las capacidades serverless de investigación y a un mejor aprovechamiento de los recursos.

Outbrain sigue optimizando su servicio con las tecnologías de Google Cloud. La compañía está experimentando con clusters de Kubernetes para gestionar los picos de tráfico de forma más eficiente: escalar el cómputo en cuestión de minutos durante eventos de noticias y apagarlo automáticamente cuando baja la demanda. Este enfoque resuelve el problema de sobreaprovisionar servidores para los picos sin sacrificar la disponibilidad del servicio. La colaboración con Google está enfocada en la optimización a largo plazo y en el acceso a herramientas y tecnologías emergentes.