Outbrain senkt Infrastrukturkosten um 40 %

Outbrain entschied sich für eine Partnerschaft mit DoiT International und migrierte mit Cloud Dataproc als Rückgrat in die Google Cloud. Autoscaling passt die Clustergröße dynamisch an die Projektanforderungen an, Preemptible Nodes sorgen für zusätzliche Kosteneffizienz. BigQuery liefert granulare Traffic-Analysen, und Cloud Storage verwaltet die 6 Petabyte an Forschungsdaten.

Outbrain stand bei einem zentralen Infrastruktur-Upgrade unter Zeitdruck. Die Technologie des Research-Clusters war zunehmend veraltet, und der Hosting-Vertrag musste bis Q1 2018 verlängert werden. Die bestehende Infrastruktur bestand aus Tausenden Servern in mehreren Rechenzentren – für den Live-Empfehlungsdienst bestens geeignet, für Forschungsprojekte jedoch ineffizient. Da die Auslastung des Research-Clusters stark schwankte, standen Server bei kleineren Projekten häufig ungenutzt und verursachten unnötige Kosten. Gefragt war eine Lösung, die sich nahtlos in den On-Premises-Live-Empfehlungscluster einfügt und gleichzeitig mehr Effizienz und Skalierbarkeit bietet.

Outbrain holte sich DoiT International als Partner an Bord, um die Migration zu Google Cloud zu planen und umzusetzen. Den Auftakt bildete Ende 2017 ein Proof of Concept, um die Machbarkeit der Technologie zu prüfen und die Researcher zu schulen. Im Januar 2018 startete die vollständige Migration. Das Team übertrug 6 Petabyte Daten über physische Netzwerk-Backup-Leitungen in Cloud Storage, um den laufenden Betrieb nicht zu beeinträchtigen. Cloud Dataproc bildete das Rückgrat des neuen Research-Clusters und brachte integrierte Hadoop-Funktionen sowie eine nahtlose Anbindung an die Daten in Cloud Storage mit.

Die neue Architektur setzt auf Cloud Dataproc mit Autoscaling, um die Clustergröße dynamisch an die Projektanforderungen anzupassen. Für passende Workloads sorgen Preemptible Nodes für zusätzliche Kosteneffizienz. BigQuery ermöglicht granulare Analysen zur Performance der Rechenzentren und damit eine regionsübergreifende Traffic-Optimierung. Die Cloud Vision API liefert Image-Tagging in großem Maßstab. Dieser hybride Ansatz erhält die Integration mit der On-Premises-Infrastruktur und schöpft gleichzeitig die Vorteile der Cloud voll aus.

Die Migration brachte unmittelbare Kostenvorteile: 40 % Einsparung bei den Infrastrukturkosten gegenüber dem bisherigen Research-Cluster. Neue Projekte ließen sich nahtlos starten, lange Vorlaufzeiten für die Hardware-Bereitstellung entfielen. Durch Autoscaling und bedarfsgerechtes Cluster-Management wurde die Kostenplanung deutlich verlässlicher. Der moderne Technologie-Stack stärkt zusätzlich das Recruiting und positioniert Outbrain als attraktiven Arbeitgeber an der technologischen Spitze. Serverlose Research-Funktionen und eine bessere Ressourcennutzung steigerten zudem die operative Effizienz.

Outbrain entwickelt seinen Service mit Technologien von Google Cloud kontinuierlich weiter. Aktuell experimentiert das Unternehmen mit Kubernetes-Clustern, um Traffic-Spitzen effizienter abzufangen – mit schneller Skalierung der Rechenleistung bei Nachrichten-Ereignissen und automatischem Herunterfahren, sobald die Nachfrage zurückgeht. So lässt sich eine Überdimensionierung der Server für Lastspitzen vermeiden, ohne die Verfügbarkeit zu gefährden. Die laufende Zusammenarbeit mit Google zielt auf langfristige Optimierung und frühen Zugang zu neuen Tools und Technologien.