Das Netzwerk von Google
Wie die meisten Public-Cloud-Anbieter arbeitet auch Google Cloud mit einem Netzwerk-Preismodell: Ingress-Traffic ist kostenlos, Egress-Traffic in andere Zonen, Regionen oder ins Internet kostet extra.
In größerem Maßstab nachzuvollziehen, wie viel Traffic in andere Zonen, Regionen oder ins Internet abfließt, ist alles andere als trivial. Damit Sie keine böse Überraschung auf der Cloud-Rechnung erleben, empfehlen wir den Einsatz einer neuen Funktion (noch in Beta) namens VPC Flow Logs.
VPC Flow Logs protokollieren den Netzwerk-Traffic, der an Ihre Instanzen geht oder von ihnen ausgeht. Diese Logs eignen sich für Netzwerk-Monitoring, Forensik, Echtzeit-Sicherheitsanalysen und die Optimierung der Cloud-Kosten.
Auf VPC Flow Logs greifen Sie über Stackdriver Logging zu und können sie – wie alle Logs in Google Cloud – automatisch an unterstützte Ziele wie Cloud Pub/Sub, BigQuery und Cloud Storage exportieren.
VPC Flow Logs werden pro Verbindung in 5-Sekunden-Intervallen aggregiert und nahezu in Echtzeit exportiert. Aktiviert werden sie pro Subnetz – ohne spürbare Auswirkungen auf die Performance Ihres Netzwerks:
gcloud beta compute networks subnets update [subnet-name] \ --no-enable-flow-logsJetzt richten wir einen Export der Logs ein. Öffnen Sie https://console.cloud.google.com/logs/viewer, wählen Sie den erweiterten Filter und fügen Sie Folgendes ein:
resource.type="gce_subnetwork"logName="projects/{#project_id}/logs/compute.googleapis.com%2Fvpc_flows"Richten Sie anschließend einen Export nach Google BigQuery ein:
Nun fließen alle Logs in eine BigQuery-Tabelle und lassen sich auswerten. Als Visualisierungstool haben wir Redash gewählt – ein Open-Source-Tool, mit dem sich Datenbanken abfragen, Ergebnisse visualisieren und Dashboards erstellen lassen. Redash unterstützt zahlreiche Datenquellen, darunter auch BigQuery.
Die per Export erzeugte Tabelle hat ein recht einfaches, selbsterklärendes Schema. Mit dieser Query haben wir die Daten für das Egress-Traffic-Tracking extrahiert:
Mit Redash war es ein Leichtes, unseren Egress-Traffic ins Internet zu visualisieren:
Egress-Traffic ins Internet
Egress-Traffic zwischen Regionen:
Egress-Traffic zwischen Regionen
Und schließlich der Egress-Traffic zwischen Zonen:
Egress-Traffic zwischen Zonen
So behalten wir unseren Egress-Traffic im Blick und können bei Überschreiten eines Schwellenwerts sogar automatische Alerts auslösen.
Lust auf mehr? Werfen Sie einen Blick in unseren Blog oder folgen Sie Aviv auf Twitter.