Sie haben sich auch schon gefragt, woher diese Inter-Zone-Egress-Kosten eigentlich kommen? Und wie oft haben Sie schon die Network-Pricing-Seite von GCP durchforstet, um die Kosten aufzuschlüsseln? Mir ging es genauso – höchste Zeit also, etwas Licht ins Dunkel zu bringen.
Schritt eins: Flow Logs
Aktivieren Sie zunächst die VPC Flow Logs für Ihr Projekt. Das ist der schnellste und einfachste Weg, um zu sehen, welche Bytes zwischen den Virtual Machines (VMs) in Ihrem Netzwerk fließen – ganz ohne unübersichtliche Screen-/tmux-Sessions mit Tools, die den Netzwerkverkehr direkt auf den VMs analysieren.
Geben wir den Logs ein paar Minuten, damit Traffic erfasst werden kann.
Mit einem Filter wie dem folgenden in Cloud Logging zeigen wir die Logs an – vorausgesetzt, die VPC Flow Logs sind aktiviert:
logName="projects/PROJECT_NAME/logs/compute.googleapis.com%2Fvpc_flows"
Das Ergebnis sieht in etwa so aus:
Beispiel für VPC Flow Logs
Der schnelle Weg über Spreadsheets
Statt einen ganzen Tag zu warten, um die Daten in BigQuery oder über einen anderen Log-Sink zu analysieren, können wir die Logs einfach als Spreadsheet bzw. CSV-Datei exportieren. Für viele Netzwerke reicht das, um sich einen ersten Überblick zu verschaffen.
Wenn Sie die Logs per SQL abfragen möchten, empfehle ich, einen Sink anzulegen und die Logs in ein BigQuery-Dataset zu schreiben.
Da Sie die VPC Flow Logs nun in Cloud Logging sehen, exportieren wir die letzten 10.000 Einträge als CSV-Datei in ein Drive. So erkennen wir, wie viele Bytes wohin fließen.
Download der VPC Flow Logs
Erstellen Sie im exportierten Google Spreadsheet eine Pivot-Tabelle mit Quelle/Ziel und bytes_sent. Anschließend lohnt es sich, die Bytes mit folgendem Format lesbarer darzustellen:
[<1000000]0.00," KB";[<1000000000]0.00,," MB";0.00,,," GB"
Markieren Sie die Bytes-Spalte, gehen Sie zu Format > Zahl > Weitere Formate > Benutzerdefiniertes Zahlenformat, fügen Sie das obige Format ein und klicken Sie auf Anwenden.
Benutzerdefiniertes Zahlenformat
Fertig – so einfach ist das. Sie haben nun einen ersten Eindruck Ihrer Netzwerkaktivität. Die Summenspalte zeigt die genutzten Bytes je Quelle~Ziel-Paar – klar zuzuordnen.
Pivot-Tabelle in Google Spreadsheets
Der Weg über BigQuery
Noch kein Muster erkennbar? Probieren Sie einen anderen Zeitraum, oder warten Sie einen ganzen Tag und setzen Sie ein paar Queries auf BigQuery ab. Wenn Sie zuvor einen Sink nach BigQuery angelegt haben, steht Ihnen jetzt ein BQ-Dataset mit einer Stichprobe an Logs und pro Instanz erfassten Bytes zur Verfügung.
Eine Beispielabfrage zur Summe der zwischen VMs gesendeten Bytes könnte so aussehen:
SELECT CONCAT(jsonPayload.src_instance.vm_name, " to ", jsonPayload.dest_instance.vm_name) AS vm_traffic,
sum(CAST (jsonPayload.bytes_sent AS INT64)) AS bytes_sent
FROM `PROJECT_NAME.DATASET_NAME.compute_googleapis_com_vpc_flows`
WHERE TIMESTAMP >= "2021-07-14 00:00:00 UTC"
GROUP BY vm_traffic
ORDER BY bytes_sent
BQ-Beispiel für bytes_sent
Und jetzt? Sehen Sie, was ganz oben in der Liste steht? :)
Wie das Reporting von DoiT unterstützt
Google Spreadsheets und BigQuery sind hervorragende Werkzeuge, um diese Daten abzufragen. Als Nutzer der Cloud-Management-Plattform von DoiT International kommen Sie aber noch schneller ans Ziel – inklusive übersichtlicher Visualisierungen.
- Melden Sie sich im Navigator von DoiT an.
- Klicken Sie unter Analytics auf Reports und anschließend auf Create new Report.
- Belassen Sie unter Metrics die Auswahl auf "Cost" (alternativ lässt sich auch Usage einstellen, wenn Sie statt der Kosten die Nutzung sehen möchten).
- Gruppieren Sie nach "Project/Account ID".
- Filtern Sie nach SKU, suchen Sie "Network Inter Zone Egress" und setzen Sie ein Häkchen:
SKU-Filterung im DoiT Navigator
6. Klicken Sie auf Save und führen Sie den Report aus:
Network-Inter-Zone-Egress-Report im DoiT Navigator
Und schon ist es geschafft. Im linken Menü finden Sie zudem weitere Funktionen, etwa den zeitgesteuerten Versand per E-Mail.
P.S.: Vergessen Sie nicht, Ihre VPC Flow Logs wieder zu deaktivieren.
Bleiben Sie mit uns in Kontakt – über den DoiT Engineering Blog , den DoiT LinkedIn-Kanal und den DoiT Twitter-Kanal . Karrieremöglichkeiten finden Sie unter https://careers.doit-intl.com .