Vous êtes-vous déjà demandé d'où venaient ces coûts d'Inter-Zone Egress ? Vous êtes-vous surpris à consulter en boucle la page network pricing de GCP pour tenter d'y voir clair ? Moi aussi. Autant essayer d'éclaircir tout cela ensemble.
D'abord, les Flow Logs
Commençons par activer les VPC Flow Logs sur votre projet. C'est le moyen le plus rapide et le plus simple de visualiser les octets qui circulent entre les machines virtuelles (VM) de votre réseau, sans avoir à ouvrir des sessions screen/tmux peu reluisantes avec des outils d'analyse de trafic réseau directement sur les VM.
Patientons quelques minutes pour laisser le trafic circuler pendant la journalisation.
Avec un filtre Cloud Logging comme celui ci-dessous, nous afficherons quelques logs, à condition que les VPC Flow Logs soient bien activés :
logName="projects/PROJECT_NAME/logs/compute.googleapis.com%2Fvpc_flows"
Le résultat devrait ressembler à ceci :
Exemple de VPC Flow Logs
La méthode rapide via Spreadsheet
Plutôt que d'attendre une journée entière pour analyser tout cela via BigQuery ou un autre log sink, on peut tout simplement exporter un fichier spreadsheet/CSV. Pour certains réseaux, cette approche suffit à se faire une première idée de la situation.
Si vous souhaitez interroger les logs en SQL, je recommande de créer un sink et d'envoyer les logs vers un dataset BigQuery.
Maintenant que vous voyez les VPC Flow Logs dans Cloud Logging, exportons vers un Drive un fichier CSV contenant les 10 000 dernières entrées. Cela nous permettra de visualiser combien d'octets circulent et entre quels points.
Téléchargement des VPC Flow Logs
Sur cet export Google Spreadsheet, et après avoir créé le tableau croisé dynamique avec source/destination et bytes_sent, vous voudrez sans doute formater les octets dans une unité plus lisible avec le format ci-dessous :
[<1000000]0.00," KB";[<1000000000]0.00,," MB";0.00,,," GB"
Sélectionnez la colonne des octets, allez dans Format > Nombre > Formats supplémentaires > Format de nombre personnalisé, collez la formule ci-dessus et cliquez sur Appliquer.
Format de nombre personnalisé
Et voilà. C'est aussi simple que ça. Vous avez désormais un premier aperçu de l'activité de votre réseau. La colonne des sommes affiche les octets utilisés associés à chaque couple source~destination, facilement identifiables.
Tableau croisé dynamique sur Google Spreadsheets
La méthode BigQuery
Toujours pas de schéma clair ? Essayez une autre période, ou patientez une journée entière puis lancez quelques requêtes sur BigQuery. Si vous avez créé un sink vers BigQuery plus tôt, vous disposez maintenant d'un dataset BQ contenant un échantillon de logs et d'octets enregistrés par instance.
Voici un exemple de requête permettant d'identifier la somme des octets envoyés entre VM :
SELECT CONCAT(jsonPayload.src_instance.vm_name, " to ", jsonPayload.dest_instance.vm_name) AS vm_traffic,
sum(CAST (jsonPayload.bytes_sent AS INT64)) AS bytes_sent
FROM `PROJECT_NAME.DATASET_NAME.compute_googleapis_com_vpc_flows`
WHERE TIMESTAMP >= "2021-07-14 00:00:00 UTC"
GROUP BY vm_traffic
ORDER BY bytes_sent
Exemple bytes_sent dans BQ
Et maintenant ? Vous voyez ce qui trône en haut de la liste ? :)
L'apport du reporting DoiT
Google Spreadsheets et BigQuery sont d'excellents outils pour interroger ces données, mais si vous utilisez la plateforme de gestion cloud de DoiT International, vous disposez d'un accès encore plus direct, accompagné de visualisations claires.
- Connectez-vous au Navigator de DoiT.
- Dans Analytics, cliquez sur Reports puis sur Create new Report.
- Dans Metrics, conservez Cost (vous pouvez aussi choisir Usage pour visualiser l'usage).
- Groupez par Project/Account ID.
- Filtrez par SKU, recherchez et cochez Network Inter Zone Egress :
Filtrage par SKU dans DoiT Navigator
6. Cliquez sur Save et lancez le rapport :
Rapport Network Inter Zone Egress dans DoiT Navigator
Et voilà. Vous trouverez également d'autres options, comme la planification d'envois par e-mail, dans le menu de gauche.
PS : n'oubliez pas de désactiver vos VPC Flow Logs ensuite.
Pour rester connecté, suivez-nous sur le DoiT Engineering Blog, le DoiT Linkedin Channel et le DoiT Twitter Channel. Pour découvrir nos opportunités de carrière, rendez-vous sur https://careers.doit-intl.com.