Le réseau de Google
Comme la plupart des fournisseurs de cloud public, Google Cloud applique un modèle tarifaire réseau qui ne facture pas le trafic entrant, mais facture le trafic sortant vers d'autres zones, régions et vers internet.
Suivre à grande échelle le volume de trafic sortant vers d'autres zones, régions ou vers internet n'est pas une mince affaire. Pour éviter toute mauvaise surprise sur la facture cloud, nous vous recommandons d'adopter une nouvelle fonctionnalité (encore en bêta) baptisée VPC Flow Logs.
Les VPC Flow Logs enregistrent le trafic réseau envoyé depuis ou vers vos instances. Ces logs servent à la supervision réseau, à l'analyse forensique, à l'analyse de sécurité en temps réel et à l'optimisation des coûts cloud.
Vous pouvez consulter les VPC Flow Logs dans Stackdriver Logging et, comme pour tous les logs sur Google Cloud, les exporter automatiquement vers les destinations prises en charge : Cloud Pub/Sub, BigQuery ou Cloud Storage.
Les VPC Flow Logs sont agrégés par connexion, à intervalles de 5 secondes, et exportés en quasi temps réel. Ils s'activent sous-réseau par sous-réseau, sans aucun impact sur les performances du réseau :
gcloud beta compute networks subnets update [subnet-name] \ --no-enable-flow-logsPassons maintenant à la création d'un export des logs. Rendez-vous sur https://console.cloud.google.com/logs/viewer, sélectionnez le filtre avancé puis collez :
resource.type="gce_subnetwork"logName="projects/{#project_id}/logs/compute.googleapis.com%2Fvpc_flows"Configurez ensuite un export vers Google BigQuery :
Tous les logs sont désormais diffusés en streaming dans une table BigQuery, prêts à être visualisés. Pour cela, nous avons retenu Redash comme outil de visualisation. Redash est un outil open source qui permet d'interroger des bases de données, de visualiser les résultats et de créer des dashboards. Il prend en charge de nombreuses sources de données, dont BigQuery.
La table produite par l'export possède un schéma simple et explicite. Voici la requête utilisée pour extraire les données et suivre le trafic egress :
Avec Redash, construire des visualisations de notre trafic egress vers internet a été un jeu d'enfant :
trafic egress vers internet
Trafic egress entre régions :
trafic egress entre régions
Enfin, le trafic egress entre zones :
trafic egress entre zones
Nous pouvons désormais surveiller notre trafic egress et même déclencher des alertes dès qu'il dépasse un seuil défini.
Envie d'en lire plus ? Consultez notre blog, ou suivez Aviv sur Twitter.