Já se perguntou de onde vêm aqueles custos de Inter-Zone Egress? Já se pegou abrindo a página de preços de rede do GCP várias vezes para tentar destrinchar isso? Eu também. Então resolvi tentar ajudar a esclarecer o assunto.
Primeiro, os Flow Logs
Vamos começar habilitando os VPC Flow Logs no seu projeto. Esse é o jeito mais rápido e fácil de enxergar os bytes trafegando entre as Máquinas Virtuais (VMs) da sua rede, sem precisar manter sessões 'sujas' de screen/tmux com ferramentas analisando o tráfego dentro das VMs.
Vamos esperar alguns minutinhos para o tráfego rolar enquanto registramos tudo.
Com um filtro no Cloud Logging como o de baixo, já dá para ver alguns logs, supondo que os VPC Flow Logs estejam habilitados:
logName="projects/PROJECT_NAME/logs/compute.googleapis.com%2Fvpc_flows"
Deve aparecer algo parecido com isto:
Exemplo de VPC Flow Logs
O caminho rápido pela planilha
Em vez de esperar um dia inteiro para analisar tudo no BigQuery ou em outro log sink, dá para simplesmente exportar uma planilha/arquivo CSV. Para algumas redes, esse pode ser um bom caminho para ter uma ideia inicial do que está acontecendo.
Se você quiser consultar os logs com SQL, recomendo criar um sink e enviar os logs para um dataset do BigQuery.
Agora que você já consegue ver os VPC flow logs no Cloud Logging, vamos exportar um arquivo CSV para o Drive com as últimas 10.000 entradas. Isso ajuda a ver, na prática, quantos bytes estão trafegando e para onde.
Baixando os VPC Flow Logs
Depois de exportar para o Google Spreadsheets e montar a tabela dinâmica com origem/destino e bytes_sent, vale formatar os bytes em algo mais legível, usando este formato:
[<1000000]0.00," KB";[<1000000000]0.00,," MB";0.00,,," GB"
Selecione a coluna de bytes, vá em Formatar > Número > Mais formatos > Formato de número personalizado, cole o valor acima e clique em Aplicar.
Formato de número personalizado
Pronto. Simples assim. Você já tem uma visão inicial da atividade da sua rede. A coluna de soma mostra os bytes utilizados em cada par origem~destino, fáceis de identificar.
Tabela dinâmica no Google Spreadsheets
O caminho pelo BigQuery
Ainda não enxerga um padrão? Tente outro período, ou espere um dia inteiro e rode algumas queries no BigQuery. Se você já criou um sink para o BigQuery, agora tem um dataset no BQ com uma amostra de logs e bytes registrados por instância.
Um exemplo de query que identifica a soma de bytes enviados entre VMs seria assim:
SELECT CONCAT(jsonPayload.src_instance.vm_name, " to ", jsonPayload.dest_instance.vm_name) AS vm_traffic,
sum(CAST (jsonPayload.bytes_sent AS INT64)) AS bytes_sent
FROM `PROJECT_NAME.DATASET_NAME.compute_googleapis_com_vpc_flows`
WHERE TIMESTAMP >= "2021-07-14 00:00:00 UTC"
GROUP BY vm_traffic
ORDER BY bytes_sent
Exemplo de bytes_sent no BQ
E agora? Já dá para ver o que está no topo da lista? :)
Como o Reporting da DoiT ajuda
Google Spreadsheets e BigQuery são ótimas ferramentas para consultar esses dados, mas se você usa a plataforma de gestão de nuvem da DoiT International, tem um caminho ainda mais fácil, com visualizações claras.
- Acesse o Navigator da DoiT.
- Em Analytics, clique em Reports e depois em Create new Report.
- Em Metrics, mantenha 'Cost' (você também pode definir como Usage se quiser ver o uso).
- Agrupe por 'Project/Account ID'.
- Filtre por SKU, encontre e marque 'Network Inter Zone Egress':
Filtragem por SKU no DoiT Navigator
6. Clique em Save e rode o relatório:
Relatório de Network Inter Zone Egress no DoiT Navigator
Pronto. No menu à esquerda você ainda encontra outras opções, como agendamento por e-mail e muito mais.
ps. Não esqueça de desligar seus VPC Flow logs.
Para ficar por dentro, acompanhe a gente no DoiT Engineering Blog , no LinkedIn da DoiT e no Twitter da DoiT . Para conhecer oportunidades de carreira, acesse https://careers.doit-intl.com .