Sua organização precisa exportar os logs do Google Workspace para o BigQuery e ganhar retenção maior, além de visualizações sob medida com os dados que mais importam. Veja por quê.
Um recurso pouco explorado da plataforma Google Workspace Enterprise Collaboration and Productivity é a possibilidade de salvar eventos registrados e relatórios de uso por um período de retenção personalizado. Isso é feito pelo recurso das edições Enterprise e Education Set up service log exports to BigQuery.
Por padrão, o Google Workspace mantém logs de acesso e relatórios por apenas 6 meses na maioria dos tipos de dados registrados e exclui os logs mais antigos, sem dar aos administradores qualquer opção de mudar esse comportamento. Uma atualização recente do Google Workspace no recurso de exportação de logs passou a permitir exportações em tempo quase real, agilizando o processamento e a consulta de eventos recentes.
O mesmo tipo de exportação pode ser configurado para a Email Log Search Tool do Google Workspace. Quem já investigou atividades de e-mail talvez saiba que esses metadados não são pesquisáveis no console nativo quando têm mais de 30 dias, a não ser que você use destinatário e ID da mensagem juntos como parâmetros de busca. Isso dificulta qualquer investigação de atividades passadas. A plataforma Google Vault eDiscovery and Retention pode ajudar nesse cenário, desde que esteja configurada para reter os dados corretamente. Vale lembrar que a Email Log Search Tool não inclui o conteúdo das mensagens, apenas metadados como data/hora, remetente/destinatário e regras do Gmail correspondidas.
Entre os ganhos imediatos desses recursos estão atender a leis e regulamentações que se aplicam à organização e apoiar investigações em caso de incidentes cibernéticos. Depois que os logs são ingeridos no BigQuery, os administradores no Google Cloud Console podem definir tempos de expiração padrão para os dados. É recomendável ajustar essa expiração, já que o padrão é de apenas 60 dias antes da exclusão pelo Google Cloud. Todos os logs ficam pesquisáveis por consultas SQL após a ingestão no BigQuery, e o Google disponibiliza vários exemplos de consultas para cada tipo de dado registrado disponível atualmente.
Além de investigações e retenção mais longa, esse tipo de dado pode virar matéria-prima para novos projetos: dashboards, relatórios detalhados, análises de uso e muito mais. Ferramentas como Data Studio e Looker, do Google, ajudam a visualizar e explorar essas informações. Esse recurso é especialmente valioso para organizações que talvez não usem as edições Google Workspace Enterprise, que oferecem gráficos prontos em ferramentas como o Work Insights e o Security Dashboard.
Aproveitando os dados de log no BigQuery e visualizando-os no Data Studio ou Looker
Veja abaixo uma amostra do BigQuery com dados de log do Google Workspace Calendar exportados a partir do processo definido no recurso das edições Enterprise e Education Set up service log exports to BigQuery.
O BigQuery é o data warehouse serverless, totalmente gerenciado e altamente escalável do Google, criado para permitir análises eficazes sobre seus dados, com o benefício extra de combinar o poder do GCP, do Looker e do AutoML do BigQuery para análises ainda mais profundas, como descrito na documentação.
Depois que os dados de log do Workspace forem exportados para o BigQuery pelo processo descrito acima, vale considerar as boas práticas do BigQuery para obter os melhores resultados e a maior eficiência nas suas consultas, além de otimizar custos.
A seguir, alguns exemplos de insights mais relevantes extraídos dos dados registrados, usando Data Studio ou Looker, conforme as amostras de dashboards apresentadas abaixo.
Visualizando dados de log no Data Studio
O Data Studio é uma ferramenta do Google que permite criar visualizações a partir de diversas fontes de dados (incluindo o BigQuery). O exemplo acima mostra os tipos de visualizações que dá para construir com os dados do Workspace exportados para o BigQuery.
O próprio Data Studio conecta-se a vários tipos de fonte de dados, incluindo bancos como BigQuery e CloudSQL, produtos de marketing do Google como Google Ads e Google Analytics, arquivos planos e outros recursos do Google, como o Google Sheets.
Tudo isso faz do Data Studio uma ferramenta simples e fácil de usar, capaz de gerar rapidamente visualizações reveladoras a partir dos seus dados do Workspace e ainda permitir a colaboração com o time, compartilhando seus dashboards do Data Studio com colegas de toda a organização.
Aqui você encontra um guia para criar os dashboards do Data Studio mostrados acima e replicar esse processo.
Visualizando dados de log no Looker
O Looker é uma plataforma robusta de business intelligence e análise de big data que você pode usar com seus dados do BigQuery para entregar insights de qualidade ao negócio.
O exemplo acima pega parte dos dados de amostra exportados do Workspace para o BigQuery e os transforma em dashboards semelhantes ao exemplo do Data Studio mostrado antes.
O diferencial do Looker está em usar técnicas de Machine Learning (ML) para extrair ainda mais insights dos seus dados. No caso dos dados do Workspace Calendar, por exemplo, os recursos de ML podem sugerir futuros eventos de calendário.
Os usuários do Looker também podem detalhar qualquer visualização e examiná-la no BigQuery, ou usar as consultas SQL geradas pelo Looker para uma análise mais refinada, aproveitando toda a potência serverless do data warehouse. Como usuário do Looker, você ainda aplica diversas técnicas de formatação condicional nos dashboards para exibir cada elemento dos dados em formatos diferentes, conforme o caso de uso.
Um recurso útil no contexto dos logs do Google Workspace é programar a entrega dos seus dashboards pelo Looker Scheduler. Também dá para configurar alertas nos dashboards para quando determinadas métricas forem atingidas.
Para finalizar
Se a sua organização ainda não exporta os logs do Google Workspace para o BigQuery para ampliar a retenção e criar visualizações sob medida com os dados que mais importam, vamos conversar e explorar como insights orientados por dados podem melhorar segurança, conformidade e produtividade nas ferramentas Google que você usa no dia a dia.
A DoiT International oferece consultoria especializada com suporte ilimitado e de classe mundial para clientes de todos os portes em Google Workspace e Google Cloud Platform, e foi recentemente reconhecida como 2021 Google Cloud Sales Partner of the Year.
Agradecimentos a Matt Richardson, cujas contribuições tornaram este post possível