Votre organisation a tout intérêt à exporter ses logs Google Workspace vers BigQuery pour allonger leur durée de rétention et bâtir des visualisations sur mesure à partir des données qui comptent vraiment. Voici pourquoi.
Une fonctionnalité souvent méconnue de la plateforme de collaboration et de productivité Google Workspace Enterprise est la possibilité de conserver les événements journalisés et les rapports d'utilisation sur une durée de rétention personnalisée. Cela passe par la fonctionnalité Enterprise et Education Set up service log exports to BigQuery.
Par défaut, Google Workspace ne conserve les logs d'accès et les rapports que pendant 6 mois pour la plupart des données journalisées, puis purge les logs plus anciens, sans que les administrateurs puissent modifier ce comportement. Une mise à jour récente de Google Workspace permet désormais l'export quasi en temps réel des données journalisées, ce qui accélère le traitement et la consultation des événements récents.
Le même type d'export peut être configuré pour l'outil Email Log Search de Google Workspace. Tout administrateur ayant déjà mené une investigation sur l'activité email sait que ces métadonnées ne sont pas consultables dans la console native au-delà de 30 jours, à moins de renseigner à la fois un destinataire et un message ID parmi les paramètres de recherche. Cela complique fortement toute investigation sur l'activité passée. La plateforme Google Vault eDiscovery and Retention peut s'avérer utile à cet égard, à condition d'être correctement configurée pour conserver les données. À noter : l'outil Email Log Search n'inclut pas le contenu des messages, uniquement des métadonnées telles que la date et l'heure, l'expéditeur, le destinataire et les règles Gmail correspondantes.
Parmi les bénéfices immédiats de ces fonctionnalités figurent la conformité aux lois et réglementations applicables aux organisations, ainsi que l'utilité lors d'investigations en cas d'incident cyber. Une fois les logs ingérés dans BigQuery, les administrateurs peuvent définir, depuis la Google Cloud Console, des durées d'expiration par défaut pour les données. Mieux vaut modifier cette valeur, car la rétention par défaut n'est que de 60 jours avant suppression depuis Google Cloud. Une fois ingérés dans BigQuery, tous les logs deviennent interrogeables via des requêtes SQL, et Google fournit plusieurs exemples de requêtes pour chaque type de données journalisées disponible à ce jour.
Au-delà des investigations et de l'allongement de la rétention, ces données peuvent alimenter de nouveaux projets : dashboards, rapports détaillés, analytics d'utilisation et bien plus. Des outils comme Google Data Studio et Looker permettent de les visualiser et de les explorer. Cette capacité de visualisation est particulièrement précieuse pour les organisations qui ne disposent pas des éditions Google Workspace Enterprise, lesquelles offrent des graphiques préconçus dans des outils comme Work Insights et le Security Dashboard.
Exploiter les données de logging dans BigQuery et les visualiser dans Data Studio ou Looker
Voici un échantillon, dans BigQuery, de données de logging Google Workspace Calendar exportées en suivant la procédure décrite dans la fonctionnalité Enterprise et Education Set up service log exports to BigQuery.
BigQuery est l'entrepôt de données serverless de Google, entièrement managé et hautement scalable, conçu pour mener des analyses efficaces sur vos données, avec en prime la possibilité de tirer parti de la puissance de GCP, de Looker et de l'AutoML de BigQuery pour pousser l'analyse encore plus loin, comme l'explique sa documentation.
Une fois les données de logging Workspace exportées dans BigQuery via la procédure ci-dessus, il est recommandé de s'appuyer sur les bonnes pratiques BigQuery pour obtenir les meilleurs résultats et la meilleure efficacité sur vos requêtes, tout en optimisant vos coûts dans BigQuery.
Voici quelques exemples d'insights plus parlants tirés des données journalisées, à l'aide de Data Studio ou de Looker, comme l'illustrent les dashboards ci-dessous.
Visualiser les données de logging dans Data Studio
Data Studio est un outil Google qui permet de créer des visualisations à partir de sources de données variées (dont BigQuery). L'exemple ci-dessus donne un aperçu des visualisations réalisables à partir de données Workspace exportées dans BigQuery.
Data Studio peut se connecter à de nombreux types de sources : bases de données comme BigQuery et CloudSQL, produits Google Marketing tels que Google Ads et Google Analytics, fichiers plats ou autres ressources Google comme Google Sheets.
Data Studio s'impose ainsi comme un outil simple et accessible, capable de produire rapidement des visualisations pertinentes à partir de vos données Workspace, tout en facilitant la collaboration au sein de votre équipe grâce au partage des dashboards Data Studio avec vos collègues, à l'échelle de l'organisation.
Voici un guide pour créer les dashboards Data Studio ci-dessus et reproduire la démarche.
Visualiser les données de logging dans Looker
Looker est une plateforme performante de business intelligence et d'analytics big data, qui s'utilise avec vos données BigQuery pour fournir des insights de qualité à votre entreprise.
L'exemple ci-dessus reprend une partie des données Workspace exportées dans BigQuery et les transforme en dashboards comparables à l'exemple Data Studio présenté plus haut.
L'atout de Looker réside dans sa capacité à exploiter des techniques de Machine Learning (ML) pour tirer encore plus d'insights de vos données. Dans le cas de nos données Workspace Calendar, par exemple, les fonctionnalités ML peuvent suggérer de futurs événements de calendrier.
Les utilisateurs de Looker peuvent également explorer en détail n'importe quelle visualisation et l'examiner dans BigQuery, ou réutiliser les requêtes SQL générées par Looker pour affiner leur analyse en exploitant toute la puissance serverless de l'entrepôt de données. En tant qu'utilisateur Looker, vous pouvez aussi appliquer différentes mises en forme conditionnelles sur vos dashboards pour afficher chaque élément de vos données selon le format adapté à votre cas d'usage.
Autre fonctionnalité utile dans le cadre des données de logging Google Workspace : la possibilité de planifier la diffusion de vos dashboards grâce au Looker Scheduler. Vous pouvez également y ajouter des alertes lorsque vous attendez certains seuils sur des métriques précises.
Pour conclure
Si votre organisation n'exporte pas encore ses logs Google Workspace vers BigQuery pour allonger leur rétention et bâtir des visualisations sur mesure à partir des données les plus stratégiques, échangeons ensemble pour voir comment des insights data-driven peuvent renforcer votre sécurité, votre conformité et votre productivité sur l'ensemble des outils Google que vous utilisez.
DoiT International propose un conseil d'expert associé à un support illimité de classe mondiale auprès de clients de toutes tailles sur Google Workspace et Google Cloud Platform, et a récemment été distinguée 2021 Google Cloud Sales Partner of the Year.
Merci à Matt Richardson, dont la contribution a rendu cet article possible