Configurez un dashboard Data Studio pour exploiter des données précieuses sur vos workloads BI Engine.
Découvrez pas à pas le dashboard Data Studio conçu par DoiT pour suivre vos workloads BI Engine
Suivre vos workloads BI Engine n'a rien d'évident.
Google BI Engine est désormais disponible en accès général et déjà adopté par de nombreux clients DoiT. Ces derniers l'utilisent avec Looker, mais aussi avec d'autres outils de BI tels que Tableau. Chez DoiT, nous nous appuyons sur BI Engine au sein de notre plateforme Advanced Cloud Cost Analytics pour servir à nos clients des requêtes en moins d'une seconde.
Côté supervision des workloads BI Engine, en revanche, il reste du chemin à parcourir.
Dans le Cloud Monitoring Metric Explorer, vous pouvez consulter le taux d'utilisation de la réservation BI Engine ainsi que sa taille totale.
Mais cela ne dit rien du nombre de requêtes accélérées par BI Engine ni, plus important encore, des raisons pour lesquelles certaines ne le sont pas du tout. Aucun dashboard, ni dans BI Engine ni dans la Cloud Console, ne propose non plus de statistiques sur ce qui a fonctionné et ce qui a échoué.
À ce jour, ces informations ne peuvent être obtenues qu'en interrogeant l'Information Schema de BigQuery, plus précisément la table JOBS_BY_PROJECT, ou via la ligne de commande (bq show --format=prettyjson -j job_id).
Encore faut-il bien comprendre les données et le fonctionnement interne de BI Engine pour en tirer des analyses utiles.
C'est pourquoi nous avons conçu un dashboard Data Studio simple à prendre en main pour suivre vos workloads BI Engine.
La requête utilisée dans ce dashboard est disponible ici.
Pour commencer
Prérequis
Pour créer le dashboard et interroger les tables INFORMATION_SCHEMA, l'utilisateur doit disposer d'un accès à la table INFORMATION_SCHEMA suivante :
- INFORMATION_SCHEMA.JOBS_BY_PROJECT
Source de données
1.1 Copiez cette source de données
Connectez-vous à Data Studio et créez une copie de la source de données suivante. Plus d'informations sur la copie des sources de données ici. https://datastudio.google.com/datasources/d42dfc2c-71d4-46a3-ba38-bdd080e9472f
1.2 Sélectionnez le bon projet de facturation GCP
Indiquez le projet dans lequel vous avez créé la réservation BI Engine.
1.3 Modifiez les sources de données :
Nous avons utilisé region-eu dans notre exemple, mais libre à vous d'opter pour la région de votre choix (celle où votre capacité BI Engine est réservée). Utilisez le format suivant pour préciser la régionalité du project-id, de la région et des vues dans la vue INFORMATION_SCHEMA :
`PROJECT_ID`.`region-REGION_NAME`.INFORMATION_SCHEMA.VIEW
Dashboard
2.1 Copiez le dashboard
Créez une copie du dashboard public. Vous serez invité à sélectionner une nouvelle source de données : choisissez celle que vous avez copiée à l'étape 1. Cliquez sur Créer le rapport et renommez-le à votre convenance.
2.2 Modifiez le dashboard
Une fois le rapport copié et l'ensemble des données affichées, ajustez les sélecteurs de date dans les pages du rapport pour couvrir la période voulue (7 derniers jours, 14 derniers jours, 28 derniers jours, etc.).
Vous voilà prêt à exploiter pleinement vos workloads BI Engine.