Récemment lancé par DoiT International, le BigQuery FinOps Dashboard est votre couteau suisse pour mettre en lumière les inefficacités de votre utilisation de Google BigQuery
Pour quoi payons-nous exactement ? Pouvons-nous optimiser nos coûts BigQuery ?
Voilà des questions que les responsables IT se posent fréquemment en examinant leurs factures mensuelles Google BigQuery — et à juste titre.
Google BigQuery est un puissant entrepôt de Big Data, essentiel aux opérations de nombreuses équipes. Il est donc crucial de savoir précisément comment il est utilisé. Sans une vigilance particulière sur l'usage des ressources, comme pour tout service public cloud, la facture peut vite s'envoler.
Deux facteurs principaux alimentent ce risque :
- Le comportement des analystes
- La nature de leurs datasets, tables et configuration utilisateur.
Pour endiguer les dépenses excessives sur BigQuery, les équipes combinent aujourd'hui la mise en place de garde-fous budgétaires à différents niveaux, l'adoption des bonnes pratiques BigQuery et le suivi de l'utilisation des ressources. Côté monitoring, les quatre approches les plus répandues sont :
- Explorer les BigQuery Audit Logs
- Interroger les logs exportés dans BigQuery
- Interroger INFORMATION_SCHEMA.JOBS_BY_* dans BigQuery
- Utiliser le BigQuery Dashboard dans la Cloud Monitoring Console
Cependant, obtenir des insights sur l'utilisation des ressources BigQuery prend beaucoup de temps : il faut développer ses propres requêtes et tout configurer soi-même (parfois jusqu'à un dashboard complet). Vous devez paramétrer les outils de monitoring au cordeau pour qu'ils donnent une lecture cohérente de votre usage de BQ. Et il est généralement difficile de faire respecter les bonnes pratiques BigQuery au sein de votre équipe, surtout lorsque vous ne savez pas exactement sur quoi elle devrait se concentrer ni où elle pourrait progresser.
BigQuery FinOps Dashboard
Réservé aux clients de DoiT International dans le cadre de notre Cloud Management Platform, le BigQuery FinOps Dashboard est le moyen le plus rapide d'éclairer les inefficacités de BigQuery.
Voici les fonctionnalités clés de cet outil :
- Zéro configuration — les informations essentielles vous parviennent sous une forme directement exploitable
- Passage d'une vue d'ensemble à une granularité au plus fin en quelques clics
- Des recommandations concrètes sur les comportements, les requêtes et le stockage, adaptées à la configuration de votre équipe.
BigQuery Explorer
Avec l'Explorer, vous analysez vos principaux projets, datasets, tables ou utilisateurs par scan ou stockage ($/To) :
BigQuery Explorer
… puis vous accédez à une vue plus fine en cliquant sur un projet, dataset, table ou utilisateur qui vous intéresse :
Vue détaillée de BigQuery Explorer
… et descendez encore plus dans le détail en cliquant sur un job ID :
Détails de la requête
Recommandations concrètes
Attention : la section qui suit risque de vous faire dire WOW !
Le BigQuery FinOps Dashboard vous fournit des recommandations concrètes pour réduire vos coûts BigQuery, fondées sur une analyse fine de votre utilisation. Pour chaque recommandation, nous indiquons une estimation des économies réalisables en l'appliquant.
Vue principale des recommandations BigQuery
Clusterisez et partitionnez vos tables
Tout utilisateur de BigQuery sait que le clustering et le partitionnement apportent d'importants gains de performance et de coût. Pour autant, identifier les champs sur lesquels clusteriser ou partitionner afin d'en tirer parti n'a rien d'évident, surtout lorsque plusieurs analystes lancent des tonnes de requêtes.
En un clic, vous obtenez une vue d'ensemble de vos tables avec des recommandations sur les champs à clusteriser ou partitionner. Si vous suivez nos suggestions et continuez à exécuter des requêtes similaires à celles déjà lancées, vous pouvez économiser jusqu'au montant indiqué dans la colonne Savings Potential.
Vue détaillée des recommandations Partitionnez vos tables et Clusterisez vos tables
Sauvegardez et supprimez les tables inutilisées
Pourquoi payer pour des tables que vous n'utilisez plus ? Identifiez celles que vous n'avez pas interrogées récemment, et le coût mensuel associé à leur conservation. Sauvegardez et supprimez, ou continuez à payer — le choix vous appartient.
Vue détaillée de Sauvegardez et supprimez les tables inutilisées
Limitez les jobs de requêtes
Vous exécutez peut-être plusieurs fois les mêmes requêtes, générant le même coût à chaque passage. Pensez à plafonner les jobs de requêtes et jouez avec le curseur pour visualiser vos économies potentielles.
Vue détaillée de Limitez les jobs de requêtes
Optimisation des requêtes avec superQuery
Si vous ne connaissez pas encore superQuery, vous devriez vraiment y jeter un œil ! superQuery est un puissant IDE serverless pour de nombreuses bases de données cloud comme Google BigQuery, AWS Athena, DynamoDB et bien d'autres. Son moteur d'optimisation de requêtes réduit les coûts et améliore l'efficacité. Le BigQuery FinOps Dashboard vous indique combien vous pourriez économiser en exécutant vos requêtes via superQuery.
Imposez l'utilisation des champs de partition
Recourir aux champs partitionnés dans vos requêtes peut en réduire le coût plusieurs fois. Nous vous fournissons une vue d'ensemble de vos principales requêtes qui n'exploitent pas les champs de partition disponibles.
Vue détaillée de Imposez l'utilisation des champs de partition
L'outil BigQuery FinOps évolue au rythme de BigQuery : les clients reçoivent des recommandations alignées sur les dernières technologies publiées par Google.
Et ensuite ?
Vous souhaitez repérer et optimiser les points faibles de votre utilisation de BigQuery ?
Cliquez ici pour planifier une démo avec DoiT International dès aujourd'hui et accéder au BigQuery FinOps Dashboard ainsi qu'à nos autres outils d'optimisation cloud.
Si vous êtes déjà client de DoiT International, bonne nouvelle : vous avez d'ores et déjà accès à votre BigQuery FinOps Dashboard depuis votre Cloud Management Platform.
Contactez votre Account Manager pour démarrer, ou suivez ces instructions pour le configurer et commencer à explorer !