Cloud Intelligence™
Modélisation de données dans Google BigQuery
Cette page est également disponible en English, Deutsch, Español, Italiano, 日本語 et Português.
About Eben Du Toit
I lead engineering teams in the Partner Channel space, building the tooling that helps customers make sense of their revenue — turning complex partner and billing data into something they can actually see, trust, and act on. The work sits at the intersection of cloud cost management, FinOps, and billing integrations, with data flowing across GCP, BigQuery, MongoDB Atlas, Snowflake, and the wider cloud ecosystem. It's technically meaty, and I love that about it.
My days are split between people and systems — growing and aligning multiple teams, helping the team navigate the environment, hiring, and partnering with stakeholders across the org. I shift between maker mode and manager mode depending on what's needed: sometimes I'm deep in the code building features, sometimes I'm in the room helping my teams move forward. I care a lot about building teams where good engineers can do their best work.
What I work on
Partner Channel engineering and revenue management tooling · Cloud cost management and FinOps · Billing data pipelines and integrations · Engineering leadership, hiring, and team process
Good topics to find me for
Anything Partner Channel, revenue, FinOps, or billing-related · Data engineering and pipeline architecture · Engineering management, hiring, or team culture
Outside work
When I'm not in a terminal, I'm usually behind a camera — shooting on a Nikon Z or whatever vintage film body I'm currently infatuated with. I follow mountain biking and trail running closely, have strong opinions about mechanical keyboards and good stationery, and watch more anime than I probably admit. I also play Rocket League with more optimism than results.
Cape Town · SAST (UTC+2)
My personal page
Par où commencer pour modéliser vos données dans Google BigQuery ? Cet article vous met sur les rails avec un repo simple et un exemple concret.
Photo de Steady Hand Co. sur Unsplash. Tracez votre chemin à travers des données brutes.
Aujourd'hui, des quantités de données mal dégrossies circulent un peu partout. Et bien souvent, des équipes excédées se demandent par où commencer pour y voir clair, et surtout comment les structurer afin qu'elles deviennent réellement utiles à l'entreprise.
Je vous propose ici un script et un repo simples pour pousser vos données nettoyées sous forme de Views vers Google BigQuery. Vous pouvez aussi vous appuyer sur le templating Jinja pour vous faciliter la tâche, et même prédéfinir certaines variables si vous le souhaitez.
PerfectScale™ for Kubernetes
Ready to optimize?
Get your free Kubernetes savings analysis
Comment ça marche ?
Dans un fichier nommé select_101.sql.j2, vous pouvez écrire cette requête :
SELECT {{aNumber}} as numLa référence de template aNumber est tirée d'un ensemble de variables prédéfinies dans un fichier de configuration configuration.json :
{ "aNumber": 101}Vous disposez également d'un fichier de schéma nommé select_101.json :
{ "metric": "First example", "metric_description": "Select only a constant number as output", "purpose" : "", "usage_example" : "", "usage_description" : "", "fields": [\```\\```\ {\```\\```\ "field": "num",\```\\```\ "description": "A small number",\```\\```\ "type": "INTEGER",\```\\```\ "typical_values": [ 4 ]\```\\```\ }\```\\```\ ]````}
Vous êtes prêt à déployer le tout dans Google BigQuery :
`-m` permet d'indiquer la métrique à déployer
`-v` indique que vous souhaitez déployer une view
`-d` prend votre dataset en entrée
`-p` prend votre projectId en entrée./compile.py -m select_101.sql.j2 -v -d -p
Et voici le résultat obtenu :
## Imbriquer des templates…
Vous pouvez aussi imbriquer un template dans un autre.
Dans un fichier nommé `select_101_include.sql.j2`, vous pouvez écrire cette requête :SELECT *
FROM (
{% include 'select_101/select_101.sql.j2' %}
)
La requête sera rendue et déployée comme suit :SELECT * FROM ( SELECT 101 as num )
Bonne modélisation !
Envie de lire d'autres articles ? Consultez notre [blog](https://doit.com/blog/), ou [suivez Eben sur Twitter](https://twitter.com/eebsidian).
Your cloud bill shouldn't be a mystery
Optimization, automation, expertise. In one platform.
