Cet article propose un guide pas à pas pour configurer dbt dans Google Cloud Composer.
- Pour commencer, créons une instance Cloud Composer avec la configuration d'environnement suivante :
2. Installez deux packages Python dans Composer :
airflow-dbt (l'opérateur dbt et le hook dbt)
dbt (le package Python dbt)
3. Configurez ensuite une variable d'environnement DBT_PROFILES_DIR pointant vers le fichier de clé du compte de service, avec la valeur /home/airflow/gcs/data/profiles.
4. Créez ensuite un compte de service dbt-big-query-user avec le rôle BigQuery User.
Hypothèse : transformation d'un dataset BigQuery vers une autre table BigQuery.
5. Créez un workflow dbt simple à partir de fichiers, en vous appuyant sur les données publiques Jaffle Shop :
6. Définissez le workflow avec l'opérateur dbt (dbtflow.py).
7. Importez les fichiers dans le bucket Composer en respectant la hiérarchie suivante :
8. Déclenchez le DAG dbt dans Composer.
9. Consultez les résultats d'exécution du workflow dbt dans BigQuery.
Références
Téléchargez les fichiers d'exemple décrits ci-dessus depuis : https://bit.ly/3kJ4pWQ sous le nom composer-dbt.zip