Configurare dbt con Cloud Composer

Questo articolo è una guida passo passo per configurare dbt all'interno di Google Cloud Composer.

1. Per prima cosa, creiamo un'istanza di Cloud Composer con questa configurazione dell'ambiente:

2. Installiamo due pacchetti Python in Composer:

airflow-dbt (operator e hook di dbt)

dbt (pacchetto Python di dbt)

3. A questo punto, impostiamo la variabile d'ambiente DBT_PROFILES_DIR per il file della chiave del service account su "/home/airflow/gcs/data/profiles".

4. Creiamo poi un service account "dbt-big-query-user" con il ruolo "BigQuery User".

Ipotesi di partenza: trasformazione di un dataset BigQuery in un'altra tabella BigQuery

5. Costruiamo un semplice workflow dbt (i relativi file) usando i dati pubblici di "Jaffle Shop":

6. Definiamo il workflow con l'operator dbt (dbtflow.py)

7. Carichiamo i file nel bucket di Composer rispettando questa gerarchia:

8. Avviamo il DAG "dbt" in Composer

9. Controlliamo i risultati dell'esecuzione del workflow dbt in BigQuery.

Riferimenti

Puoi scaricare i file di esempio illustrati sopra da https://bit.ly/3kJ4pWQ nell'archivio composer-dbt.zip

composer-dbt.zip \ \ bit.ly

airflow-dbt \ \ This is a collection of Airflow operators to provide easy integration with dbt. Install from PyPI: pip install…\ \ pypi.org

dbt CLI: Create a project | dbt - Documentation \ \ Now that we've successfully run our sample query in BigQuery, and chosen the way we want to develop, we can create a…\ \ docs.getdbt.com

fishtown-analytics/jaffle_shop \ \ jaffle_shop is a fictional ecommerce store. This dbt project transforms raw data from an app database into a customers…\ \ github.com

Schedule dbt models with Apache Airflow | Analytics Mayhem \ \ Working with dbt certainly makes the life of an analyst much better. It brings a certain structure that without a…\ \ analyticsmayhem.com