Configurar dbt con Cloud Composer

Este artículo es una guía paso a paso para configurar dbt en Google Cloud Composer.

1. Para empezar, vamos a crear una instancia de Cloud Composer con la siguiente configuración de entorno:

2. Instala dos paquetes de Python en Composer:

airflow-dbt (el operador y el hook de dbt)

dbt (paquete de Python de dbt)

3. Luego, configura la variable de entorno DBT_PROFILES_DIR apuntando al archivo de clave de la cuenta de servicio en "/home/airflow/gcs/data/profiles".

4. Después, crea una cuenta de servicio "dbt-big-query-user" con el rol "BigQuery User".

Supuesto: se transformará un dataset de BigQuery en otra tabla de BigQuery.

5. Arma los archivos de un workflow sencillo de dbt con los datos públicos de "Jaffle Shop":

6. Define el workflow con el operador de dbt (dbtflow.py).

7. Sube los archivos al bucket de Composer respetando esta jerarquía:

8. Lanza el DAG "dbt" en Composer.

9. Revisa los resultados de la ejecución del workflow de dbt en BigQuery.

Referencias

Descarga los archivos de ejemplo desde: https://bit.ly/3kJ4pWQ como composer-dbt.zip.

composer-dbt.zip \ \ bit.ly

airflow-dbt \ \ Colección de operadores de Airflow que facilita la integración con dbt. Instálalo desde PyPI: pip install…\ \ pypi.org

dbt CLI: Create a project | dbt - Documentation \ \ Ahora que ya ejecutamos correctamente nuestra consulta de ejemplo en BigQuery y elegimos cómo queremos desarrollar, podemos crear un…\ \ docs.getdbt.com

fishtown-analytics/jaffle_shop \ \ jaffle_shop es una tienda ecommerce ficticia. Este proyecto de dbt transforma los datos en bruto de la base de datos de una app en una tabla de clientes…\ \ github.com

Schedule dbt models with Apache Airflow | Analytics Mayhem \ \ Trabajar con dbt le simplifica mucho la vida a cualquier analista. Aporta una estructura que sin un…\ \ analyticsmayhem.com