dbt mit Cloud Composer einrichten

Diese Anleitung zeigt Schritt für Schritt, wie Sie dbt in Google Cloud Composer einrichten.

1. Legen Sie zunächst eine Cloud Composer-Instanz mit folgender Umgebungskonfiguration an:

2. Installieren Sie zwei Python-Pakete in Composer:

airflow-dbt (dbt-Operator und dbt-Hook)

dbt (dbt-Python-Paket)

3. Hinterlegen Sie anschließend die Umgebungsvariable DBT_PROFILES_DIR für die Schlüsseldatei des Service Accounts mit dem Wert "/home/airflow/gcs/data/profiles".

4. Legen Sie danach einen Service Account "dbt-big-query-user" mit der Rolle "BigQuery User" an.

Annahme: Ein BigQuery-Dataset wird in eine andere BigQuery-Tabelle transformiert.

5. Erstellen Sie die Dateien für einen einfachen dbt-Workflow auf Basis der öffentlichen Daten von "Jaffle Shop":

6. Definieren Sie den Workflow mit dem dbt-Operator (dbtflow.py).

7. Laden Sie die Dateien in folgender Struktur in den Composer-Bucket hoch:

8. Starten Sie den "dbt"-DAG in Composer.

9. Prüfen Sie das Ergebnis des dbt-Workflows in BigQuery.

Quellen

Die oben beschriebenen Beispieldateien finden Sie unter https://bit.ly/3kJ4pWQ als composer-dbt.zip.

composer-dbt.zip \ \ bit.ly

airflow-dbt \ \ Eine Sammlung von Airflow-Operatoren für die einfache Integration mit dbt. Installation über PyPI: pip install…\ \ pypi.org

dbt CLI: Create a project | dbt - Documentation \ \ Nachdem wir unsere Beispielabfrage in BigQuery erfolgreich ausgeführt und uns für einen Entwicklungsweg entschieden haben, können wir ein…\ \ docs.getdbt.com

fishtown-analytics/jaffle_shop \ \ jaffle_shop ist ein fiktiver E-Commerce-Shop. Dieses dbt-Projekt transformiert Rohdaten aus einer App-Datenbank in eine Kunden-…\ \ github.com

Schedule dbt models with Apache Airflow | Analytics Mayhem \ \ Die Arbeit mit dbt erleichtert Analysten den Alltag spürbar. dbt bringt eine Struktur mit, die ohne…\ \ analyticsmayhem.com