本記事では、Google Cloud Composer上でdbtをセットアップする手順を順を追って解説します。
- はじめに、以下の環境構成でCloud Composerインスタンスを作成します。
2. Composerに以下2つのPythonパッケージをインストールします。
airflow-dbt(dbt operatorおよびdbt hook)
dbt(dbtのPythonパッケージ)
3. 次に、サービスアカウントキーファイル用の環境変数 DBT_PROFILES_DIR に 「/home/airflow/gcs/data/profiles」 を設定します。
4. 続いて、「BigQuery User」ロールを付与したサービスアカウント「dbt-big-query-user」を作成します。
前提:BigQueryのデータセットを別のBigQueryテーブルへ変換するケースを想定します。
5. 「Jaffle Shop」の公開データを使って、シンプルなdbtワークフローファイルを作成します。
6. dbt operatorでワークフローを定義します(dbtflow.py)。
7. 以下の階層でファイルをComposerバケットへアップロードします。
8. Composer上で「dbt」DAGを実行します。
9. BigQueryでdbtワークフローの実行結果を確認します。
参考リンク
上記で紹介したサンプルファイルは、https://bit.ly/3kJ4pWQ から composer-dbt.zip としてダウンロードできます。