Este artigo traz um guia passo a passo para configurar o dbt no Google Cloud Composer.
- Para começar, vamos criar uma instância do Cloud Composer com a seguinte configuração de ambiente:
2. Instale dois pacotes Python no Composer:
airflow-dbt (operador e hook do dbt)
dbt (pacote Python do dbt)
3. Em seguida, defina a variável de ambiente DBT_PROFILES_DIR apontando para o arquivo de chave da conta de serviço como "/home/airflow/gcs/data/profiles".
4. Depois, crie a conta de serviço "dbt-big-query-user" com a função "BigQuery User".
Premissa: transformar um dataset do BigQuery em outra tabela do BigQuery
5. Monte um workflow simples do dbt com os arquivos a partir dos dados públicos do "Jaffle Shop":
6. Defina o workflow usando o operador do dbt (dbtflow.py)
7. Faça o upload dos arquivos para o bucket do Composer seguindo a hierarquia abaixo:
8. Execute a DAG "dbt" no Composer
9. Confira no BigQuery os resultados da execução do workflow do dbt.
Referências
Baixe os arquivos de exemplo descritos acima em: https://bit.ly/3kJ4pWQ como composer-dbt.zip