Criar um ambiente integrado de operações do DBT e do Airflow gerenciado

Airflow gerenciado (Geração 3) | Airflow gerenciado (Geração 2) | Airflow gerenciado (Geração 1 legada)

Nesta página, descrevemos como usar o Terraform para criar um ambiente integrado de operações do DBT e do Airflow Gerenciado.

Sobre o módulo terraform-google-dbt-composer-blueprint

O módulo terraform-google-dbt-composer-blueprint usa o Terraform para fazer o seguinte:

  • Aplica as APIs e permissões necessárias no projeto.
  • Cria um bucket de documentação (para DBT).
  • Cria um ambiente de Airflow Gerenciado, incluindo configuração de rede e uma conta de serviço.
  • Copia utilitários de DAGs para o Airflow gerenciado.
  • Exporta registros de auditoria do projeto para um projeto do BigQuery, incluindo duas visualizações materializadas e uma visualização acima para oferecer suporte a painéis.

Além disso, o módulo fornece um exemplo completo de uso dos utilitários de DAG e criação de um job de exemplo da DBT no Airflow Gerenciado.

Código do módulo no GitHub

Para mais informações e exemplos de código, consulte a página do módulo terraform-google-dbt-composer-blueprint no GitHub.

A seguir