Criar um ambiente integrado de operações do DBT e do Airflow gerenciado

Airflow gerenciado (Geração 3) | Airflow gerenciado (Geração 2) | Airflow gerenciado (Geração 1 legada)

Nesta página, descrevemos como usar o Terraform para criar um ambiente de operações integrado do DBT e do Airflow gerenciado.

Sobre o módulo terraform-google-dbt-composer-blueprint`

O terraform-google-dbt-composer-blueprintmódulo usa o Terraform para fazer o seguinte:

  • Aplica as APIs e permissões necessárias no projeto.
  • Cria um bucket de documentação (para DBT).
  • Cria um ambiente do Airflow gerenciado, incluindo a configuração de rede e uma conta de serviço.
  • Copia os utilitários de DAG para o Airflow gerenciado.
  • Exporta registros de auditoria do projeto para um projeto do BigQuery, incluindo duas visualizações materializadas e uma visualização para oferecer suporte a painéis.

Além disso, o módulo oferece um exemplo completo de como usar os utilitários de DAG e criar um job de exemplo do DBT no Airflow gerenciado.

Código do módulo no GitHub

Para mais informações e exemplos de código, consulte a página do módulo terraform-google-dbt-composer-blueprint no GitHub.

A seguir