Como reunir configurações do Serviço gerenciado para Apache Airflow

Esta página descreve como reunir as configurações do Serviço Gerenciado para Apache Airflow para automatizar dados no Cortex Framework.

Se o Serviço gerenciado para Apache Airflow estiver disponível, será necessário criar conexões nele que apontem para o projeto de origem em que os dados residem, com os seguintes nomes com base na carga de trabalho para implantação. Para mais detalhes sobre cargas de trabalho, consulte Fontes de dados e cargas de trabalho. Se você estiver criando tabelas na camada de relatórios, crie conexões separadas para DAGs de relatórios.

Como implantar a carga de trabalho	Criar para dados brutos	Criar para CDC	Criar para relatórios
SAP	N/A	sap_cdc_bq	sap_reporting_bq
SFDC	sfdc_cdc_bq	sfdc_cdc_bq	sfdc_reporting_bq
Google Ads	googleads_raw_dataflow	googleads_cdc_bq	googleads_reporting_bq
CM360	cm360_raw_dataflow	cm360_cdc_bq	cm360_reporting_bq
Meta	meta_raw_dataflow	meta_cdc_bq	meta_reporting_bq
TikTok	tiktok_raw_dataflow	tiktok_cdc_bq	tiktok_reporting_bq
LiveRamp	N/A	liveramp_cdc_bq	N/A
SFMC	sfmc_raw_dataflow	sfmc_cdc_bq	sfmc_reporting_bq
DV360	N/A	dv360_cdc_bq	dv360_reporting_bq
GA4	N/A	N/A	ga4_reporting_bq
Oracle EBS	N/A	N/A	oracleebs_reporting_bq
Sustentabilidade	N/A	N/A	k9_reporting_bq
Dimensões comuns	N/A	N/A	k9_reporting

**Observação** :nem todas as fontes de dados exigem conexões individuais para a camada bruta ou de CDC.

Convenções de nomenclatura de conexão

Considere as seguintes especificações para convenções de nomenclatura de conexão:

• Sufixos de conexão: os nomes de conexão incluem sufixos que indicam a finalidade pretendida:
  • _bq: usado para acessar dados do BigQuery.
  • _dataflow: usado para executar jobs do Dataflow.
• Conexões de dados brutos: só é necessário criar conexões para dados brutos se você estiver usando os módulos de ingestão de dados fornecidos pelo Cortex.
• Várias fontes de dados: se você estiver implantando várias fontes de dados (por exemplo, SAP e Salesforce), é recomendável criar conexões separadas para cada uma delas, supondo que as limitações de segurança sejam aplicadas a contas de serviço individuais. Como alternativa, você pode modificar o nome da conexão no modelo antes da implantação para usar a mesma conexão para gravar no BigQuery.

Práticas recomendadas de segurança

• Evite conexões padrão: não é recomendável usar as conexões e contas de serviço padrão oferecidas pelo Airflow, principalmente em ambientes de produção. Isso está alinhado ao princípio de privilégio mínimo, que enfatiza a concessão apenas das permissões de acesso mínimas necessárias.
• Integração do Secret Manager: se você tiver o Secret Manager ativado para o Airflow, poderá criar essas conexões no Secret Manager usando os mesmos nomes. As conexões armazenadas no Secret Manager têm precedência sobre as definidas diretamente no Airflow.