Recopila la configuración de Managed Service para Apache Airflow

En esta página, se describe cómo recopilar la configuración de Managed Service para Apache Airflow para automatizar los datos dentro de Cortex Framework.

Si Managed Service para Apache Airflow está disponible, debes crear conexiones dentro de Managed Service para Apache Airflow que apunten al proyecto de origen en el que residen tus datos, con los siguientes nombres según la carga de trabajo que se implementará. Para obtener detalles sobre las cargas de trabajo, consulta Fuentes de datos y cargas de trabajo. Si creas tablas en la capa de informes, asegúrate de crear conexiones independientes para los DAG de informes.

Implementa la carga de trabajo	Crea contenido para datos sin procesar	Crea contenido para CDC	Crea contenido para informes
SAP	N/A	sap_cdc_bq	sap_reporting_bq
SFDC	sfdc_cdc_bq	sfdc_cdc_bq	sfdc_reporting_bq
Google Ads	googleads_raw_dataflow	googleads_cdc_bq	googleads_reporting_bq
CM360	cm360_raw_dataflow	cm360_cdc_bq	cm360_reporting_bq
Meta	meta_raw_dataflow	meta_cdc_bq	meta_reporting_bq
TikTok	tiktok_raw_dataflow	tiktok_cdc_bq	tiktok_reporting_bq
LiveRamp	N/A	liveramp_cdc_bq	N/A
SFMC	sfmc_raw_dataflow	sfmc_cdc_bq	sfmc_reporting_bq
DV360	N/A	dv360_cdc_bq	dv360_reporting_bq
GA4	N/A	N/A	ga4_reporting_bq
Oracle EBS	N/A	N/A	oracleebs_reporting_bq
Sustentabilidad	N/A	N/A	k9_reporting_bq
Dimensiones comunes	N/A	N/A	k9_reporting

Nota: No todas las fuentes de datos requieren conexiones individuales para su capa de datos sin procesar o CDC.

Convenciones de nombres de conexión

Ten en cuenta las siguientes especificaciones para las convenciones de nombres de conexión:

• Sufijos de conexión: Los nombres de conexión incluyen sufijos que indican su propósito:
  • _bq: Se usa para acceder a los datos de BigQuery.
  • _dataflow: Se usa para ejecutar trabajos de Dataflow.
• Conexiones de datos sin procesar: Solo necesitas crear conexiones para datos sin procesar si usas los módulos de transferencia de datos que proporciona Cortex.
• Varias fuentes de datos: Si implementas varias fuentes de datos (por ejemplo, SAP y Salesforce), te recomendamos que crees conexiones independientes para cada una, suponiendo que se apliquen limitaciones de seguridad a las cuentas de servicio individuales. Como alternativa, puedes modificar el nombre de la conexión en la plantilla antes de la implementación para usar la misma conexión para escribir en BigQuery.

Prácticas recomendadas de seguridad

• Evita las conexiones predeterminadas: No se recomienda usar las conexiones y las cuentas de servicio predeterminadas que ofrece Airflow, en especial en entornos de producción. Esto se alinea con el principio de privilegio mínimo, que enfatiza otorgar solo los permisos de acceso mínimos necesarios.
• Integración de Secret Manager: Si tienes habilitado Secret Manager para Airflow, puedes crear estas conexiones en Secret Manager con los mismos nombres. Las conexiones almacenadas en Secret Manager tienen prioridad sobre las definidas directamente en Airflow.