Collecter les paramètres Managed Service pour Apache Airflow

Cette page explique comment collecter les paramètres Managed Service pour Apache Airflow afin d'automatiser les données dans Cortex Framework.

Si Managed Service pour Apache Airflow est disponible, vous devez créer des connexions dans Managed Service pour Apache Airflow qui pointent vers le projet source où se trouvent vos données, avec les noms suivants en fonction de la charge de travail à déployer. Pour en savoir plus sur les charges de travail, consultez Sources de données et charges de travail. Si vous créez des tables dans le calque de création de rapports, veillez à créer des connexions distinctes pour les DAG de création de rapports.

Déployer une charge de travail	Créer pour Raw	Créer pour les CDC	Créer pour les rapports
SAP	ND	sap_cdc_bq	sap_reporting_bq
SFDC	sfdc_cdc_bq	sfdc_cdc_bq	sfdc_reporting_bq
Google Ads	googleads_raw_dataflow	googleads_cdc_bq	googleads_reporting_bq
CM360	cm360_raw_dataflow	cm360_cdc_bq	cm360_reporting_bq
Meta	meta_raw_dataflow	meta_cdc_bq	meta_reporting_bq
TikTok	tiktok_raw_dataflow	tiktok_cdc_bq	tiktok_reporting_bq
LiveRamp	ND	liveramp_cdc_bq	ND
SFMC	sfmc_raw_dataflow	sfmc_cdc_bq	sfmc_reporting_bq
DV360	ND	dv360_cdc_bq	dv360_reporting_bq
GA4	ND	ND	ga4_reporting_bq
Oracle EBS	ND	ND	oracleebs_reporting_bq
Développement durable	ND	ND	k9_reporting_bq
Dimensions courantes	ND	ND	k9_reporting

Remarque : Toutes les sources de données ne nécessitent pas de connexions individuelles pour leur couche brute ou CDC.

Conventions de nommage des connexions

Tenez compte des spécifications suivantes pour les conventions d'attribution de noms aux connexions :

• Suffixes de connexion : les noms de connexion incluent des suffixes qui indiquent leur objectif :
  • _bq : utilisé pour accéder aux données BigQuery.
  • _dataflow : utilisé pour exécuter des tâches Dataflow.
• Connexions aux données brutes : vous n'avez besoin de créer des connexions aux données brutes que si vous utilisez les modules d'ingestion de données fournis par Cortex.
• Plusieurs sources de données : si vous déployez plusieurs sources de données (par exemple, SAP et Salesforce), nous vous recommandons de créer des connexions distinctes pour chacune d'elles, en supposant que des limites de sécurité sont appliquées aux comptes de service individuels. Vous pouvez également modifier le nom de la connexion dans le modèle avant le déploiement pour utiliser la même connexion pour écrire dans BigQuery.

Bonnes pratiques de sécurité

• Évitez les connexions par défaut : nous vous déconseillons d'utiliser les connexions et les comptes de service par défaut proposés par Airflow, en particulier dans les environnements de production. Cela correspond au principe du moindre privilège, qui consiste à n'accorder que les autorisations d'accès minimales nécessaires.
• Intégration de Secret Manager : si Secret Manager est activé pour Airflow, vous pouvez créer ces connexions dans Secret Manager en utilisant les mêmes noms. Les connexions stockées dans Secret Manager sont prioritaires par rapport à celles définies directement dans Airflow.