Raccolta delle impostazioni di Managed Service for Apache Airflow
Questa pagina descrive come raccogliere le impostazioni di Managed Service for Apache Airflow per automatizzare i dati all'interno di Cortex Framework.
Se Managed Service for Apache Airflow è disponibile, devi creare connessioni all'interno di Managed Service for Apache Airflow che puntano al progetto di origine in cui risiedono i tuoi dati, con i seguenti nomi in base al carico di lavoro da distribuire. Per informazioni dettagliate sui workload, vedi Origini dati e workload. Se stai creando tabelle nel livello di reporting, assicurati di creare connessioni separate per i DAG di reporting.
| Deployment del workload | Crea per Raw | Crea per il CDC | Crea per i report |
| SAP | N/D | sap_cdc_bq
|
sap_reporting_bq
|
| SFDC | sfdc_cdc_bq
|
sfdc_cdc_bq
|
sfdc_reporting_bq
|
| Google Ads | googleads_raw_dataflow
|
googleads_cdc_bq
|
googleads_reporting_bq
|
| CM360 | cm360_raw_dataflow
|
cm360_cdc_bq
|
cm360_reporting_bq
|
| Meta | meta_raw_dataflow
|
meta_cdc_bq
|
meta_reporting_bq
|
| TikTok | tiktok_raw_dataflow
|
tiktok_cdc_bq
|
tiktok_reporting_bq
|
| LiveRamp | N/D | liveramp_cdc_bq
|
N/D |
| SFMC | sfmc_raw_dataflow
|
sfmc_cdc_bq
|
sfmc_reporting_bq
|
| DV360 | N/D | dv360_cdc_bq
|
dv360_reporting_bq
|
| GA4 | N/D | N/D | ga4_reporting_bq
|
| Oracle EBS | N/D | N/D | oracleebs_reporting_bq
|
| Sostenibilità | N/D | N/D | k9_reporting_bq
|
| Dimensioni comuni | N/D | N/D | k9_reporting
|
Convenzioni di denominazione delle connessioni
Considera le seguenti specifiche per le convenzioni di denominazione delle connessioni:
- Suffissi di connessione: i nomi delle connessioni includono suffissi che indicano lo scopo previsto:
_bq: utilizzato per accedere ai dati BigQuery._dataflow: utilizzato per l'esecuzione dei job Dataflow.
- Connessioni ai dati non elaborati: devi creare connessioni per i dati non elaborati solo se utilizzi i moduli di importazione dati forniti da Cortex.
- Più origini dati: se implementi più origini dati (ad esempio, SAP e Salesforce), ti consigliamo di creare connessioni separate per ciascuna, supponendo che le limitazioni di sicurezza vengano applicate ai singoli account di servizio. In alternativa, puoi modificare il nome della connessione nel modello prima del deployment per utilizzare la stessa connessione per la scrittura in BigQuery.
Best practice per la sicurezza
- Evita le connessioni predefinite: non è consigliabile utilizzare le connessioni e i service account predefiniti offerti da Airflow, soprattutto negli ambienti di produzione. Ciò è in linea con il principio del privilegio minimo, che sottolinea la necessità di concedere solo le autorizzazioni di accesso minime necessarie.
- Integrazione di Secret Manager: se hai attivato Secret Manager per Airflow, puoi creare queste connessioni all'interno di Secret Manager utilizzando gli stessi nomi. Le connessioni archiviate in Secret Manager hanno la precedenza su quelle definite direttamente in Airflow.