Einstellungen für Managed Service for Apache Airflow erfassen
Auf dieser Seite wird beschrieben, wie Sie die Einstellungen für Managed Service for Apache Airflow erfassen, um Daten im Cortex Framework zu automatisieren.
Wenn Managed Service for Apache Airflow verfügbar ist, müssen Sie Verbindungen in Managed Service for Apache Airflow erstellen, die auf das Quellprojekt verweisen, in dem sich Ihre Daten befinden. Verwenden Sie dabei die folgenden Namen, die auf der Arbeitslast für die Bereitstellung basieren. Weitere Informationen zu Arbeitslasten finden Sie unter Datenquellen und Arbeitslasten. Wenn Sie Tabellen in der Berichtsebene erstellen, müssen Sie separate Verbindungen für Reporting-DAGs erstellen.
| Arbeitslast bereitstellen | Für Rohdaten erstellen | Für CDC erstellen | Für Berichte erstellen |
| SAP | – | sap_cdc_bq
|
sap_reporting_bq
|
| SFDC | sfdc_cdc_bq
|
sfdc_cdc_bq
|
sfdc_reporting_bq
|
| Google Ads | googleads_raw_dataflow
|
googleads_cdc_bq
|
googleads_reporting_bq
|
| CM360 | cm360_raw_dataflow
|
cm360_cdc_bq
|
cm360_reporting_bq
|
| Meta | meta_raw_dataflow
|
meta_cdc_bq
|
meta_reporting_bq
|
| TikTok | tiktok_raw_dataflow
|
tiktok_cdc_bq
|
tiktok_reporting_bq
|
| LiveRamp | – | liveramp_cdc_bq
|
– |
| SFMC | sfmc_raw_dataflow
|
sfmc_cdc_bq
|
sfmc_reporting_bq
|
| DV360 | – | dv360_cdc_bq
|
dv360_reporting_bq
|
| GA4 | – | – | ga4_reporting_bq
|
| Oracle EBS | – | – | oracleebs_reporting_bq
|
| Nachhaltigkeit | – | – | k9_reporting_bq
|
| Allgemeine Dimensionen | – | – | k9_reporting
|
Namenskonventionen für Verbindungen
Beachten Sie die folgenden Spezifikationen für Namenskonventionen für Verbindungen:
- Verbindungssuffixe: Die Verbindungsnamen enthalten Suffixe, die den beabsichtigten Zweck angeben:
_bq: wird für den Zugriff auf BigQuery-Daten verwendet._dataflow: wird zum Ausführen von Dataflow-Jobs verwendet.
- Verbindungen für Rohdaten: Sie müssen nur Verbindungen für Rohdaten erstellen, wenn Sie die von Cortex bereitgestellten Module für die Datenaufnahme verwenden.
- Mehrere Datenquellen: Wenn Sie mehrere Datenquellen bereitstellen (z. B. SAP und Salesforce), empfiehlt es sich, separate Verbindungen für jede Datenquelle zu erstellen, vorausgesetzt, Sicherheitsbeschränkungen werden auf einzelne Dienst konten angewendet. Alternativ können Sie den Verbindungsnamen in der Vorlage vor der Bereitstellung ändern, um dieselbe Verbindung zum Schreiben in BigQuery zu verwenden.
Best Practices für Sicherheit
- Standardverbindungen vermeiden: Es wird nicht empfohlen, die von Airflow angebotenen Standard verbindungen und -dienstkonten zu verwenden, insbesondere in Produktionsumgebungen. Dies entspricht dem Prinzip der geringsten Berechtigung, bei dem nur die minimal erforderlichen Zugriffsberechtigungen gewährt werden.
- Secret Manager-Integration: Wenn Sie Secret Manager für Airflow aktiviert haben, können Sie diese Verbindungen in Secret Manager mit denselben Namen erstellen. In Secret Manager gespeicherte Verbindungen haben Vorrang vor Verbindungen, die direkt in Airflow definiert sind.