Mengumpulkan setelan Managed Service untuk Apache Airflow

Halaman ini menjelaskan cara mengumpulkan setelan Managed Service for Apache Airflow untuk mengotomatiskan data dalam Cortex Framework.

Jika Managed Service untuk Apache Airflow tersedia, Anda perlu membuat koneksi dalam Managed Service untuk Apache Airflow yang mengarah ke project sumber tempat data Anda berada, dengan nama berikut berdasarkan beban kerja yang akan di-deploy. Untuk mengetahui detail tentang workload, lihat Sumber data dan workload. Jika Anda membuat tabel di lapisan Pelaporan, pastikan untuk membuat koneksi terpisah untuk DAG Pelaporan.

Men-deploy workload Buat untuk Raw Buat untuk CDC Buat untuk Pelaporan
SAP T/A sap_cdc_bq sap_reporting_bq
SFDC sfdc_cdc_bq sfdc_cdc_bq sfdc_reporting_bq
Google Ads googleads_raw_dataflow googleads_cdc_bq googleads_reporting_bq
CM360 cm360_raw_dataflow cm360_cdc_bq cm360_reporting_bq
Meta meta_raw_dataflow meta_cdc_bq meta_reporting_bq
TikTok tiktok_raw_dataflow tiktok_cdc_bq tiktok_reporting_bq
LiveRamp T/A liveramp_cdc_bq T/A
SFMC sfmc_raw_dataflow sfmc_cdc_bq sfmc_reporting_bq
DV360 T/A dv360_cdc_bq dv360_reporting_bq
GA4 T/A T/A ga4_reporting_bq
Oracle EBS T/A T/A oracleebs_reporting_bq
Keberlanjutan T/A T/A k9_reporting_bq
Dimensi Umum T/A T/A k9_reporting

Konvensi Penamaan Koneksi

Pertimbangkan spesifikasi berikut untuk konvensi penamaan koneksi:

  • Sufiks koneksi: Nama koneksi menyertakan sufiks yang menunjukkan tujuan penggunaannya:
    • _bq: digunakan untuk mengakses data BigQuery.
    • _dataflow: Digunakan untuk menjalankan tugas Dataflow.
  • Koneksi data mentah: Anda hanya perlu membuat koneksi untuk Data mentah jika Anda menggunakan modul penyerapan data yang disediakan oleh Cortex.
  • Beberapa sumber data: Jika Anda men-deploy beberapa sumber data (misalnya, SAP dan Salesforce), sebaiknya buat koneksi terpisah untuk masing-masing sumber data, dengan asumsi batasan keamanan diterapkan ke setiap akun layanan. Atau, Anda dapat mengubah nama koneksi dalam template sebelum deployment untuk menggunakan koneksi yang sama untuk menulis ke BigQuery.

Praktik Terbaik Keamanan

  • Hindari Koneksi Default: Sebaiknya jangan gunakan koneksi dan akun layanan default yang ditawarkan oleh Airflow, terutama di lingkungan produksi. Hal ini selaras dengan prinsip hak istimewa terendah yang menekankan pemberian hanya izin akses minimum yang diperlukan.
  • Integrasi Secret Manager: Jika Anda telah mengaktifkan Secret Manager untuk Airflow, Anda dapat membuat koneksi ini dalam Secret Manager menggunakan nama yang sama. Koneksi yang disimpan di Secret Manager lebih diutamakan daripada koneksi yang ditentukan langsung di Airflow.