איסוף הגדרות של Managed Service for Apache Airflow

בדף הזה מוסבר איך לאסוף הגדרות של Managed Service for Apache Airflow כדי להפוך נתונים לאוטומטיים ב-Cortex Framework.

אם השירות המנוהל ל-Apache Airflow זמין, צריך ליצור חיבורים בשירות המנוהל ל-Apache Airflow שמפנים לפרויקט המקור שבו נמצאים הנתונים, עם השמות הבאים בהתאם לעומס העבודה לפריסה. פרטים על עומסי עבודה זמינים במאמר מקורות נתונים ועומסי עבודה. אם אתם יוצרים טבלאות בשכבת הדיווח, הקפידו ליצור חיבורים נפרדים ל-DAG של הדיווח.

פריסת עומס עבודה יצירה עבור Raw יצירה עבור CDC יצירה לצורך דיווח
SAP לא רלוונטי sap_cdc_bq sap_reporting_bq
SFDC sfdc_cdc_bq sfdc_cdc_bq sfdc_reporting_bq
Google Ads googleads_raw_dataflow googleads_cdc_bq googleads_reporting_bq
CM360 cm360_raw_dataflow cm360_cdc_bq cm360_reporting_bq
Meta meta_raw_dataflow meta_cdc_bq meta_reporting_bq
טיקטוק tiktok_raw_dataflow tiktok_cdc_bq tiktok_reporting_bq
LiveRamp לא רלוונטי liveramp_cdc_bq לא רלוונטי
SFMC sfmc_raw_dataflow sfmc_cdc_bq sfmc_reporting_bq
DV360 לא רלוונטי dv360_cdc_bq dv360_reporting_bq
GA4 לא רלוונטי לא רלוונטי ga4_reporting_bq
Oracle EBS לא רלוונטי לא רלוונטי oracleebs_reporting_bq
קיימוּת לא רלוונטי לא רלוונטי k9_reporting_bq
מאפיינים נפוצים לא רלוונטי לא רלוונטי k9_reporting

מוסכמות למתן שמות לחיבורים

כדאי להביא בחשבון את המפרטים הבאים לגבי מוסכמות למתן שמות לחיבורים:

  • סיומות של חיבורים: שמות החיבורים כוללים סיומות שמציינות את המטרה שלהם:
    • ‫_bq: משמש לגישה לנתונים ב-BigQuery.
    • _dataflow: משמש להרצת משימות Dataflow.
  • קישורים לנתונים גולמיים: צריך ליצור קישורים לנתונים גולמיים רק אם משתמשים במודולים להזנת נתונים שסופקו על ידי Cortex.
  • כמה מקורות נתונים: אם אתם פורסים כמה מקורות נתונים (לדוגמה, SAP ו-Salesforce), מומלץ ליצור חיבורים נפרדים לכל אחד מהם, בהנחה שהגבלות אבטחה חלות על חשבונות שירות נפרדים. לחלופין, אפשר לשנות את שם החיבור בתבנית לפני הפריסה כדי להשתמש באותו חיבור לכתיבה ל-BigQuery.

שיטות מומלצות לאבטחה

  • לא מומלץ להשתמש בחיבורים ובחשבונות שירות שמוגדרים כברירת מחדל ב-Airflow, במיוחד בסביבות ייצור. הגישה הזו תואמת לעיקרון ההרשאות המינימליות, שמדגיש את הצורך להעניק רק את הרשאות הגישה המינימליות הנדרשות.
  • שילוב עם Secret Manager: אם הפעלתם את Secret Manager ב-Airflow, תוכלו ליצור את החיבורים האלה ב-Secret Manager באמצעות אותם שמות. לחיבורים שמאוחסנים ב-Secret Manager יש עדיפות על פני חיבורים שמוגדרים ישירות ב-Airflow.