תזמון של DAG ב-Airflow

במאמר הזה נסביר איך לתזמן גרפים מכוונים לא מחזוריים (DAG) מ-Managed Airflow 3 בדף תזמון של BigQuery במסוף Google Cloud , כדי לתזמן את צינורות הנתונים שלכם בצורה יעילה. היכולת הזו עוזרת לכם להפוך את זרימות הנתונים שמפעילות את ניתוח הנתונים ב-BigQuery לאוטומטיות ולנטר אותן. אתם יכולים להפעיל DAG באופן ידני ולנהל אותם באופן מרכזי, כולל צפייה בהיסטוריית ההרצה ובלוגים.

מידע על ניהול של Airflow DAGs ב-BigQuery

בדף תזמון ב-BigQuery יש כלים לתזמון של גרפים מכוונים מחזוריים (DAG) של Airflow שפועלים בסביבות Managed Airflow 3.

‫DAG של Airflow שמתוזמנים ב-BigQuery מופעלים בסביבה מנוהלת אחת או יותר של Airflow בפרויקט. בדף Scheduling ב-BigQuery מוצג מידע משולב לגבי כל ה-DAG של Airflow בפרויקט.

במהלך הרצת DAG, ‏ Airflow מתזמן ומבצע משימות נפרדות שמרכיבות DAG ברצף שמוגדר על ידי ה-DAG. בדף Scheduling ב-BigQuery אפשר לראות את הסטטוסים של הפעלות DAG קודמות, לעיין ביומנים מפורטים של כל הפעלות ה-DAG וכל המשימות מתוך הפעלות ה-DAG האלה, ולראות פרטים על DAG.

הערה: אי אפשר לנהל סביבות של Managed Airflow ב-BigQuery. כדי לנהל סביבות, למשל ליצור סביבה, להתקין תלות בקובצי DAG, להעלות, למחוק או לשנות קובצי DAG בודדים, משתמשים ב-Managed Airflow.

מידע נוסף על מושגי הליבה של Airflow, כמו Airflow DAGs,‏ DAG runs, ‏ tasks או operators, זמין בדף Core Concepts (מושגי ליבה) במסמכי התיעוד של Airflow.

מידע נוסף על סביבות Managed Airflow זמין בדף סקירה כללית של Managed Airflow 3 במסמכי התיעוד של Managed Airflow.

לפני שמתחילים

1. מפעילים את Cloud Composer API.

   תפקידים שנדרשים להפעלת ממשקי API

   כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק 'שימוש בשירות'' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

   להפעלת ה-API

2. מוודאים שלפרויקט Google Cloud יש לפחות סביבת Managed Airflow 3 אחת, עם לפחות קובץ DAG אחד שכבר הועלה:
• כדי להתחיל להשתמש ב-DAG של Airflow, פועלים לפי ההוראות במדריך הפעלת DAG של Apache Airflow ב-Managed Airflow 3. במדריך הזה תלמדו איך ליצור סביבת Managed Airflow 3 עם הגדרות ברירת המחדל, להעלות אליה DAG ולבדוק ש-Airflow מריץ אותו.
• הוראות מפורטות להעלאת DAG של Airflow לסביבת Managed Airflow 3 זמינות במאמר בנושא הוספה ועדכון של DAG.
• הוראות מפורטות ליצירת סביבת Managed Airflow 3 זמינות במאמר יצירת סביבות Managed Airflow.

ההרשאות הנדרשות

כדי לקבל את ההרשאות שדרושות לתזמון של Airflow DAGs, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

• כדי לצפות ב-DAG של Airflow ובפרטים שלו: צפייה באובייקטים באחסון ובסביבה (roles/composer.environmentAndStorageObjectViewer)
• כדי להפעיל ולהשהות קובצי DAG של Airflow: משתמש באובייקטים באחסון ובסביבה (roles/composer.environmentAndStorageObjectUser)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות לתזמון של Airflow DAGs. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לתזמן DAG-ים של Airflow, נדרשות ההרשאות הבאות:

• כדי לראות את ה-DAG של Airflow ואת הפרטים שלו: composers.dags.list, composer.environments.list
• כדי להפעיל ולהשהות DAG של Airflow: composers.dags.list, composer.environments.list, composer.dags.execute

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף על IAM ב-Managed Airflow 3 זמין במאמר בקרת גישה באמצעות IAM במסמכי התיעוד של Managed Airflow.

הפעלה ידנית של DAG ב-Airflow

כשמפעילים ידנית DAG של Airflow, ‏ Airflow מריץ את ה-DAG פעם אחת, בלי קשר ללוח הזמנים שצוין עבור ה-DAG.

כדי להפעיל באופן ידני DAG נבחר ב-Airflow, פועלים לפי השלבים הבאים:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   לדף תזמון

2. בצע אחת מהפעולות הבאות:

   • לוחצים על השם של ה-DAG שנבחר, ואז בדף פרטי ה-DAG לוחצים על הפעלת DAG.

   • בשורת ה-DAG שנבחר, לוחצים על View actions (הצגת פעולות) בעמודה Actions (פעולות), ואז לוחצים על Trigger DAG (הפעלת DAG).

צפייה ביומני הרצה ובפרטים של DAG ב-Airflow

כדי לראות את הפרטים של DAG שנבחר ב-Airflow, פועלים לפי השלבים הבאים:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   לדף תזמון

2. לוחצים על השם של ה-DAG שנבחר.

3. בדף DAG details, בוחרים בכרטיסייה Details.

4. כדי לראות הפעלות קודמות של DAG, בוחרים בכרטיסייה Runs.

   1. אופציונלי: בכרטיסייה הפעלות מוצגות כברירת מחדל הפעלות של DAG מ-10 הימים האחרונים. כדי לסנן הפעלות של DAG לפי טווח זמן אחר, בתפריט הנפתח 10 ימים, בוחרים טווח זמן ואז לוחצים על אישור.

   2. אופציונלי: כדי להציג עמודות נוספות עם פרטים על הרצת DAG ברשימה של כל הרצות ה-DAG, לוחצים על Column display options, בוחרים עמודות ולוחצים על OK.

   3. כדי לראות את הפרטים והיומנים של הרצת DAG שנבחרה, בוחרים הרצת DAG.

5. כדי לראות תרשים של ה-DAG עם יחסי התלות בין המשימות, בוחרים בכרטיסייה Diagram.

   1. כדי לראות את פרטי המשימה, בוחרים משימה בתרשים.

6. כדי לראות את קוד המקור של ה-DAG, בוחרים בכרטיסייה קוד.

7. אופציונלי: כדי לרענן את הנתונים שמוצגים, לוחצים על רענון.

צפייה בכל ה-DAG של Airflow

כדי לראות את קובצי ה-DAG של Airflow מכל סביבות Managed Airflow 3 בפרויקטGoogle Cloud , פועלים לפי השלבים הבאים:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   לדף תזמון

2. אופציונלי: כדי להציג עמודות נוספות עם פרטים על ה-DAG, לוחצים על Column display options, בוחרים עמודות ולוחצים על OK.

השהיה של DAG ב-Airflow

כדי להשהות DAG נבחר ב-Airflow, פועלים לפי השלבים הבאים:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   לדף תזמון

2. בצע אחת מהפעולות הבאות:

   • לוחצים על השם של ה-DAG שנבחר, ואז בדף פרטי ה-DAG לוחצים על השהיית ה-DAG.

   • בשורה שמכילה את ה-DAG שנבחר, לוחצים על הצגת פעולות בעמודה פעולות ואז על השהיית DAG.

פתרון בעיות

הוראות לפתרון בעיות ב-DAG של Airflow אפשר למצוא במאמר פתרון בעיות ב-DAG של Airflow במסמכי התיעוד של Managed Airflow.

המאמרים הבאים

• מידע נוסף על כתיבת DAG של Airflow
• מידע נוסף על Airflow ב-Managed Airflow 3