תזמון של DAG ב-Airflow

במאמר הזה מוסבר איך לתזמן גרפים מכוונים לא מחזוריים (DAG) של Airflow מ-Cloud Composer 3 בדף תזמון ב-BigQuery, כולל איך להפעיל DAG באופן ידני ואיך לראות את ההיסטוריה והיומנים של הפעלות DAG קודמות.

מידע על ניהול של Airflow DAGs ב-BigQuery

בדף Scheduling ב-BigQuery יש כלים לתזמון של Airflow DAGs שפועלים בסביבות Cloud Composer 3.

‫DAG של Airflow שמתוזמנים ב-BigQuery מופעלים בסביבה אחת או יותר של Cloud Composer בפרויקט. בדף Scheduling ב-BigQuery מוצג מידע משולב לגבי כל ה-DAG של Airflow בפרויקט.

במהלך הרצת DAG, ‏ Airflow מתזמן ומבצע משימות נפרדות שמרכיבות DAG ברצף שמוגדר על ידי ה-DAG. בדף תזמון ב-BigQuery אפשר לראות את הסטטוסים של הפעלות DAG קודמות, לעיין ביומנים מפורטים של כל הפעלות ה-DAG וכל המשימות מתוך הפעלות ה-DAG האלה, ולראות פרטים על DAG.

הערה: אי אפשר לנהל סביבות של Cloud Composer ב-BigQuery. כדי לנהל סביבות, למשל ליצור סביבה, להתקין תלות בקובצי DAG, להעלות, למחוק או לשנות קובצי DAG ספציפיים, משתמשים ב-Cloud Composer.

מידע נוסף על מושגי הליבה של Airflow, כמו Airflow DAGs,‏ DAG runs, ‏ tasks או operators, זמין בדף Core Concepts (מושגי ליבה) במסמכי התיעוד של Airflow.

מידע נוסף על סביבות Cloud Composer זמין בדף סקירה כללית של Cloud Composer 3 במאמרי העזרה של Cloud Composer.

לפני שמתחילים

1. Enable the Cloud Composer API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

2. מוודאים שלפרויקט Google Cloud יש לפחות סביבה אחת של Cloud Composer 3 עם לפחות קובץ DAG אחד שכבר הועלה:
• כדי להתחיל להשתמש ב-DAG של Airflow, פועלים לפי ההוראות במדריך הרצת DAG של Apache Airflow ב-Cloud Composer 3. במסגרת המדריך הזה, יוצרים סביבת Cloud Composer 3 עם הגדרות ברירת המחדל, מעלים אליה DAG ובודקים ש-Airflow מפעיל אותו.
• הוראות מפורטות להעלאת Airflow DAG לסביבת Cloud Composer 3 זמינות במאמר הוספה ועדכון של DAG.
• הוראות מפורטות ליצירת סביבת Cloud Composer 3 זמינות במאמר בנושא יצירת סביבות Cloud Composer.

ההרשאות הנדרשות

כדי לקבל את ההרשאות שדרושות לתזמון של Airflow DAGs, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

• כדי לצפות ב-DAG של Airflow ובפרטים שלו: צפייה באובייקטים באחסון ובסביבה (roles/composer.environmentAndStorageObjectViewer)
• כדי להפעיל ולהשהות DAG של Airflow: משתמש באובייקטים באחסון ובסביבה (roles/composer.environmentAndStorageObjectUser)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות לתזמון של Airflow DAGs. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לתזמן DAG ב-Airflow, נדרשות ההרשאות הבאות:

• כדי לראות את ה-DAG של Airflow ואת הפרטים שלו: composers.dags.list, composer.environments.list
• כדי להפעיל ולהשהות DAG של Airflow: composers.dags.list, composer.environments.list, composer.dags.execute

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף על IAM ב-Cloud Composer 3 זמין במאמר בקרת גישה באמצעות IAM במסמכי התיעוד של Cloud Composer.

הפעלה ידנית של DAG ב-Airflow

כשמפעילים ידנית DAG של Airflow, ‏ Airflow מריץ את ה-DAG פעם אחת, באופן עצמאי מהתזמון שצוין עבור ה-DAG.

כדי להפעיל באופן ידני DAG נבחר ב-Airflow:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   לדף Scheduling

2. בצע אחת מהפעולות הבאות:

   • לוחצים על השם של ה-DAG שנבחר, ואז בדף DAG details (פרטי ה-DAG) לוחצים על Trigger DAG (הפעלת ה-DAG).

   • בשורת ה-DAG שנבחר, לוחצים על View actions (הצגת פעולות) בעמודה Actions (פעולות), ואז לוחצים על Trigger DAG (הפעלת DAG).

צפייה ביומנים ובפרטים של הרצת DAG ב-Airflow

כדי לראות את הפרטים של DAG שנבחר ב-Airflow, פועלים לפי השלבים הבאים:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   לדף Scheduling

2. לוחצים על השם של ה-DAG שנבחר.

3. בדף DAG details, בוחרים בכרטיסייה Details.

4. כדי לראות הפעלות קודמות של DAG, בוחרים בכרטיסייה Runs (הפעלות).

   1. אופציונלי: בכרטיסייה Runs מוצגים כברירת מחדל הפעלות של DAG מ-10 הימים האחרונים. כדי לסנן הפעלות של DAG לפי טווח זמן אחר, בתפריט הנפתח 10 ימים, בוחרים טווח זמן ואז לוחצים על אישור.

   2. אופציונלי: כדי להציג עמודות נוספות עם פרטים על הרצת DAG ברשימה של כל הרצות ה-DAG, לוחצים על Column display options, בוחרים עמודות ולוחצים על OK.

   3. כדי לראות פרטים ויומנים של הרצת DAG שנבחרה, בוחרים הרצת DAG.

5. כדי לראות תרשים של ה-DAG עם יחסי התלות בין המשימות, בוחרים בכרטיסייה Diagram (תרשים).

   1. כדי לראות את פרטי המשימה, בוחרים משימה בתרשים.

6. כדי לראות את קוד המקור של ה-DAG, בוחרים בכרטיסייה קוד.

7. אופציונלי: כדי לרענן את הנתונים שמוצגים, לוחצים על רענון.

צפייה בכל ה-DAG של Airflow

כדי לראות את גרפי ה-DAG של Airflow מכל סביבות Cloud Composer 3 בפרויקטGoogle Cloud , פועלים לפי השלבים הבאים:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   לדף Scheduling

2. אופציונלי: כדי להציג עמודות נוספות עם פרטים על ה-DAG, לוחצים על Column display options, בוחרים עמודות ולוחצים על OK.

השהיה של DAG ב-Airflow

כדי להשהות DAG נבחר ב-Airflow, פועלים לפי השלבים הבאים:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   לדף Scheduling

2. בצע אחת מהפעולות הבאות:

   • לוחצים על השם של ה-DAG שנבחר, ואז בדף פרטי ה-DAG לוחצים על השהיית ה-DAG.

   • בשורה שמכילה את ה-DAG שנבחר, לוחצים על הצגת פעולות בעמודה פעולות, ואז לוחצים על השהיית DAG.

פתרון בעיות

הוראות לפתרון בעיות ב-DAG של Airflow זמינות במאמר פתרון בעיות ב-DAG של Airflow במאמרי העזרה של Cloud Composer.

המאמרים הבאים

• מידע נוסף על כתיבת DAG של Airflow
• מידע נוסף על Airflow ב-Cloud Composer 3