הצגת DAG, הפעלות DAG ומשימות

‫Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

בדף הזה מוסבר איך לקבל מידע על DAG בסביבה שלכם.

דרכים להצגת מידע על DAG

ב-Managed Airflow יש כמה דרכים לקבל מידע מפורט על DAG בסביבה שלכם:

  • ממשק המשתמש של DAG הוא קטע בממשק של מסוף Google Cloud ל-Managed Airflow, שמוקדש לצפייה ב-DAG, בהרצות של DAG ובמשימות ספציפיות ולמעקב אחריהם.
  • ממשק המשתמש של Airflow הוא ממשק אינטרנט מובנה של Airflow.
  • ‫Airflow CLI הוא ממשק שורת הפקודה של Airflow. אפשר לקבל מידע על DAGs באמצעות הפקודות של Airflow CLI עם gcloud.

מידע על ממשק המשתמש של Managed Airflow DAG

ממשק המשתמש של DAG הוא קטע בממשק של מסוף Google Cloud ל-Managed Airflow, שמוקדש לצפייה ב-DAG, בהרצות של DAG ובמשימות ספציפיות ולמעקב אחריהם.

בממשק המשתמש של DAG אפשר:

  • תוכלו לראות רשימה של DAG בסביבה שלכם, כולל מרווחי זמן של לוחות זמנים, מצבי DAG ותיאורים.

  • השהיה, ביטול השהיה והפעלת DAG.

  • עיון בפרטים של הפעלת DAG, כולל הפעלות מוצלחות, פעילות וכאלה שנכשלו, והזמן שעבר מאז ההפעלה האחרונה שהושלמה. לכל DAG אפשר לראות את ההיסטוריה של הרצות ה-DAG ושל מופעי המשימות שמשויכים ל-DAG הספציפי הזה, כולל יומנים של משימות שהושלמו.

  • סינון פרטי ההרצה של DAG. לדוגמה, אתם יכולים לבחור מרווח זמן וליצור שאילתות כדי לבחור את המידע שאתם צריכים.

  • צפייה במידע מפורט על DAG ומשימות ספציפיים. המידע הזה כולל תרשימי DAG חזותיים, מידע על המשימות ב-DAG, קוד מקור של DAG ומידע נוסף על DAG.

לפני שמתחילים

  • מוודאים שלחשבון שלכם יש תפקיד עם גישה לממשק המשתמש של DAG ואפשרות לראות את פרטי ה-DAG. מידע נוסף מופיע במאמר בקרת גישה.

  • ממשק המשתמש של DAG נתמך בגרסה 2.0.1 ואילך של Managed Airflow.

    הצגת רשימת ה-DAGs בסביבה

    המסוף

    בכרטיסייה DAGs של הסביבה מוצגת רשימת ה-DAGs יחד עם פרטי ההרצה של כל DAG.

    כדי לראות את רשימת ה-DAGs:

    1. נכנסים לדף Environments במסוף Google Cloud .

      מעבר אל Environments

    2. בעמודה DAG list, לוחצים על הקישור DAGs של הסביבה.

    אתם יכולים להשתמש במסננים כדי לראות את הפרטים רק של DAG מסוים או של תנאים מסוימים. לדוגמה:

    1. לוחצים על השדה מסננים.
    2. מהרשימה הנפתחת, בוחרים את המאפיין DAG id.
    3. מציינים את המזהה של ה-DAG. בתוצאות מוצגים פרטים רק לגבי ה-DAG שנבחר.
    4. (אופציונלי) כדי לכלול עוד DAG, מוסיפים אופרטורים של OR ואחריהם מזהי DAG.
    5. (אופציונלי) כדי לסנן לפי תנאים אחרים, מוסיפים מאפיינים אחרים בשדה Filters. לדוגמה, אפשר לסנן DAG עם הפעלות שנכשלו על ידי ציון Failed runs:>0.

    ממשק המשתמש של Airflow

    כדי לראות את רשימת ה-DAG בממשק המשתמש של Airflow:

    1. נכנסים לדף Environments במסוף Google Cloud .

      מעבר אל Environments

    2. בעמודה Airflow webserver, לוחצים על הקישור Airflow של הסביבה.

    3. מתחברים לחשבון Google עם ההרשאות המתאימות.

    4. בממשק המשתמש של Airflow, בדף DAGs, מוצגת רשימה של DAGs עבור הסביבה שלכם.

    gcloud

    מריצים את הפקודה dags list Airflow CLI:

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

    מחליפים את:

    • ‫ENVIRONMENT_NAME בשם הסביבה.
    • ‫LOCATION עם האזור שבו הסביבה ממוקמת.

    הצגת ההיסטוריה של הפעלות DAG ומשימות

    המסוף

    בכרטיסייה Runs בדף DAG details מוצגת היסטוריית ההרצות של DAG ספציפי.

    כדי לראות את ההיסטוריה של הפעלות DAG:

    1. נכנסים לדף Environments במסוף Google Cloud .

      מעבר אל Environments

    2. בעמודה DAG list, לוחצים על הקישור DAGs של הסביבה.

    3. בוחרים DAG.

    4. בדף DAG details, עוברים לכרטיסייה Runs.

    5. בוחרים הפעלה של DAG מהרשימה כדי לראות את הפרטים שלה, כמו המצב של מופעי המשימות בהפעלה הזו של ה-DAG, מספר הניסיונות ומשך הביצוע. אפשר לבחור משימות ספציפיות כדי להציג את יומני המקרים של המשימות.

    ממשק המשתמש של Airflow

    כדי לראות את רשימת ה-DAG בממשק המשתמש של Airflow:

    1. נכנסים לדף Environments במסוף Google Cloud .

      מעבר אל Environments

    2. בעמודה Airflow webserver, לוחצים על הקישור Airflow של הסביבה.

    3. מתחברים לחשבון Google עם ההרשאות המתאימות.

    4. בתפריט בממשק המשתמש של Airflow, בוחרים באפשרות Browse (עיון) > DAG Runs (הרצות של DAG). בדף DAG Runs מוצגות הפעלות של DAG בסביבה שלכם. אפשר ללחוץ על הקישור בעמודה Run ID כדי לקבל מידע נוסף על המשימות.

    gcloud

    מריצים את הפקודה dags list-runs Airflow CLI:

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

    מחליפים את:

    • ‫ENVIRONMENT_NAME בשם הסביבה.
    • ‫LOCATION עם האזור שבו הסביבה ממוקמת.
    • ‫DAG_ID בשם של ה-DAG.

    כדי לקבל מידע נוסף על מופעי משימות, מריצים את הפקודות tasks state ו-tasks states-for-dag-run ב-Airflow CLI.

    מידע נוסף זמין במאמר גישה ל-Airflow CLI ובמדריך העזר ל-Airflow CLI.

    הצגת דיאגרמות DAG

    המסוף

    בכרטיסייה Diagram בדף DAG details מוצגת ויזואליזציה של DAG עם תלות בין משימות.

    כדי להציג את הדיאגרמה של DAG:

    1. נכנסים לדף Environments במסוף Google Cloud .

      מעבר אל Environments

    2. בעמודה DAG list, לוחצים על הקישור DAGs של הסביבה.

    3. בוחרים DAG.

    4. בדף DAG details, עוברים לכרטיסייה Diagram.

    5. (אופציונלי) כדי לראות מידע נוסף על משימות, בוחרים משימות ספציפיות בתרשים.

    ממשק המשתמש של Airflow

    כדי לראות את הדיאגרמה של DAG בממשק האינטרנט של Airflow:

    1. נכנסים לדף Environments במסוף Google Cloud .

      מעבר אל Environments

    2. בעמודה Airflow webserver, לוחצים על הקישור Airflow של הסביבה.

    3. מתחברים לחשבון Google עם ההרשאות המתאימות.

    4. בממשק המשתמש של Airflow, בדף DAGs, מוצגת רשימה של DAGs עבור הסביבה שלכם.

    5. בעמודה Links של ה-DAG, לוחצים על הקישור Graph.

    הצגת קוד המקור של DAG ומידע נוסף על DAG

    המסוף

    אפשר לראות את קוד המקור של ה-DAG ואת המידע הנוסף, כמו מזהי DAG וקישורים לקובצי הגדרות DAG, בדלי של הסביבה.

    1. נכנסים לדף Environments במסוף Google Cloud .

      מעבר אל Environments

    2. בעמודה DAG list, לוחצים על הקישור DAGs של הסביבה.

    3. בוחרים DAG.

    4. כדי לראות את קוד המקור של ה-DAG, עוברים לכרטיסייה תרשים.

    5. כדי לראות מידע נוסף על ה-DAG, עוברים לכרטיסייה מקור.

    ממשק המשתמש של Airflow

    כדי לראות את הדיאגרמה של DAG בממשק האינטרנט של Airflow:

    1. נכנסים לדף Environments במסוף Google Cloud .

      מעבר אל Environments

    2. בעמודה Airflow webserver, לוחצים על הקישור Airflow של הסביבה.

    3. מתחברים לחשבון Google עם ההרשאות המתאימות.

    4. בממשק האינטרנט של Airflow, בדף DAGs, לוחצים על השם של ה-DAG.

    5. בדף עם פרטי ה-DAG, עוברים לכרטיסיות הזמינות כדי לראות מידע נוסף על ה-DAG.

    המאמרים הבאים