הרצת DAG של Apache Airflow ב-Managed Airflow (דור 3)

הרצת DAG של Apache Airflow ב-Managed Airflow (דור 3)

‫Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

במדריך למתחילים הזה נסביר איך ליצור סביבת Managed Service for Apache Airflow ולהריץ DAG של Apache Airflow ב-Managed Airflow (דור 3).

• אם אתם חדשים ב-Airflow, תוכלו לקרוא את המדריך למושגים ב-Airflow במסמכי התיעוד של Apache Airflow כדי לקבל מידע נוסף על מושגים, אובייקטים ושימושים ב-Airflow.

• אם רוצים להשתמש ב-Google Cloud CLI במקום זאת, אפשר לעיין במאמר הרצת DAG של Apache Airflow ב-Managed Service for Apache Airflow‏ (Google Cloud CLI).

• אם אתם רוצים ליצור סביבה באמצעות Terraform, תוכלו לעיין במאמר יצירת סביבות (Terraform).

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. מפעילים את Managed Airflow API.

   תפקידים שנדרשים להפעלת ממשקי API

   כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק 'שימוש בשירות'' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

   להפעלת ה-API

2. כדי לקבל את ההרשאות שדרושות לביצוע ההפעלה המהירה הזו, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

   • כדי להקצות תפקידים והרשאות ב-IAM: אדמין IAM של פרויקט (roles/resourcemanager.projectIamAdmin)
   • כדי ליצור חשבון שירות לסביבת Managed Airflow: יצירת חשבונות שירות (roles/iam.serviceAccountCreator)
   • כדי להציג, ליצור ולנהל את סביבת Managed Airflow:
     • אדמין של סביבה ואובייקטים באחסון (roles/composer.environmentAndStorageObjectAdmin)
     • משתמש בחשבון שירות (roles/iam.serviceAccountUser)
   • כדי לצפות ביומנים: מציג היומנים (roles/logging.viewer)

   להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

   יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

יצירת חשבון שירות של סביבה

כשיוצרים סביבה, מציינים חשבון שירות. חשבון השירות הזה נקרא חשבון השירות של הסביבה. בסביבה שלכם נעשה שימוש בחשבון השירות הזה כדי לבצע את רוב הפעולות.

חשבון השירות של הסביבה שלכם הוא לא חשבון משתמש. חשבון שירות הוא סוג מיוחד של חשבון, שאפליקציה או מכונה וירטואלית (VM) משתמשות בו, ולא אדם.

כדי ליצור חשבון שירות לסביבה שלכם:

1. יוצרים חשבון שירות חדש, כמו שמתואר במאמר בנושא ניהול זהויות והרשאות גישה.

2. מקצים לו תפקיד, כמו שמתואר במסמכי התיעוד של ניהול הזהויות והרשאות הגישה (IAM). התפקיד הנדרש הוא Composer Worker‏ (composer.worker).

יצירת סביבה

1. נכנסים לדף Create environment במסוף Google Cloud .

   כניסה לדף Create environment

2. בשדה שם מזינים example-environment.

3. בתפריט הנפתח Location, בוחרים אזור לסביבת Managed Airflow. במדריך הזה נעשה שימוש באזור us-central1.

4. כדי להשתמש באפשרויות אחרות להגדרת הסביבה, משתמשים בערכי ברירת המחדל שסופקו.

5. לוחצים על יצירה ומחכים עד שהסביבה נוצרת.

   הערה: יצירת הסביבה ב-Managed Airflow נמשכת כ-25 דקות.

6. בסיום, מופיע סימן וי ירוק ליד שם הסביבה.

יצירת קובץ DAG

DAG של Airflow הוא אוסף של משימות מאורגנות שרוצים לתזמן ולהריץ. גרפים מכווני מחזור (DAG) מוגדרים בקובצי Python רגילים.

במדריך הזה נעשה שימוש בדוגמה ל-DAG של Airflow שמוגדר בקובץ quickstart.py. קוד Python בקובץ הזה מבצע את הפעולות הבאות:

1. יצירת תרשים DAG‏, composer_sample_dag. ה-DAG הזה מופעל כל יום.
2. מבצע משימה אחת, print_dag_run_conf. המשימה מדפיסה את ההגדרה של הפעלת ה-DAG באמצעות אופרטור bash.

שומרים עותק של קובץ quickstart.py במחשב המקומי:

import datetime

from airflow import models
from airflow.operators import bash

# If you are running Airflow in more than one time zone
# see https://airflow.apache.org/docs/apache-airflow/stable/timezone.html
# for best practices
YESTERDAY = datetime.datetime.now() - datetime.timedelta(days=1)

default_args = {
    "owner": "Composer Example",
    "depends_on_past": False,
    "email": [""],
    "email_on_failure": False,
    "email_on_retry": False,
    "retries": 1,
    "retry_delay": datetime.timedelta(minutes=5),
    "start_date": YESTERDAY,
}

with models.DAG(
    "composer_quickstart",
    catchup=False,
    default_args=default_args,
    schedule_interval=datetime.timedelta(days=1),
) as dag:
    # Print the dag_run id from the Airflow logs
    print_dag_run_conf = bash.BashOperator(
        task_id="print_dag_run_conf", bash_command="echo {{ dag_run.id }}"
    )

העלאת קובץ ה-DAG לקטגוריה של הסביבה

לכל סביבת Managed Airflow משויך מאגר (bucket) של Cloud Storage. ‫Airflow ב-Managed Airflow מתזמן רק DAG שנמצאים בתיקייה /dags בדלי הזה.

כדי לתזמן את ה-DAG, מעלים את quickstart.py מהמחשב המקומי לתיקייה /dags בסביבה:

1. נכנסים לדף Environments במסוף Google Cloud .

   מעבר אל Environments

2. ברשימת הסביבות, לוחצים על שם הסביבה, example-environment. הדף Environment details ייפתח.

3. לוחצים על Open DAGs folder (פתיחת תיקיית DAG). הדף Bucket details נפתח.

4. לוחצים על העלאת קבצים ובוחרים את העותק של quickstart.py.

5. כדי להעלות את הקובץ, לוחצים על פתיחה.

הצגת תרשים ה-DAG

אחרי שמעלים את קובץ ה-DAG, Airflow מבצע את הפעולות הבאות:

1. מנתח את קובץ ה-DAG שהעליתם. יכול להיות שיחלפו כמה דקות עד ש-DAG יהיה זמין ל-Airflow.
2. ה-DAG נוסף לרשימת ה-DAG הזמינים.
3. מריץ את ה-DAG בהתאם ללוח הזמנים שציינתם בקובץ ה-DAG.

בודקים שה-DAG מעובד ללא שגיאות ושהוא זמין ב-Airflow על ידי הצגתו בממשק המשתמש של DAG. ממשק המשתמש של DAG הוא ממשק Managed Airflow לצפייה בפרטי DAG במסוף Google Cloud . ב-Managed Airflow יש גם גישה לממשק המשתמש של Airflow, שהוא ממשק אינטרנט מקורי של Airflow.

1. מחכים כחמש דקות כדי לתת ל-Airflow זמן לעבד את קובץ ה-DAG שהעליתם קודם, ולהשלים את ההרצה הראשונה של ה-DAG (מוסבר בהמשך).

2. נכנסים לדף Environments במסוף Google Cloud .

   מעבר אל Environments

3. ברשימת הסביבות, לוחצים על שם הסביבה, example-environment. הדף Environment details ייפתח.

4. עוברים לכרטיסייה DAGs.

5. מוודאים ש-composer_quickstart DAG מופיע ברשימת ה-DAG.

   

   איור 1. רשימת ה-DAGs מציגה את ה-DAG‏ composer_quickstart (אפשר ללחוץ כדי להגדיל)

   הערה: נעשה שימוש ב-DAG‏ airflow_monitoring על ידי Managed Airflow כדי לעקוב אחרי תקינות הסביבה.

צפייה בפרטי ההרצה של DAG

כל הרצה של DAG נקראת הרצת DAG. ‫Airflow מריץ מיד את DAG לדוגמה כי תאריך ההתחלה בקובץ ה-DAG מוגדר ליום האתמול. כך, Airflow מתעדכן בהתאם ללוח הזמנים של DAG שצוין.

ה-DAG לדוגמה מכיל משימה אחת, print_dag_run_conf, שמריצה את הפקודה echo במסוף. הפקודה הזו מחזירה מטא נתונים על ה-DAG (מזהה מספרי של הרצת ה-DAG).

1. בכרטיסייה DAGs, לוחצים על composer_quickstart. הכרטיסייה Runs של ה-DAG נפתחת.

2. ברשימת ההרצות של DAG, לוחצים על הרשומה הראשונה.

   

   איור 2. רשימת ההרצות של DAG עבור composer_quickstart DAG (לוחצים להגדלה)

3. מוצגים פרטים על הרצת ה-DAG, כולל מידע על משימות בודדות ב-DAG לדוגמה.

   

   איור 3. רשימת המשימות שהופעלו בהרצת ה-DAG (אפשר ללחוץ כדי להגדיל)

4. בקטע Logs for DAG run (יומני ריצה של DAG) מפורטים יומנים של כל המשימות בריצת ה-DAG. אפשר לראות את הפלט של הפקודה echo ביומנים.

   

   איור 4. יומנים של המשימה print_dag_run_conf (לחצו כדי להגדיל)

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים:

מוחקים את המשאבים שבהם השתמשתם במדריך הזה:

1. מוחקים את סביבת Managed Airflow:

   1. נכנסים לדף Environments במסוף Google Cloud .

      מעבר אל Environments

   2. בוחרים באפשרות example-environment ולוחצים על מחיקה.

   3. ממתינים עד שהסביבה תימחק.

2. מוחקים את קטגוריית הסביבה. מחיקה של סביבת Managed Airflow לא מוחקת את קטגוריית ה-bucket שלה.

   1. במסוף Google Cloud , נכנסים לדף Storage > Browser.

      עוברים אל Storage > Browser

   2. בוחרים את הקטגוריה של הסביבה ולוחצים על מחיקה. לדוגמה, אפשר לתת לקטגוריה הזו את השם us-central1-example-environ-c1616fe8-bucket.

המאמרים הבאים

• הוספה ועדכון של DAGs
• כתיבת תרשימי DAG
• שינוי הגדרות של Airflow
• גישה לממשק המשתמש של Airflow