התקנת פלאגינים בהתאמה אישית

‫Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

בדף הזה מוסבר איך להתקין פלאגינים בהתאמה אישית בסביבת Managed Service for Apache Airflow.

מנהל הפלאגינים של Apache Airflow מאפשר לכם לכתוב מפעילים, ווים, חיישנים או ממשקים מותאמים אישית של Apache Airflow. מידע נוסף מופיע במאמר בנושא תוספים בהתאמה אישית במסמכי העזרה של Airflow.

מידע על תוספים בהתאמה אישית

כשיוצרים סביבה, Managed Airflow יוצר קטגוריה של Cloud Storage ומקשר את הקטגוריה הזו לסביבה. כדי להתקין תוספים בהתאמה אישית, משתמשים בתיקייה plugins בקטגוריה של הסביבה.

לפני שמתחילים

התקנת פלאגין

כדי להתקין פלאגין בהתאמה אישית בסביבת Managed Airflow, מעתיקים את קוד הפלאגין לתיקייה plugins בקטגוריה של הסביבה.

כדי להתקין פלאגין:

המסוף

  1. נכנסים לדף Environments במסוף Google Cloud .

    מעבר אל Environments

  2. מחפשים את הסביבה ולוחצים על הקישור DAGs.

  3. עולים רמה אחת בתיקייה ואז עוברים לתיקייה plugins/.

  4. מעלים את קובצי הפלאגין. מידע נוסף על העלאת אובייקטים זמין במאמר בנושא העלאת אובייקטים.

gcloud

משתמשים בפקודה gcloud הבאה:

gcloud composer environments storage plugins import \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

מחליפים את:

  • ‫ENVIRONMENT_NAME בשם הסביבה.
  • ‫LOCATION עם האזור שבו הסביבה ממוקמת.
  • ‫PATH_TO_LOCAL_FILE בנתיב של הקובץ שרוצים להעלות.
  • (אופציונלי) PATH_IN_SUBFOLDER עם הנתיב של תיקיית המשנה. משתמשים בארגומנט --destination כדי להעלות פלאגין לתיקיית משנה בתיקייה plugins. אחרת, משמיטים את הארגומנט --destination.

צפייה ברשימת הפלאגינים

המסוף

  1. נכנסים לדף Environments במסוף Google Cloud .

    מעבר אל Environments

  2. מחפשים את הסביבה ולוחצים על הקישור DAGs.

  3. עולים רמה אחת בתיקייה, ואז עוברים לתיקייה plugins/.

  4. צופים בקבצים של הפלאגין.

gcloud

משתמשים בפקודה gcloud הבאה:

gcloud composer environments storage plugins list \
    --environment ENVIRONMENT_NAME \
    --location LOCATION

מחליפים את:

  • ‫ENVIRONMENT_NAME בשם הסביבה.
  • ‫LOCATION עם האזור שבו הסביבה ממוקמת.

מחיקת פלאגין

כדי למחוק פלאגין מסביבת Managed Airflow, צריך למחוק את קוד הפלאגין מהתיקייה plugins בדלי של הסביבה.

כדי למחוק פלאגין:

המסוף

  1. נכנסים לדף Environments במסוף Google Cloud .

    מעבר אל Environments

  2. מחפשים את הסביבה ולוחצים על הקישור DAGs.

  3. עולים רמה אחת בתיקייה, ואז עוברים לתיקייה plugins/.

  4. מוחקים את קובצי הפלאגין. מידע נוסף על מחיקת אובייקטים זמין במאמר מחיקת אובייקטים.

gcloud

משתמשים בפקודה gcloud הבאה:

gcloud composer environments storage plugins delete \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    PLUGIN_TO_DELETE

הורדת פלאגינים

כדי להוריד תוספים, בוחרים באחת מהאפשרויות:

המסוף

  1. נכנסים לדף Environments במסוף Google Cloud .

    מעבר אל Environments

  2. מחפשים את הסביבה ולוחצים על הקישור DAGs.

  3. עולים רמה אחת בתיקייה, ואז עוברים לתיקייה plugins/.

  4. מורידים את קובצי הפלאגין. למידע נוסף על מחיקת אובייקטים, אפשר לעיין במאמר הורדת אובייקטים.

gcloud

משתמשים בפקודה gcloud הבאה:

gcloud composer environments storage plugins export \
  --environment ENVIRONMENT_NAME \
  --location LOCATION \
  --destination PATH_TO_LOCAL_DESTINATION \
  --source PATH_IN_FOLDER

מחליפים את:

  • ‫ENVIRONMENT_NAME בשם הסביבה.
  • ‫LOCATION עם האזור שבו הסביבה ממוקמת.
  • ‫PATH_TO_LOCAL_DESTINATION במיקום היעד של הקובץ שהורד.
  • (אופציונלי) --source היא אפשרות להורדה של פלאגין אחד בלבד. ‫PATH_IN_FOLDER הוא נתיב התיקייה.

פתרון בעיות שקשורות לתוספים

פלאגין שהועלה לאחרונה לא מוצג בממשק המשתמש של Airflow

אם אתם משתמשים בבקרת גישה לממשק המשתמש של Airflow, יכול להיות שהתוסף שהועלה לאחרונה לא יוצג בממשק המשתמש של Airflow. כדי לפתור את הבעיה, צריך לבקש מהאדמין של ממשק המשתמש של Airflow להגדיר גישה לתוסף שהועלה לאחרונה או להקצות לעצמכם את התפקיד Admin בממשק המשתמש של Airflow.

המאמרים הבאים