הגדרת התראות באימייל

‫Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

בדף הזה מוסבר איך להגדיר שירותי SMTP בסביבת Managed Airflow.

לפני שמתחילים

  • אם סביבת Managed Airflow שלכם מוגדרת לכתובת IP פרטית, צריך לוודא שיש לה קישוריות לנקודת קצה ל-API של שירות האימייל החיצוני (כמו https://api.sendgrid.com או שרת ה-SMTP המועדף).

  • רכיבי Airflow בסביבות עם כתובות IP ציבוריות יוצרים חיבורים יוצאים, כולל שליחת הודעות אימייל, מכתובות IP ציבוריות ומפורטים שהוקצו באופן אוטומטי. אם אתם רוצים שסביבות עם כתובות IP ציבוריות ישלחו אימייל מכתובות IP ומיציאות שנקבעו מראש, אתם יכולים לקשר רשת VPC לסביבה ולהעביר אותה לכתובת IP פרטית. מידע נוסף על רשתות ב-Managed Airflow (דור 3) זמין במאמר בנושא שינוי סוג הרשת של סביבה.

  • מתזמן Airflow ב-Managed Airflow (דור 3) תומך רק בקצה עורפי מותאם אישית לאימייל הבא:

    • airflow.providers.sendgrid.utils.emailer.send_email
    • airflow.utils.email.send_email_smtp

    אם מגדירים קצה עורפי אחר של אימייל בהתאמה אישית, ההגדרה הזו לא תועבר למתזמן. כתוצאה מכך, שליחת אימייל ישירות מהמתזמן תוביל לכך שהמתזמן לא יגיב ויכשל שוב ושוב.

    תהליכי העבודה (workers) ומעבדי ה-DAG ב-Airflow תומכים בבקאנדים מותאמים אישית אחרים, כך שאפשר לשלוח אימייל מהרכיבים האלה. מקרה נפוץ שבו נשלח אימייל ישירות מהמתזמן הוא התראות באימייל על כשלים ב-DAG. כפתרון עקיף, אפשר לשלוח התראות על כשל ב-DAG באמצעות קריאה חוזרת רשומה. הם יישלחו מהמעבד של DAG. אפשר גם להשתמש בשרתי קצה עורפיים מותאמים אישית אחרים עם אופרטורים של Airflow ששולחים אימייל. במקרה כזה, האימייל יישלח מעובד של Airflow שמבצע את המשימה.

הגדרת שירותי אימייל של SendGrid

כדי לקבל התראות, צריך להגדיר את משתני הסביבה כך שיישלחו אימיילים דרך שירות האימייל SendGrid.

הרשמה ל-SendGrid

אם עדיין לא עשיתם את זה, נרשמים ל-SendGrid ב Google Cloud מסוף, לוחצים על Manage On Provider (ניהול אצל הספק) כדי לעבור לדומיין של SendGrid, ולוחצים על Settings (הגדרות) כדי לאחזר את שם המשתמש וליצור מפתח API. מפתחים Google Cloud יכולים להתחיל עם 12,000 אימיילים בחינם בחודש.

מעבר אל SendGrid Email API

הגדרת משתנים

‫SendGrid משתמש במפתח ה-API ובכתובת האימייל של השולח כדי לשלוח אימיילים. אפשר לספק את המידע הזה באחת מהדרכים הבאות:

אחסון ערכים ב-Secret Manager

כדי לאחסן ערכים ב-Secret Manager:

  1. מגדירים את Secret Manager בסביבה. חשוב להגדיר הרשאות ואפשרויות של תצורת Airflow עבור קצה העורף של הסודות.

  2. עוקפים את אפשרויות התצורה הבאות של Airflow:

    קטע מפתח ערך
    email email_conn_id sendgrid_default
    email email_backend airflow.providers.sendgrid.utils.emailer.send_email

  3. יוצרים סוד לחיבור SendGrid בשם airflow-connections-sendgrid_default. מגדירים את הערך של הסוד ל-URI של החיבור. לדוגמה:

    sendgrid://<username>:<sendgrid_api_key>@smtp.sendgrid.net:587

    מידע נוסף על אחסון חיבורים ב-Secret Manager זמין במאמר ניהול חיבורים ב-Airflow.

  4. מגדירים את כתובת האימייל ב-SendGrid. אי אפשר להגדיר את כתובת האימייל באמצעות סוד. במקום זאת, מבטלים את אפשרות ההגדרה הבאה של Airflow:

    קטע מפתח ערך
    email from_email כתובת האימייל של השולח, לדוגמה noreply@example.com.

שמירת ערכים ב-Airflow

  1. עוקפים את אפשרויות התצורה הבאות של Airflow:

    קטע מפתח ערך
    email email_conn_id sendgrid_default
    email email_backend airflow.providers.sendgrid.utils.emailer.send_email

  2. ב-Airflow, מגדירים את החיבור בשם sendgrid_default. מציינים את מפתח ה-API של Sendgrid ב-URI של החיבור. לדוגמה:

    gcloud composer environments run ENVIRONMENT_NAME \
  --location LOCATION \
  connections add -- \
  --conn-uri "sendgrid://USERNAME:SENDGRID_API_KEY@smtp.sendgrid.net:587" \
  sendgrid_default

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫ENVIRONMENT_NAME: השם של הסביבה.
    • ‫LOCATION: האזור שבו נמצאת הסביבה.
    • ‫USERNAME: שם המשתמש ב-SendGrid.
    • ‫SENDGRID_API_KEY: מפתח ה-API של SendGrid.

  3. מגדירים את כתובת האימייל ב-SendGrid. אי אפשר להגדיר את כתובת האימייל באמצעות סוד. במקום זאת, מבטלים את אפשרות ההגדרה הבאה של Airflow:

    קטע מפתח ערך
    email from_email כתובת האימייל של השולח, לדוגמה noreply@example.com.

בדיקת ההגדרה של SendGrid

כדי לבדוק את ההגדרה של SendGrid:

  1. יוצרים DAG לבדיקה שמשתמש ב-EmailOperator. לדוגמה:

import datetime

import airflow
from airflow.operators.email import EmailOperator


with airflow.DAG(
    "composer_sample_sendgrid",
    start_date=datetime.datetime(2022, 1, 1),
) as dag:
    task_email = EmailOperator(
        task_id="send-email",
        conn_id="sendgrid_default",
        # You can specify more than one recipient with a list.
        to="user@example.com",
        subject="EmailOperator test for SendGrid",
        html_content="This is a test message sent through SendGrid.",
        dag=dag,
    )
  1. מעלים את ה-DAG לסביבה ובודקים שהמשימה הושלמה.
  2. נכנסים ל-SendGrid באמצעות פרטי הכניסה ל-SendGrid.
  3. בממשק המשתמש של SendGrid, עוברים לדף Activity (פעילות).
  4. מחפשים את האימייל ברשימה. אפשר לראות שהאימייל עבר עיבוד ב-SendGrid ונמסר.

  5. אם האימייל לא עובר עיבוד ולא נמסר:

    • בודקים את ההגדרה של SendGrid.
    • מוודאים שהפעלתם את העורף האחורי של Secret Manager. חשוב לוודא שהענקתם הרשאות נוספות והגדרתם שינויים באפשרויות ההגדרה של Airflow.
    • בודקים את מסנן הספאם בתוכנת האימייל.

הגדרת שירותי SMTP של צד שלישי

כדי לשלוח אימייל דרך שירות SMTP של צד שלישי, צריך לשנות את אפשרות ההגדרה של email_backend Airflow ולהגדיר פרמטרים אחרים שקשורים ל-SMTP.

כדי להגדיר שירות SMTP של צד שלישי, צריך להגדיר מחדש את אפשרויות ההגדרה הבאות של Airflow:

קטע מפתח ערך
email email_backend airflow.utils.email.send_email_smtp
smtp smtp_host שם המארח של שרת ה-SMTP.
smtp smtp_user שם המשתמש בשרת ה-SMTP.
smtp smtp_port היציאה של שרת ה-SMTP. יציאה 25 לא זמינה. אפשר להשתמש ביציאות אחרות, כמו יציאות SMTP סטנדרטיות 465 ו-587.
smtp smtp_password אי אפשר להגדיר סיסמה באמצעות smtp_password. כדי להגדיר סיסמת SMTP, פועלים לפי ההוראות במאמר בנושא הגדרת סיסמת SMTP.
smtp smtp_mail_from כתובת האימייל של השולח, לדוגמה noreply-composer@.
smtp smtp_starttls כדי לשפר את האבטחה, מגדירים את האפשרות True.
smtp smtp_ssl כדי לשפר את האבטחה, מגדירים את האפשרות True.

הגדרת סיסמת SMTP לשירות SMTP של צד שלישי

שמירת סיסמת SMTP בטקסט פשוט בקובץ ההגדרות של Airflow היא פרקטיקה לא טובה מבחינת אבטחה. לכן, ב-Managed Airflow אין תמיכה בשיטה הזו. במקום זאת, אפשר להשתמש בשתי שיטות אחרות להגדרת סיסמת SMTP.

שימוש בפקודה כדי לאחזר את סיסמת ה-SMTP

אפשר להשתמש בהגדרות שמחליפות את ברירת המחדל כדי לציין פקודה שמקבלת את סיסמת ה-SMTP. במהלך התקשורת עם שירות ה-SMTP, ‏ Airflow משתמש בפקודה הזו כדי לקבל את ערך הסיסמה. מציינים פקודה אחת, בלי אופרטורים של bash כמו צינורות והפניות.

כדי להשתמש בשיטה הזו, צריך לשנות את אפשרות ההגדרה הבאה של Airflow:

קטע מפתח ערך
smtp smtp_password_cmd מציינים פקודה שמחזירה את סיסמת ה-SMTP.

שימוש בסוד שמאוחסן ב-Secret Manager כדי לאחזר סיסמת SMTP

אתם יכולים להגדיר את Secret Manager כקצה העורפי של הסודות של Airflow.

אחרי שמגדירים את Secret Manager בסביבת Composer, אפשר לאחסן סיסמת SMTP ב-Secret Manager:

  1. יוצרים סוד חדש:

    echo -n "SMTP_PASSWORD" | gcloud beta secrets create \
  airflow-config-smtp-password \
  --data-file=- \
  --replication-policy=automatic

    מחליפים את SMTP_PASSWORD בסיסמת ה-SMTP.

  2. מגדירים את Airflow כך שיקבל את סיסמת ה-SMTP מ-Secret Manager. כדי לעשות זאת, מבטלים את ההגדרה של אפשרות התצורה הבאה ב-Airflow. ‫Airflow מוסיף אוטומטית את הקידומת airflow-config- לערך שאתם מציינים עבור smtp_password_secret כשהוא מאחזר את הסוד airflow-config-smtp-password מ-Secret Manager.

    קטע מפתח ערך
    smtp smtp_password_secret smtp-password

המאמרים הבאים