Configurer les notifications par e-mail

Airflow géré (3e génération) | Airflow géré (2e génération) | Airflow géré (1re génération héritée)

Cette page explique comment configurer des services SMTP pour votre environnement Airflow géré.

Avant de commencer

  • Si votre environnement Airflow géré est configuré pour une adresse IP privée, assurez-vous qu'il dispose d'une connectivité au point de terminaison de l'API de votre service de messagerie externe (par exemple, https://api.sendgrid.com, ou le serveur SMTP de votre choix).

Configurer les services de messagerie SendGrid

Pour recevoir des notifications, configurez vos variables d'environnement pour l'envoi d'e-mails via le service de messagerie SendGrid.

S'inscrire à SendGrid

Si vous ne l'avez pas encore fait, inscrivez-vous à SendGrid dans la Google Cloud console, cliquez sur "Manage On Provider" (Gérer chez le fournisseur) pour accéder au domaine SendGrid, puis cliquez sur "Settings" (Paramètres) pour récupérer votre nom d'utilisateur et créer une clé API. En tant que Google Cloud développeur, vous pouvez commencer avec 12 000 e-mails sans frais par mois.

Accédez à l'API de messagerie SendGrid

Configurer des variables

SendGrid utilise la clé API et une adresse e-mail d'expéditeur pour envoyer des e-mails. Vous pouvez fournir ces informations à l'aide de l'une des options suivantes :

  • (Recommandé) Stocker les valeurs dans Secret Manager

  • Stocker les valeurs dans Airflow

Stocker les valeurs dans Secret Manager

Pour stocker des valeurs dans Secret Manager :

  1. Configurez Secret Manager pour votre environnement. Veillez à configurer les autorisations et les options de configuration Airflow pour le backend de secrets.

  2. Ignorez les options de configuration Airflow suivantes :

    Section Clé Valeur
    email email_conn_id sendgrid_default
    email email_backend airflow.providers.sendgrid.utils.emailer.send_email

  3. Créez un secret pour la connexion SendGrid nommé airflow-connections-sendgrid_default. Définissez la valeur du secret sur l'URI de connexion. Exemple :

    sendgrid://<username>:<sendgrid_api_key>@smtp.sendgrid.net:587

    Pour en savoir plus sur le stockage des connexions dans Secret Manager, consultez Gérer les connexions Airflow.

  4. Configurez l'adresse e-mail pour SendGrid. Il n'est pas possible de configurer l'adresse e-mail via un secret. Remplacez plutôt l'option de configuration Airflow suivante :

    Section Clé Valeur
    email from_email Adresse e-mail de l'expéditeur, telle que noreply@example.com.

Stocker les valeurs dans Airflow

  1. Ignorez les options de configuration Airflow suivantes :

    Section Clé Valeur
    email email_conn_id sendgrid_default
    email email_backend airflow.providers.sendgrid.utils.emailer.send_email

  2. Dans Airflow, configurez la connexion nommée sendgrid_default. Spécifiez la clé API SendGrid dans l'URI de connexion. Exemple :

    gcloud composer environments run ENVIRONMENT_NAME \
  --location LOCATION \
  connections add -- \
  --conn-uri "sendgrid://USERNAME:SENDGRID_API_KEY@smtp.sendgrid.net:587" \
  sendgrid_default

    Remplacez les éléments suivants :

    • ENVIRONMENT_NAME : nom de votre environnement
    • LOCATION : région dans laquelle se trouve l'environnement
    • USERNAME : nom d'utilisateur SendGrid
    • SENDGRID_API_KEY : clé API SendGrid

  3. Configurez l'adresse e-mail pour SendGrid. Il n'est pas possible de configurer l'adresse e-mail via un secret. Remplacez plutôt l'option de configuration Airflow suivante :

    Section Clé Valeur
    email from_email Adresse e-mail de l'expéditeur, telle que noreply@example.com.

Tester votre configuration SendGrid

Pour tester la configuration SendGrid, procédez comme suit :

  1. Créez un DAG de test utilisant EmailOperator. Exemple :

import datetime

import airflow
from airflow.operators.email import EmailOperator


with airflow.DAG(
    "composer_sample_sendgrid",
    start_date=datetime.datetime(2022, 1, 1),
) as dag:
    task_email = EmailOperator(
        task_id="send-email",
        conn_id="sendgrid_default",
        # You can specify more than one recipient with a list.
        to="user@example.com",
        subject="EmailOperator test for SendGrid",
        html_content="This is a test message sent through SendGrid.",
        dag=dag,
    )
  1. Importez le DAG dans votre environnement et assurez-vous que la tâche est bien exécutée.
  2. Connectez-vous à SendGrid à l'aide de vos identifiants SendGrid.
  3. Dans l'interface utilisateur de SendGrid, accédez à la page "Activité".
  4. Cherchez l'e-mail dans la liste. Vous devriez constater que SendGrid a traité et envoyé l'e-mail.

  5. Si l'e-mail n'est pas traité, ni distribué, effectuez les opérations suivantes :

    • Vérifiez votre configuration SendGrid.
    • Vérifiez que vous avez activé le backend Secret Manager. Assurez-vous d'avoir accordé des autorisations supplémentaires et défini des remplacements pour les options de configuration Airflow.
    • Vérifiez le filtre antispam dans votre client de messagerie.

Configurer des services SMTP tiers

Pour envoyer un e-mail via un service SMTP tiers, remplacez l'option de configuration Airflow email_backend et configurez les autres paramètres SMTP.

Pour configurer un service SMTP tiers, remplacez les options de configuration Airflow suivantes :

Section Clé Valeur
email email_backend airflow.utils.email.send_email_smtp
smtp smtp_host Nom d'hôte du serveur SMTP.
smtp smtp_user Nom d'utilisateur sur le serveur SMTP.
smtp smtp_port Port du serveur SMTP. Le port 25 n'est pas disponible. Vous pouvez utiliser d'autres ports, par exemple les ports SMTP standards 465 et 587.
smtp smtp_password La définition d'un mot de passe via smtp_password n'est pas acceptée. Pour définir un mot de passe SMTP, suivez les instructions fournies dans l'article Configurer un mot de passe SMTP.
smtp smtp_mail_from Adresse e-mail de l'expéditeur, telle que noreply-composer@.
smtp smtp_starttls Pour plus de sécurité, définissez la valeur sur True.
smtp smtp_ssl Pour plus de sécurité, définissez la valeur sur True.

Configurer un mot de passe SMTP pour un service SMTP tiers

Conserver un mot de passe SMTP en texte brut dans le fichier de configuration Airflow constitue une mauvaise pratique de sécurité. C'est pourquoi Airflow géré n'est pas compatible avec cette méthode. Il est possible d'utiliser deux autres méthodes pour configurer un mot de passe SMTP.

Utiliser une commande pour récupérer le mot de passe SMTP

Il n'est pas possible de récupérer le mot de passe SMTP à l'aide d'une commande dans Airflow géré (1re génération héritée). Si vous fournissez un mot de passe via une commande, une erreur se déclenchera lorsque vous accéderez à Admin > Configuration dans l' interface utilisateur Airflow.

Utiliser un secret stocké dans Secret Manager pour récupérer un mot de passe SMTP

Vous pouvez configurer Secret Manager en tant que backend de secrets Airflow.

Une fois que vous avez configuré Secret Manager pour votre environnement Composer, vous pouvez y stocker un mot de passe SMTP :

  1. Créez un secret :

    echo -n "SMTP_PASSWORD" | gcloud beta secrets create \
  airflow-config-smtp-password \
  --data-file=- \
  --replication-policy=automatic

    Remplacez SMTP_PASSWORD par votre mot de passe SMTP.

  2. Configurez Airflow pour obtenir le mot de passe SMTP à partir de Secret Manager. Pour ce faire, remplacez l'option de configuration Airflow suivante :

    Section Clé Valeur
    smtp smtp_password_secret smtp-password

Étape suivante