Configurer des environnements avec la règle "Restreindre l'utilisation des points de terminaison"

Managed Airflow (3e génération) | Managed Airflow (2e génération) | Managed Airflow (1re génération héritée)

Cette page explique comment créer des environnements Managed Airflow lorsque la règle d'administration "Restreindre l'utilisation des points de terminaison" est appliquée.

La règle d'administration constraints/gcp.restrictEndpointUsage limite les points de terminaison d'API Google pouvant être utilisés pour accéder aux ressources. Cela permet aux organisations d'appliquer l'utilisation de points de terminaison locaux ou régionaux, par exemple pour répondre aux exigences selon lesquelles les données doivent rester dans certaines zones géographiques.

À propos de la règle "Restreindre l'utilisation des points de terminaison" dans Managed Airflow

Lorsque vous créez un environnement Managed Airflow dans un projet où la règle "Restreindre l'utilisation des points de terminaison" refuse l'accès aux points de terminaison mondiaux pour des services tels que l'API Cloud Storage, l'API Cloud Logging, l'API Pub/Sub ou l'API Data Lineage, Managed Airflow configure les composants internes de l'environnement pour utiliser les points de terminaison régionaux (REP) correspondants pour ces services.

Les points de terminaison spécifiques utilisés par un environnement sont déterminés par la règle "Restreindre l'utilisation des points de terminaison" uniquement lors de la création de l'environnement. Ces points de terminaison ne changent pas, même si la règle est reconfigurée ultérieurement.

Restreindre les services requis par les environnements Managed Airflow

Lorsque la règle "Restreindre l'utilisation des points de terminaison" limite certains des services requis par Managed Airflow, les limitations suivantes s'appliquent :

  • Journaux des tâches Airflow dans l'interface utilisateur Airflow

    L'interface utilisateur Airflow s'appuie sur le point de terminaison mondial Cloud Logging (logging.googleapis.com) pour afficher les journaux des tâches. Si vous refusez logging.googleapis.com dans votre règle "Restreindre l'utilisation des points de terminaison", les journaux des tâches ne seront pas disponibles dans l'interface utilisateur Airflow.

    Cette limitation ne s'applique qu'à l'interface utilisateur Airflow. Vous pourrez toujours afficher les journaux des tâches dans l'interface utilisateur DAG et les journaux des nœuds de calcul Airflow dans la Google Cloud console et Cloud Logging.

  • Métriques d'environnement

    Managed Airflow utilise des points de terminaison mondiaux pour Cloud Monitoring (monitoring.googleapis.com), car certaines API Monitoring ne sont pas entièrement compatibles avec les points de terminaison régionaux. La restriction de monitoring.googleapis.com peut avoir un impact sur certaines métriques d'environnement.

  • Opérateurs Airflow dans vos DAG

    Les opérateurs Airflow qui se connectent à un point de terminaison mondial refusé par la règle "Restreindre l'utilisation des points de terminaison" échoueront. Assurez-vous que tous les opérateurs Airflow de vos DAG sont configurés pour utiliser des points de terminaison régionaux, si l'opérateur est compatible.

Avant de commencer

  • Les environnements avec la règle "Restreindre l'utilisation des points de terminaison" sont compatibles avec les versions 2.16.7 et ultérieures de Managed Airflow (2e génération).

Configurer la règle "Restreindre l'utilisation des points de terminaison"

Pour en savoir plus et obtenir des exemples sur la configuration de la règle "Restreindre l'utilisation des points de terminaison" afin de refuser l'accès à des points de terminaison mondiaux spécifiques, consultez Restreindre l'utilisation des points de terminaison.

Créer un environnement d'adresse IP publique avec la règle "Restreindre l'utilisation des points de terminaison"

Les environnements Managed Airflow d'adresse IP publique ne nécessitent aucune configuration supplémentaire. Procédez comme suit :

  1. Vérifiez que les services que vous souhaitez régionaliser disposent de points de terminaison régionaux dans les régions sélectionnées.

  2. Assurez-vous que la règle "Restreindre l'utilisation des points de terminaison" est déjà configurée et refuse les points de terminaison mondiaux pour les services que vous souhaitez régionaliser.

  3. Créez un environnement Managed Airflow.

    L'environnement utilisera des points de terminaison régionaux conformément à la règle "Restreindre l'utilisation des points de terminaison".

Créer un environnement d'adresse IP privée avec la règle "Restreindre l'utilisation des points de terminaison"

Pour créer un environnement avec la règle "Restreindre l'utilisation des points de terminaison" dans la configuration d'adresse IP privée, vous devez configurer votre réseau VPC pour résoudre et acheminer le trafic vers les points de terminaison régionaux (REP) requis à l'aide de Private Service Connect et de Cloud DNS.

Pour créer un environnement d'adresse IP privée avec la règle "Restreindre l'utilisation des points de terminaison" :

  1. Vérifiez que les services que vous souhaitez régionaliser disposent de points de terminaison régionaux dans les régions sélectionnées.

  2. Assurez-vous que la règle "Restreindre l'utilisation des points de terminaison" est déjà configurée et refuse les points de terminaison mondiaux pour les services que vous souhaitez régionaliser.

  3. Assurez-vous que vous disposez déjà d'un réseau VPC et d'un sous-réseau que vous souhaitez utiliser pour votre environnement d'adresse IP privée.

  4. Répétez les étapes de configuration réseau pour chacun des services suivants qui sont limités par la règle "Restreindre l'utilisation des points de terminaison" :

    • storage.googleapis.com
    • logging.googleapis.com
    • pubsub.googleapis.com
    • datalineage.googleapis.com
    • Points de terminaison d'API Google pour tous les autres services utilisés dans vos DAG.

Configurer un réseau IP privé pour un service limité par la règle

Appliquez les étapes suivantes aux points de terminaison régionaux (REP) correspondants pour tous les services Google de votre projet dont l'accès à leurs points de terminaison mondiaux est limité.

Vous devez créer des points de terminaison Private Service Connect pour cibler les variations régionales de ces services, en spécifiant la région de votre environnement Managed Airflow. Par exemple, si votre environnement est situé dans us-central1, vous ciblez le storage.us-central1.rep.googleapis.com REP pour Cloud Storage.

Pour en savoir plus sur l'utilisation des points de terminaison Private Service Connect pour vous connecter aux points de terminaison régionaux des API Google compatibles, consultez Accéder aux API Google régionales via des points de terminaison.

Créer un point de terminaison Private Service Connect

  1. Dans la Google Cloud console, accédez à la page Private Service Connect.

    Accéder à Private Service Connect

  2. Cliquez sur Connecter le point de terminaison.

  3. Configurez un point de terminaison Private Service Connect comme suit :

    • Cible : sélectionnez API Google.

    • Détails sur la cible :

      1. Portée : sélectionnez Regional.
      2. Région : sélectionnez la région de votre environnement Managed Airflow.
      3. Service cible : sélectionnez le service que vous configurez. Cela sélectionne un REP dans la région sélectionnée.

      Exemple :

      Si votre environnement se trouve dans us-central1 et que vous configurez Cloud Storage, sélectionnez Iowa (us-central1) et Cloud Storage (storage.us-central1.rep.googleapis.com).

    • Informations sur les points de terminaison :

      1. Nom du point de terminaison : nom du point de terminaison.

        Exemple : psc-storage-endpoint-us-central1.

      2. Réseau et sous-réseau : sélectionnez le réseau VPC et le sous-réseau de votre environnement Managed Airflow.

      3. Adresse IP : choisissez une adresse IP existante ou cliquez sur Créer une adresse IP pour réserver une nouvelle adresse IP interne statique à partir du sous-réseau sélectionné.

        Attribuez un nom descriptif à cette adresse IP. Vous utiliserez cette adresse IP ultérieurement pour configurer un enregistrement DNS.

        Exemple : psc-storage-us-central1.

  4. Cliquez sur Ajouter un point de terminaison.

Créer une zone DNS privée

  1. Dans la Google Cloud console, accédez à la page Cloud DNS.

    Accéder à Cloud DNS

  2. Cliquez sur Créer une zone.

  3. Dans Type de zone, sélectionnez Private.

  4. Spécifiez la configuration suivante :

    • Nom de la zone : nom de la zone.

      Exemple : storage-us-central1

    • Nom DNS : nom DNS. Incluez le point final.

      Exemple : storage.us-central1.rep.googleapis.com.

    • Réseaux : sélectionnez le réseau VPC pour votre environnement Managed Airflow.

  5. Cliquez sur Créer.

Ajouter un enregistrement DNS dans la zone DNS créée

  1. Dans la Google Cloud console, accédez à la page Cloud DNS.

    Accéder à Cloud DNS

  2. Cliquez sur le nom de la zone que vous avez créée.

  3. Cliquez sur Ajouter un jeu d'enregistrements standard.

  4. Configurez l'enregistrement DNS comme suit :

    • Nom DNS : spécifiez le sous-domaine de la zone DNS.

      Exemple : storage.us-central1.rep.googleapis.com

    • Type d'enregistrement de la ressource : sélectionnez A.

    • Adresse IPv4 : sélectionnez l'adresse IP que vous avez attribuée au point de terminaison Private Service Connect.

  5. Cliquez sur Créer.

Créer un environnement Managed Airflow d'adresse IP privée

Une fois que vous avez configuré tous les services qui seront utilisés par votre environnement, passez à la création d'un environnement d'adresse IP privée dans le réseau VPC et le sous-réseau sélectionnés.

Étape suivante