Utiliser le serveur MCP distant Managed Service pour Apache Airflow

Managed Airflow (3e génération) | Managed Airflow (2e génération) | Managed Airflow (1re génération héritée)

Ce document explique comment utiliser le serveur MCP (Model Context Protocol) distant de Managed Service pour Apache Airflow afin de vous connecter à Managed Service pour Apache Airflow à partir d'applications d'IA telles que Gemini CLI, ChatGPT, Claude ou dans des applications d'IA que vous développez. Le serveur MCP de Managed Airflow vous permet de gérer les environnements Managed Airflow et d'obtenir des informations sur les exécutions DAG et les tâches Airflow exécutées.

Le Model Context Protocol (MCP) standardise la façon dont les grands modèles de langage (LLM) et les applications ou agents d'IA se connectent à des sources de données externes. Les serveurs MCP vous permettent d'utiliser leurs outils, leurs ressources et leurs prompts pour effectuer des actions et obtenir des données mises à jour à partir de leur service backend.

Quelle est la différence entre les serveurs MCP locaux et distants ?

Serveurs MCP locaux
S'exécutent généralement sur votre machine locale et utilisent les flux d'entrée et de sortie standards (stdio) pour la communication entre les services sur le même appareil.
Serveurs MCP distants
S'exécutent sur l'infrastructure du service et proposent un point de terminaison HTTP aux applications d'IA pour la communication entre le client MCP d'IA et le serveur MCP. Pour en savoir plus sur l'architecture MCP, consultez Architecture MCP.

Serveurs MCP Google et Google Cloud distants

Les serveurs MCP Google et Google Cloud distants présentent les fonctionnalités et avantages suivants :

  • Découverte centralisée et simplifiée
  • Points de terminaison HTTP mondiaux ou régionaux gérés
  • Autorisations précises
  • Sécurité facultative des prompts et des réponses avec la protection Model Armor
  • Journalisation d'audit centralisée

Pour en savoir plus sur les autres serveurs MCP et sur les contrôles de sécurité et de gouvernance disponibles pour les serveurs MCP Google Cloud, consultez Présentation des serveurs MCP Google Cloud.

Avant de commencer

  1. Connectez-vous à votre Google Cloud compte. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  4. Enable the Managed Airflow API.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  5. Installez la Google Cloud CLI.

  6. Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

  7. Pour initialiser la gcloud CLI, exécutez la commande suivante : 

    gcloud init

  8. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  9. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  10. Enable the Managed Airflow API.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  11. Installez la Google Cloud CLI.

  12. Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

  13. Pour initialiser la gcloud CLI, exécutez la commande suivante : 

    gcloud init

Rôles requis

Pour obtenir les autorisations nécessaires pour activer le serveur MCP de Managed Service pour Apache Airflow, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet dans lequel vous souhaitez activer le serveur MCP de Managed Service pour Apache Airflow :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Authentification et autorisation

Le serveur MCP distant de Managed Service pour Apache Airflow utilise le protocole OAuth 2.0 avec Identity and Access Management (IAM) pour l'authentification et l'autorisation. Toutes Google Cloud les identités sont compatibles avec l'authentification auprès des serveurs MCP.

Nous vous recommandons de créer une identité distincte pour les agents qui utilisent des outils MCP afin de pouvoir contrôler et surveiller l'accès aux ressources. Pour en savoir plus sur l'authentification, consultez S'authentifier auprès des serveurs MCP.

Champs d'application OAuth MCP de Managed Service pour Apache Airflow

OAuth 2.0 utilise des champs d'application et des identifiants pour déterminer si un principal authentifié est autorisé à effectuer une action spécifique sur une ressource. Pour en savoir plus sur les champs d'application OAuth 2.0 dans Google, consultez Utiliser OAuth 2.0 pour accéder aux API Google.

Managed Service pour Apache Airflow dispose des champs d'application OAuth suivants pour les outils MCP :

URI du champ d'application pour la gcloud CLI Description
https://www.googleapis.com/auth/cloudcomposer.readonly Octroie un accès ne permettant que de lire les données.
https://www.googleapis.com/auth/cloudcomposer Octroie un accès permettant de lire et de modifier les données.

Configurer un client MCP pour utiliser le serveur MCP de Managed Service pour Apache Airflow

Les applications et agents d'IA, tels que Claude ou Antigravity, peuvent instancier un client MCP qui se connecte à un seul serveur MCP. Une application d'IA peut avoir plusieurs clients qui se connectent à différents serveurs MCP. Si votre application ne figure pas dans les conseils spécifiques au client, vous pouvez utiliser les informations suivantes pour vous connecter à partir de la plupart des applications.

Dans votre application d'IA, recherchez un moyen d'ajouter un serveur MCP distant ou de vous y connecter. Pour le serveur MCP de Managed Service pour Apache Airflow, saisissez les informations suivantes, si nécessaire :

  • Nom du serveur : serveur MCP de Managed Service pour Apache Airflow
  • Point de terminaison : composer.{region}.rep.googleapis.com/mcp
  • Transport: HTTP
  • Informations d'authentification : selon la méthode d'authentification souhaitée, vous pouvez saisir vos Google Cloud identifiants, votre ID client OAuth et votre code secret, ou une identité et des identifiants d'agent. Pour en savoir plus sur l'authentification, consultez S'authentifier auprès des serveurs MCP.
  • Champ d'application OAuth : le champ d'application OAuth 2.0 que vous souhaitez utiliser lorsque vous vous connectez au serveur MCP de Managed Service pour Apache Airflow.

Pour obtenir des conseils spécifiques à l'application sur la configuration et la connexion au serveur MCP, consultez Conseils spécifiques au client.

Pour obtenir des conseils plus généraux, consultez les ressources suivantes :

Outils disponibles

Les outils MCP en lecture seule ont l'attribut MCP mcp.tool.isReadOnly défini sur true. Vous pouvez autoriser uniquement les outils en lecture seule dans certains environnements via la règle de votre organisation.

Pour afficher les détails des outils MCP disponibles et leurs descriptions pour le serveur MCP de Managed Service pour Apache Airflow, consultez la documentation de référence sur le MCP de Managed Service pour Apache Airflow.

Répertorier les outils

Utilisez l'inspecteur MCP pour répertorier les outils ou envoyez directement une requête HTTP tools/list au serveur MCP distant de Managed Service pour Apache Airflow. La méthode tools/list ne nécessite pas d'authentification.

POST /mcp HTTP/1.1
Host: composer.{region}.rep.googleapis.com/mcp
Content-Type: application/json

{
  "jsonrpc": "2.0",
  "method": "tools/list",
}

Exemples de cas d'utilisation

Voici des exemples de cas d'utilisation du serveur MCP de Managed Service pour Apache Airflow :

Décrire l'état de l'environnement

Dans cet exemple de cas d'utilisation, vous posez des questions sur les environnements de votre projet.

Recherchez tous les environnements Managed Airflow dans us-central1 qui ne sont pas en cours d'exécution pour le moment. Si l'un d'eux est en état d'erreur, indiquez-moi l'heure à laquelle cet environnement a été mis à jour pour la dernière fois et la configuration des charges de travail de l'environnement.

Workflow : la description des environnements Managed Airflow peut se présenter comme suit.

  • Afficher la liste des environnements : l'agent utilise list_environments pour obtenir la liste des environnements dans la région spécifiée, ainsi que des informations sur l'heure de la dernière mise à jour.

Créer un environnement Managed Airflow avec des packages PyPI personnalisés

Dans cet exemple de cas d'utilisation, vous créez un environnement Managed Airflow puis vous y installez des packages PyPI personnalisés.

Exemple de prompt :

Créez un environnement Managed Airflow (3e génération) avec Airflow 2 dans mon projet. Installez ensuite le package nltk[machine_learning]. Utilisez le compte de service example-account@example-project.iam.gserviceaccount.com pour l'environnement.

Workflow : la création d'un environnement Managed Airflow, puis l'installation de packages PyPI personnalisés peuvent se présenter comme suit.

  • Créer un environnement : l'agent utilise create_environment pour créer un nouvel environnement avec les paramètres de configuration fournis. L'agent pose des questions sur d'autres paramètres de configuration, tels que la liste des adresses IP autorisées à accéder à l'interface utilisateur Airflow.

  • Installer des packages : l'agent appelle manage_pypi_packages pour installer le package PyPI spécifié.

Résoudre les problèmes liés aux exécutions et aux tâches DAG ayant échoué

Vérifiez l'environnement Managed Airflow example-environment-name dans us-central1. L'exemple example_dag échoue, et je veux savoir pourquoi et à quelle tâche précisément. Indiquez-moi également tous les autres DAG qui ont échoué dans cet environnement au cours des dernières 24 heures.

Workflow : la résolution des problèmes liés aux exécutions DAG ayant échoué peut se présenter comme suit.

  • Obtenir les exécutions DAG ayant échoué : l'agent utilise find_last_failed_dag_runs pour obtenir la liste des exécutions DAG ayant échoué pour le DAG example_dag dans l'environnement spécifié. L'agent utilise le même outil pour obtenir la liste de toutes les exécutions DAG ayant échoué.

  • Inspecter l'exécution DAG ayant échoué : l'agent appelle list_failed_task_instances pour obtenir la liste des instances de tâche de l'exécution DAG qui sont en état d'échec.

  • Analyser les journaux des tâches ayant échoué : l'agent utilise get_task_instance pour obtenir les détails de l'instance de tâche ayant échoué, y compris les données requises pour récupérer les journaux.

  • Inspecter le code source du DAG : l'agent utilise get_dag_source_code pour analyser le code source de la tâche ayant échoué afin de détecter les erreurs.

Configurations de sécurité facultatives

Le MCP introduit de nouveaux risques et considérations de sécurité en raison de la grande variété d'actions que vous pouvez effectuer avec les outils MCP. Pour minimiser et gérer ces risques, Google Cloud propose des paramètres par défaut et des règles personnalisables afin de contrôler l'utilisation des outils MCP dans votre Google Cloud organisation ou votre projet.

Pour en savoir plus sur la sécurité et la gouvernance du MCP, consultez Sécurité de l'IA.

Utiliser Model Armor

Model Armor est un Google Cloud service conçu pour améliorer la sécurité de vos applications d'IA. Il fonctionne en analysant de manière proactive les prompts et les réponses des LLM, en protégeant contre divers risques et en favorisant les pratiques d'IA responsable. Que vous déployiez l'IA dans votre environnement cloud ou auprès de fournisseurs de cloud externes, Model Armor peut vous aider à éviter les entrées malveillantes, à vérifier la sécurité du contenu, à protéger les données sensibles, à assurer la conformité et à appliquer vos règles de sécurité de l'IA de manière cohérente dans votre paysage d'IA diversifié.

Lorsque Model Armor est activé avec la journalisation, il enregistre l'intégralité de la charge utile. Cela peut exposer des informations sensibles dans vos journaux.

Routage des requêtes MCP vers Model Armor

Model Armor est disponible dans certaines régions. Lorsque Model Armor est activé et que vous utilisez un serveur MCP dans une juridiction non prise en charge par Model Armor, le comportement de routage de l'appel peut être différent pour différents serveurs MCP et peut enfreindre la conformité de la résidence des données pour les données en cours d'utilisation et en transit. Pour en savoir plus sur le comportement des serveurs MCP individuels, consultez Produits compatibles avec Model Armor.

Activer Model Armor

Vous devez activer les API Model Armor avant de pouvoir utiliser Model Armor.

Console

  1. Activez l'API Model Armor.

    Rôles requis pour activer les API

    Pour activer les API, vous avez besoin de l'autorisation serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation via le rôle Propriétaire (roles/owner). Sinon, vous pouvez obtenir cette autorisation via le rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.

    Activer l'API

  2. Sélectionnez le projet dans lequel vous souhaitez activer Model Armor.

gcloud

Avant de commencer, suivez ces étapes à l'aide de la Google Cloud CLI avec l'API Model Armor :

  1. Dans la Google Cloud console, activez Cloud Shell.

    Activer Cloud Shell

    En bas de la fenêtre de la console, une session Cloud Shell démarre et affiche une invite de ligne de commande. Google Cloud Cloud Shell est un environnement shell dans lequel Google Cloud CLI est déjà installé, et dans lequel des valeurs sont déjà définies pour votre projet actuel. L'initialisation de la session peut prendre quelques secondes.

  2. Exécutez la commande suivante pour définir le point de terminaison de l'API pour le service Model Armor.

    gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

    Remplacez LOCATION par la région dans laquelle vous souhaitez utiliser Model Armor.

Configurer la protection pour les serveurs MCP Google et Google Cloud distants

Pour protéger vos appels et réponses d'outils MCP, vous pouvez utiliser les paramètres de plancher Model Armor. Un paramètre de plancher définit les filtres de sécurité minimaux qui s'appliquent à l'ensemble du projet. Cette configuration applique un ensemble cohérent de filtres à tous les appels et réponses d'outils MCP du projet.

Configurez un paramètre de plancher Model Armor avec la désinfection MCP activée. Pour en savoir plus, consultez Configurer les paramètres de plancher Model Armor settings.

Consultez l'exemple de commande suivant :

gcloud model-armor floorsettings update \
--full-uri='projects/PROJECT_ID/locations/global/floorSetting' \
--enable-floor-setting-enforcement=TRUE \
--add-integrated-services=GOOGLE_MCP_SERVER \
--google-mcp-server-enforcement-type=INSPECT_AND_BLOCK \
--enable-google-mcp-server-cloud-logging \
--malicious-uri-filter-settings-enforcement=ENABLED \
--add-rai-settings-filters='[{"confidenceLevel": "MEDIUM_AND_ABOVE", "filterType": "DANGEROUS"}]'

Remplacez PROJECT_ID par l'ID du Google Cloud projet.

Notez les paramètres suivants :

  • INSPECT_AND_BLOCK : type d'application qui inspecte le contenu du serveur MCP Google et bloque les prompts et les réponses qui correspondent aux filtres.
  • ENABLED : paramètre qui active un filtre ou une application.
  • MEDIUM_AND_ABOVE : niveau de confiance pour les paramètres de filtre IA responsable - Dangereux. Vous pouvez modifier ce paramètre, mais des valeurs inférieures peuvent entraîner davantage de faux positifs. Pour en savoir plus, consultez Niveaux de confiance de Model Armor.

Désactiver l'analyse du trafic MCP avec Model Armor

Pour empêcher Model Armor d'analyser automatiquement le trafic vers et depuis les serveurs MCP Google en fonction des paramètres de plancher du projet, exécutez la commande suivante :

gcloud model-armor floorsettings update \
  --full-uri='projects/PROJECT_ID/locations/global/floorSetting' \
  --remove-integrated-services=GOOGLE_MCP_SERVER

Remplacez PROJECT_ID par l' Google Cloud ID du projet. Model Armor n'applique pas automatiquement les règles définies dans les paramètres de plancher de ce projet au trafic des serveurs MCP Google.

Les paramètres de plancher et la configuration générale de Model Armor peuvent avoir un impact sur plus que le MCP. Étant donné que Model Armor s'intègre à des services tels que Vertex AI, toute modification apportée aux paramètres de plancher peut affecter l'analyse du trafic et les comportements de sécurité dans tous les services intégrés, et pas seulement dans le MCP.

Contrôler l'utilisation du MCP avec les stratégies IAM

Les stratégies de refus et d'autorisation IAM (Identity and Access Management) vous aident à sécuriser Google Cloud les serveurs MCP Google.

Vous pouvez combiner plusieurs critères pour créer des stratégies de sécurité et de gouvernance personnalisées en autorisant ou en refusant l'accès en fonction des éléments suivants :

  • Le principal.
  • Les propriétés de l'outil, telles que l'attribut en lecture seule.
  • Le nom du service ou de l'outil.
  • L'ID client OAuth de l'application.

Pour en savoir plus, consultez Contrôler l'utilisation du MCP avec Identity and Access Management.

Étape suivante