Présentation des capacités agentiques dans Managed Airflow

Managed Airflow (3e génération) | Managed Airflow (2e génération) | Managed Airflow (ancienne 1re génération)

Les capacités agentiques de Managed Airflow vous permettent d'obtenir des insights sur l'état et les métriques de l'environnement, de diagnostiquer et de résoudre les workflows ayant échoué, de connecter des agents de développement externes aux environnements à l'aide du protocole MCP (Model Context Protocol), et d'appliquer des recommandations et des migrations de télémétrie automatisées.

Agent Managed Airflow

La boîte de dialogue "Poser une question à l'agent" montre l'agent Managed Airflow répondant à la question "Pourquoi mon environnement n'est-il pas sain ?". La réponse indique que la création de l'environnement a échoué.
Figure 1. Conversation avec l'agent Managed Airflow (cliquez pour agrandir)

L'agent Managed Airflow peut vous aider à :

  • Identifiez les problèmes ou les goulots d'étranglement existants ou potentiels, et optimisez les performances de votre environnement.
  • Comprendre, diagnostiquer et résoudre les problèmes liés aux tâches Airflow et aux exécutions de DAG ayant échoué. Analyser l'exécution des tâches
  • Obtenez des informations sur les métriques et la surveillance de l'environnement.

Pour examiner les exécutions de DAG et les instances de tâches ayant échoué, lancez une conversation avec l'agent Managed Airflow dans la console Google Cloud . Vous pouvez lancer une analyse directe de la cause première en cliquant sur le bouton Examiner pour les exécutions de DAG et les instances de tâches ayant échoué.

L'agent Managed Airflow fournit des rapports de diagnostic structurés, qui incluent :

  • Un énoncé du problème
  • Preuves avec extraits de journaux et codes temporels
  • Recommandations pratiques pour résoudre les problèmes

Serveur MCP (Model Context Protocol) distant

Le serveur MCP (Model Context Protocol) fournit une interface JSON-RPC standard ouverte qui permet aux agents de développement externes, tels que Gemini Code Assist, Gemini CLI, ChatGPT, Claude, Cursor, Goose ou des outils personnalisés, d'interagir avec les environnements Managed Airflow.

Le serveur MCP distant fournit les fonctionnalités et outils suivants :

  • Opérations liées au cycle de vie des environnements : créer et supprimer des environnements, lister les environnements, obtenir des informations sur les environnements et installer des packages PyPI.
  • Opérations DAG : listez les DAG, déclenchez les exécutions de DAG et vérifiez l'état d'exécution des DAG et des tâches.
  • Récupération des diagnostics : récupérez les journaux des tâches et inspectez les erreurs d'exécution.

Vous pouvez choisir d'autoriser uniquement les outils en lecture seule dans certains environnements via la règle de votre organisation. Les outils MCP en lecture seule ont l'attribut MCP mcp.tool.isReadOnly défini sur "true".

Optimisation de l'environnement basée sur la télémétrie

Pour optimiser les environnements en fonction des données de télémétrie, utilisez la compétence Recommandations de Data Agent Kit (gcp-managed-airflow-recommendations).

La compétence de recommandations fournit une analyse télémétrique automatisée des métriques suivantes :

  • Utilisation du processeur et de la mémoire par la charge de travail.
  • Fréquences de redémarrage des nœuds de calcul et du planificateur.
  • Latence d'analyse du DAG.
  • Hygiène des bucket Cloud Storage.

En fonction de l'analyse de la télémétrie, la skill fournit des conseils prescriptifs pour ajuster les options de configuration Airflow, optimiser l'autoscaling des nœuds de calcul et du planificateur, et résoudre les problèmes de ressources.

Assistance pour la migration des DAG

Pour automatiser les migrations et les mises à niveau de workflows, utilisez la skill de migration Data Agent Kit (gcp-managed-airflow-migrations).

La compétence de migration exécute un workflow de mise à niveau en quatre phases :

  1. Analyse statique des dépendances et vérifications de la compatibilité : analysez le code à l'aide d'outils tels que les règles de linting Ruff pour Airflow.
  2. Recettes de correction automatisées : générez des correctifs pour les obsolescences et les mises à jour de fournisseurs, comme les mises à jour de packages de fournisseurs Google.
  3. Refactorisation du code DAG : refactorisez automatiquement le code DAG.
  4. Vérification et validation : vérifiez l'exactitude des workflows migrés.

Limites

Les capacités agentiques dans Managed Airflow présentent les limites suivantes.

Résidence des données et traitement conversationnel :

  • L'agent Airflow géré dans la console est optimisé par l'API Conversational Analytics, qui fonctionne selon sa propre règle de résidence des données.
  • Les conversations et requêtes de chat peuvent être traitées dans une région géographique ou multirégion différente de celle où résident votre environnement et vos données Managed Airflow.

Rôles et authentification IAM :

  • L'utilisation du serveur MCP distant nécessite des rôles IAM explicites : roles/serviceusage.serviceUsageAdmin pour activer le service et roles/mcp.toolUser pour exécuter les appels d'outils.

  • Nous vous recommandons d'utiliser des identités de service dédiées pour les agents externes (tels que Gemini Code Assist, Gemini CLI, ChatGPT, Claude, Cursor, Goose) afin d'auditer et de limiter les actions.

  • L'accès est limité par les identifiants OAuth, qui distinguent l'accès complet (https://www.googleapis.com/auth/composer) de l'accès en lecture seule (https://www.googleapis.com/auth/composer.readonly).

Périmètre opérationnel et garde-fous de sécurité du MCP :

  • Les opérations de mutation et destructives sont soumises aux contraintes des règles d'administration et aux stratégies de refus IAM.

Recommandations de télémétrie et compétences en migration :

  • La compétence de recommandation (gcp-managed-airflow-recommendations) analyse la télémétrie (utilisation du processeur et de la mémoire, redémarrages des nœuds de calcul et du planificateur, latence d'analyse DAG et hygiène des bucket Cloud Storage) et fournit des conseils d'optimisation, mais n'applique pas automatiquement les modifications de l'infrastructure.
  • La compétence Migrations (gcp-managed-airflow-migrations) automatise l'analyse des dépendances et le refactoring du code pour Airflow 2.11.1 et Airflow 3, mais les modifications incompatibles nécessitent une validation manuelle et des tests.

Aperçu des conditions d'utilisation et des SLA :

  • Les fonctionnalités en preview ou utilisant des paramètres de modèle preview sont soumises aux conditions des offres de pré-DG et ne sont pas couvertes par les contrats de niveau de service (SLA) de disponibilité générale.

Étapes suivantes