Übersicht über die agentenbasierten Funktionen in Managed Airflow

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Mit den agentischen Funktionen in Managed Airflow können Sie Einblicke in den Zustand und die Messwerte der Umgebung erhalten, fehlgeschlagene Workflows diagnostizieren und beheben, externe Entwickler-Agents über das Model Context Protocol (MCP) mit Umgebungen verbinden und automatisierte Telemetrieempfehlungen und Migrationen anwenden.

Managed Airflow-Agent

Im Dialogfeld „Agent fragen“ wird der Managed Airflow Agent angezeigt, der auf die Frage „Warum ist meine Umgebung nicht fehlerfrei?“ antwortet. Die Antwort ist, dass die Umgebung nicht erstellt werden konnte.
Abbildung 1. Unterhaltung mit dem Managed Airflow-Agenten (zum Vergrößern klicken)

Der Managed Airflow-Agent kann Ihnen bei Folgendem helfen:

  • Vorhandene oder potenzielle Probleme oder Engpässe identifizieren und die Leistung Ihrer Umgebung optimieren.
  • Probleme mit fehlgeschlagenen Airflow-Tasks und DAG-Ausführungen nachvollziehen, diagnostizieren und beheben Aufgabenausführung analysieren
  • Einblicke in die Messwerte und Monitoring-Informationen der Umgebung erhalten.

Wenn Sie fehlgeschlagene DAG-Ausführungen und Task-Instanzen untersuchen möchten, starten Sie eine Unterhaltung mit dem Managed Airflow Agent in der Google Cloud -Konsole. Sie können eine direkte Ursachenanalyse starten, indem Sie für fehlgeschlagene DAG-Ausführungen und Taskinstanzen auf den Button Prüfen klicken.

Der Managed Airflow-Agent stellt strukturierte Diagnoseberichte bereit, die Folgendes enthalten:

  • Eine Problembeschreibung
  • Belege mit Logauszügen und Zeitstempeln
  • Umsetzbare Empfehlungen zur Abhilfe

Remote-MCP-Server (Model Context Protocol)

Der MCP-Server (Model Context Protocol) bietet eine offene JSON-RPC-Schnittstelle, über die externe Entwickler-Agents wie Gemini Code Assist, Gemini CLI, ChatGPT, Claude, Cursor, Goose oder benutzerdefinierte Tools mit Managed Airflow-Umgebungen interagieren können.

Der Remote-MCP-Server bietet die folgenden Funktionen und Tools:

  • Lebenszyklusvorgänge für Umgebungen: Umgebungen erstellen und löschen, Umgebungen auflisten, Umgebungsdetails abrufen und PyPI-Pakete installieren.
  • DAG-Vorgänge: DAGs auflisten, DAG-Ausführungen auslösen und den Ausführungsstatus von DAGs und Aufgaben prüfen.
  • Diagnoseabruf: Aufgabenprotokolle abrufen und Ausführungsfehler untersuchen.

Möglicherweise möchten Sie in bestimmten Umgebungen nur Tools mit Lesezugriff über Ihre Organisationsrichtlinie zulassen. Bei schreibgeschützten MCP-Tools ist das MCP-Attribut mcp.tool.isReadOnly auf „true“ gesetzt.

Telemetriebasierte Umgebungsoptimierung

Um Umgebungen anhand von Telemetriedaten zu optimieren, verwenden Sie den Data Agent Kit recommendations skill (gcp-managed-airflow-recommendations).

Der Skill „Empfehlungen“ bietet eine automatisierte Telemetrieanalyse der folgenden Messwerte:

  • CPU- und Arbeitsspeicherauslastung der Arbeitslast.
  • Häufigkeit von Worker- und Planer-Neustarts.
  • Latenz beim Parsen von DAGs.
  • Cloud Storage-Bucket-Hygiene.

Basierend auf der Telemetrieanalyse bietet der Skill präskriptive Anleitungen zum Anpassen von Airflow-Konfigurationsoptionen, zum Optimieren der automatischen Skalierung von Workern und Planern sowie zum Beheben von Ressourcenengpässen.

Unterstützung bei der DAG-Migration

Verwenden Sie den Data Agent Kit-Migrations-Skill (gcp-managed-airflow-migrations), um Workflow-Migrationen und ‑Upgrades zu automatisieren.

Der Migrations-Skill führt einen vierphasigen Upgrade-Workflow aus:

  1. Statische Abhängigkeitsanalyse und Kompatibilitätsprüfungen: Analysieren Sie Code mit Tools wie Ruff-Linting-Regeln für Airflow.
  2. Automatisierte Korrekturrezepte: Generieren Sie Korrekturen für die Einstellung von Funktionen und Anbieterupdates, z. B. für Google-Anbieterpaket-Updates.
  3. DAG-Coderefaktorierung: DAG-Code wird automatisch refaktoriert.
  4. Überprüfung und Validierung: Überprüfen Sie die Richtigkeit der migrierten Workflows.

Beschränkungen

Für die agentischen Funktionen in Managed Airflow gelten die folgenden Einschränkungen.

Datenstandort und Verarbeitung von Unterhaltungen:

  • Der in der Konsole verwaltete Airflow-Agent basiert auf der Conversational Analytics API, für die eine eigene Richtlinie zum Datenstandort gilt.
  • Chatunterhaltungen und Prompts können in einer anderen geografischen Region oder in mehreren Regionen verarbeitet werden als in der Region, in der sich Ihre Managed Airflow-Umgebung und Ihre Daten befinden.

IAM-Rollen und Authentifizierung:

  • Für die Verwendung des Remote-MCP-Servers sind explizite IAM-Rollen erforderlich: roles/serviceusage.serviceUsageAdmin zum Aktivieren des Dienstes und roles/mcp.toolUser zum Ausführen von Toolaufrufen.

  • Wir empfehlen, dedizierte Dienstidentitäten für externe Agenten (z. B. Gemini Code Assist, Gemini CLI, ChatGPT, Claude, Cursor, Goose) zu verwenden, um Aktionen zu prüfen und einzuschränken.

  • Der Zugriff wird durch OAuth-Anmeldedaten eingeschränkt, die zwischen Vollzugriff (https://www.googleapis.com/auth/composer) und Lesezugriff (https://www.googleapis.com/auth/composer.readonly) unterscheiden.

MCP-Betriebsbereich und Sicherheitsleitlinien:

  • Änderungs- und Löschvorgänge unterliegen Einschränkungen der Organisationsrichtlinie und IAM-Ablehnungsrichtlinien.

Empfehlungen für die Telemetrie und Migrations-Skills:

  • Der Empfehlungs-Skill (gcp-managed-airflow-recommendations) analysiert Telemetriedaten (CPU- und Speicherauslastung, Neustarts von Worker und Scheduler, DAG-Parsing-Latenz und Cloud Storage-Bucket-Hygiene) und gibt Optimierungshinweise, nimmt aber keine Infrastrukturänderungen automatisch vor.
  • Mit dem Migrations-Skill (gcp-managed-airflow-migrations) werden die Abhängigkeitsanalyse und das Refactoring von Code für Airflow 2.11.1 und Airflow 3 automatisiert. Bei Breaking Changes sind jedoch manuelle Überprüfungen und Testvalidierungen erforderlich.

Nutzungsbedingungen und SLAs in der Vorschau ansehen:

  • Funktionen in der Vorschau oder mit Vorschau-Modellparametern unterliegen den Nutzungsbedingungen für Pre-GA-Angebote und haben keine SLAs für die allgemeine Verfügbarkeit.

Nächste Schritte