Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)
Le capacità agentiche in Managed Airflow ti consentono di ottenere insight sull'integrità e sulle metriche dell'ambiente, diagnosticare e risolvere i workflow non riusciti, connettere agenti sviluppatori esterni agli ambienti utilizzando il Model Context Protocol (MCP) e applicare migrazioni e suggerimenti di telemetria automatizzati.
Agente Managed Airflow
L'agente Managed Airflow può aiutarti a:
- Identifica problemi o colli di bottiglia esistenti o potenziali e ottimizza le prestazioni del tuo ambiente.
- Comprendi, diagnostica e risolvi i problemi relativi alle attività Airflow e alle esecuzioni DAG non riuscite. Analizza l'esecuzione dell'attività.
- Ottieni informazioni sulle metriche e sul monitoraggio dell'ambiente.
Per esaminare le esecuzioni DAG e le istanze di attività non riuscite, avvia una conversazione con l'agente Managed Airflow nella console Google Cloud . Puoi avviare un'indagine diretta sulle cause principali facendo clic sul pulsante Indaga per le esecuzioni di DAG e le istanze di attività non riuscite.
L'agente Managed Airflow fornisce report diagnostici strutturati, che includono:
- Una dichiarazione del problema
- Prove con estratti di log e timestamp
- Consigli pratici per la correzione
Server Model Context Protocol (MCP) remoto
Il server Model Context Protocol (MCP) fornisce un'interfaccia JSON-RPC standard aperta che consente ad agenti sviluppatori esterni, come Gemini Code Assist, Gemini CLI, ChatGPT, Claude, Cursor, Goose o strumenti personalizzati, di interagire con gli ambienti Managed Airflow.
Il server MCP remoto fornisce le seguenti funzionalità e strumenti:
- Operazioni del ciclo di vita dell'ambiente: crea ed elimina ambienti, elenca ambienti, ottieni i dettagli dell'ambiente e installa pacchetti PyPI.
- Operazioni DAG: elenca i DAG, attiva le esecuzioni dei DAG e controlla lo stato di esecuzione di DAG e attività.
- Recupero della diagnostica: recupera i log delle attività e ispeziona gli errori di esecuzione.
Potresti voler consentire solo strumenti di sola lettura in determinati ambienti tramite
i criteri della tua organizzazione. Gli strumenti MCP di sola lettura hanno l'attributo MCP
mcp.tool.isReadOnly impostato su true.
Ottimizzazione dell'ambiente basata sulla telemetria
Per ottimizzare gli ambienti in base ai dati di telemetria, utilizza
l'abilità di suggerimento del Data Agent Kit
(gcp-managed-airflow-recommendations).
La competenza Suggerimenti fornisce l'analisi automatizzata della telemetria delle seguenti metriche:
- Utilizzo della CPU e della memoria del carico di lavoro.
- Frequenze di riavvio di worker e scheduler.
- Latenza di analisi DAG.
- Igiene del bucket Cloud Storage.
In base all'analisi della telemetria, la skill offre indicazioni prescrittive per ottimizzare le opzioni di configurazione di Airflow, la scalabilità automatica di worker e scheduler e risolvere i colli di bottiglia delle risorse.
Assistenza per la migrazione del DAG
Per automatizzare le migrazioni e gli upgrade dei flussi di lavoro, utilizza l'abilità di migrazione del Data Agent Kit (gcp-managed-airflow-migrations).
La competenza Migrazioni esegue un flusso di lavoro di upgrade in quattro fasi:
- Analisi statica delle dipendenze e controlli di compatibilità: analizza il codice utilizzando strumenti come le regole di linting Ruff per Airflow.
- Ricette di correzione automatica: genera correzioni per i ritiri e gli aggiornamenti dei provider, ad esempio gli aggiornamenti dei pacchetti del provider Google.
- Refactoring del codice DAG: esegui automaticamente il refactoring del codice DAG.
- Verifica e convalida: verifica la correttezza dei workflow di cui è stata eseguita la migrazione.
Limitazioni
Le capacità agentiche in Managed Airflow presentano le seguenti limitazioni.
Residenza dei dati ed elaborazione conversazionale:
- L'agente Managed Airflow nella console è basato sull'API Conversational Analytics, che opera in base a una propria policy di residenza dei dati.
- Le conversazioni e i prompt della chat possono essere elaborati in una regione geografica o in più regioni diverse da quelle in cui si trovano l'ambiente e i dati di Managed Airflow.
Ruoli e autenticazione IAM:
L'utilizzo del server MCP remoto richiede ruoli IAM espliciti:
roles/serviceusage.serviceUsageAdminper abilitare il servizio eroles/mcp.toolUserper eseguire le chiamate agli strumenti.Ti consigliamo di utilizzare identità di servizio dedicate per agenti esterni (come Gemini Code Assist, Gemini CLI, ChatGPT, Claude, Cursor, Goose) per controllare e limitare le azioni.
L'accesso è limitato dalle credenziali OAuth che distinguono l'accesso completo (
https://www.googleapis.com/auth/composer) dall'accesso di sola lettura (https://www.googleapis.com/auth/composer.readonly).
Ambito operativo e misure di protezione della MCP:
- Le operazioni di mutazione e distruttive sono soggette a vincoli delle policy dell'organizzazione e a policy di negazione IAM.
Consigli sulla telemetria e competenze di migrazione:
- La competenza per i consigli (
gcp-managed-airflow-recommendations) analizza la telemetria (utilizzo di CPU e memoria, riavvii di worker e scheduler, latenza di analisi DAG e igiene dei bucket Cloud Storage) e fornisce suggerimenti per l'ottimizzazione, ma non applica automaticamente le modifiche all'infrastruttura. - La competenza Migrazioni (
gcp-managed-airflow-migrations) automatizza l'analisi delle dipendenze e il refactoring del codice per Airflow 2.11.1 e Airflow 3, ma le modifiche che causano interruzioni richiedono la verifica manuale e la convalida dei test.
Visualizza l'anteprima dei termini e degli SLA:
- Le funzionalità in anteprima o che utilizzano parametri del modello di anteprima operano in base ai Termini delle offerte pre-GA e non sono soggette agli accordi sul livello del servizio (SLA) GA.
Passaggi successivi
- Risolvi i problemi relativi alle attività Airflow e alle esecuzioni dei DAG con l'agente Managed Airflow
- Utilizzo del server MCP remoto Managed Airflow.
- Esplora il repository GitHub di Data Agent Kit.