Visão geral das funcionalidades de agente no Airflow Gerenciado

Airflow gerenciado (Geração 3) | Airflow gerenciado (Geração 2) | Airflow gerenciado (Geração 1 legada)

Com os recursos agênticos no Airflow Gerenciado, você tem insights sobre a integridade e as métricas do ambiente, diagnostica e resolve fluxos de trabalho com falha, conecta agentes de desenvolvedores externos a ambientes usando o Protocolo de Contexto de Modelo (MCP) e aplica recomendações e migrações de telemetria automatizadas.

Agente do Airflow gerenciado

A caixa de diálogo Perguntar ao agente mostra o Airflow Gerenciado respondendo à pergunta "Por que meu ambiente não está íntegro?" A resposta é que a criação do ambiente falhou.
Figura 1. Conversa com o agente do Airflow Gerenciado (clique para ampliar)

O agente do Airflow gerenciado pode ajudar você a:

  • Identifique problemas ou gargalos atuais ou em potencial e otimize a performance do seu ambiente.
  • Entenda, diagnostique e resolva problemas com tarefas do Airflow e execuções de DAG com falha. Analise a execução de tarefas.
  • Receba insights sobre as métricas e informações de monitoramento do ambiente.

Para investigar execuções de DAG e instâncias de tarefas com falha, inicie uma conversa com o agente do Airflow Gerenciado no console do Google Cloud . Para iniciar uma investigação direta da causa raiz, clique no botão Investigar nas execuções de DAG e instâncias de tarefas com falha.

O agente do Airflow Gerenciado fornece relatórios de diagnóstico estruturados, que incluem:

  • Uma definição do problema
  • Evidências com trechos de registros e carimbos de data/hora
  • Recomendações práticas de correção

Servidor remoto do Protocolo de Contexto de Modelo (MCP)

O servidor do Protocolo de Contexto de Modelo (MCP) oferece uma interface JSON-RPC de padrão aberto que permite que agentes de desenvolvedores externos, como o Gemini Code Assist, a CLI do Gemini, o ChatGPT, o Claude, o Cursor, o Goose ou ferramentas personalizadas, interajam com ambientes do Airflow Gerenciado.

O servidor MCP remoto oferece os seguintes recursos e ferramentas:

  • Operações do ciclo de vida do ambiente: crie e exclua ambientes, liste ambientes, receba detalhes do ambiente e instale pacotes PyPI.
  • Operações de DAG: listar DAGs, acionar execuções de DAGs e verificar o estado de execução de DAGs e tarefas.
  • Recuperação de diagnóstico: busque registros de tarefas e inspecione erros de execução.

Talvez você queira permitir apenas ferramentas de leitura em determinados ambientes usando a política da organização. As ferramentas do MCP somente leitura têm o atributo do MCP mcp.tool.isReadOnly definido como verdadeiro.

Otimização do ambiente com base em telemetria

Para otimizar ambientes com base em dados de telemetria, use a habilidade de recomendações do Data Agent Kit (gcp-managed-airflow-recommendations).

A habilidade de recomendações oferece análise automatizada de telemetria das seguintes métricas:

  • Uso de CPU e memória da carga de trabalho.
  • Frequências de reinicialização do worker e do programador.
  • Latência de análise do DAG.
  • Higiene do bucket do Cloud Storage.

Com base na análise de telemetria, a skill oferece orientação prescritiva para ajustar as opções de configuração do Airflow, otimizar o escalonamento automático de workers e programadores e resolver gargalos de recursos.

Assistência para migração de DAGs

Para automatizar migrações e upgrades de fluxo de trabalho, use a habilidade de migrações do Data Agent Kit (gcp-managed-airflow-migrations).

A habilidade de migrações executa um fluxo de trabalho de upgrade em quatro fases:

  1. Análise de dependência estática e verificações de compatibilidade: analise o código usando ferramentas como regras de linting do Ruff para o Airflow.
  2. Receitas de correção automatizadas: gere correções para descontinuações e atualizações de provedores, como atualizações de pacotes do provedor do Google.
  3. Refatoração de código DAG: refatora automaticamente o código DAG.
  4. Verificação e validação: verifique a correção dos fluxos de trabalho migrados.

Limitações

Os recursos de agente no Airflow Gerenciado têm as seguintes limitações.

Residência de dados e processamento de conversas:

  • O agente do Airflow Gerenciado no console é alimentado pela API Conversational Analytics, que opera de acordo com a própria política de residência de dados.
  • As conversas e os comandos do chat podem ser processados em uma região geográfica ou multirregional diferente de onde seu ambiente e dados do Airflow Gerenciado estão localizados.

Papéis e autenticação do IAM:

  • O uso do servidor MCP remoto exige papéis explícitos do IAM: roles/serviceusage.serviceUsageAdmin para ativar o serviço e roles/mcp.toolUser para executar chamadas de ferramentas.

  • Recomendamos usar identidades de serviço dedicadas para agentes externos (como Gemini Code Assist, CLI do Gemini, ChatGPT, Claude, Cursor, Goose) para auditar e restringir ações.

  • O acesso é limitado pelas credenciais do OAuth, que distinguem o acesso total (https://www.googleapis.com/auth/composer) do acesso somente leitura (https://www.googleapis.com/auth/composer.readonly).

Escopo operacional e proteções de segurança do MCP:

  • Operações destrutivas e de mutação estão sujeitas a restrições da política da organização e políticas de negação do IAM.

Recomendações de telemetria e habilidades de migração:

  • A habilidade de recomendações (gcp-managed-airflow-recommendations) analisa a telemetria (utilização de CPU e memória, reinicializações de worker e programador, latência de análise de DAG e higiene do bucket do Cloud Storage) e oferece dicas de ajuste, mas não aplica mudanças na infraestrutura automaticamente.
  • A habilidade de migrações (gcp-managed-airflow-migrations) automatiza a análise de dependências e a refatoração de código para o Airflow 2.11.1 e o Airflow 3, mas as mudanças incompatíveis exigem verificação manual e validação de teste.

Prévia dos termos e SLAs:

  • Os recursos em pré-lançamento ou que usam parâmetros de modelo de pré-lançamento operam de acordo com os Termos das ofertas pré-GA e não têm contratos de nível de serviço (SLAs) de GA.

A seguir