Ringkasan kemampuan seperti agen di Managed Airflow

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Kemampuan agentic di Managed Airflow memungkinkan Anda mendapatkan insight tentang kesehatan dan metrik lingkungan, mendiagnosis dan menyelesaikan alur kerja yang gagal, menghubungkan agen developer eksternal ke lingkungan menggunakan Model Context Protocol (MCP), serta menerapkan rekomendasi dan migrasi telemetri otomatis.

Agen Managed Airflow

Dialog Ask Agent menampilkan Managed Airflow Agent yang merespons pertanyaan 'Why my environment isn't healthy?' (Mengapa lingkungan saya tidak sehat?) Responsnya adalah pembuatan lingkungan gagal.
Gambar 1. Percakapan dengan Managed Airflow Agent (klik untuk memperbesar)

Agen Managed Airflow dapat membantu Anda:

  • Identifikasi masalah atau hambatan yang ada atau potensial dan optimalkan performa lingkungan Anda.
  • Memahami, mendiagnosis, dan menyelesaikan masalah pada tugas Airflow dan eksekusi DAG yang gagal. Menganalisis eksekusi tugas.
  • Mendapatkan insight tentang metrik dan informasi pemantauan lingkungan.

Untuk menyelidiki kegagalan eksekusi DAG dan instance tugas, mulai percakapan dengan Managed Airflow Agent di konsol Google Cloud . Anda dapat memulai investigasi langsung penyebab utama dengan mengklik tombol Investigasi untuk menjalankan DAG dan instance tugas yang gagal.

Managed Airflow Agent menyediakan laporan diagnostik terstruktur, yang mencakup:

  • Pernyataan masalah
  • Bukti dengan kutipan log dan stempel waktu
  • Rekomendasi perbaikan yang dapat ditindaklanjuti

Server Model Context Protocol (MCP) jarak jauh

Server Model Context Protocol (MCP) menyediakan antarmuka JSON-RPC standar terbuka yang memungkinkan agen developer eksternal, seperti Gemini Code Assist, Gemini CLI, ChatGPT, Claude, Cursor, Goose, atau alat kustom, berinteraksi dengan lingkungan Managed Airflow.

Server MCP jarak jauh menyediakan kemampuan dan alat berikut:

  • Operasi siklus proses lingkungan: Buat dan hapus lingkungan, cantumkan lingkungan, dapatkan detail lingkungan, dan instal paket PyPI.
  • Operasi DAG: Mencantumkan DAG, memicu operasi DAG, dan memeriksa status eksekusi DAG dan tugas.
  • Pengambilan diagnostik: Ambil log tugas dan periksa error eksekusi.

Anda mungkin hanya ingin mengizinkan alat hanya baca di lingkungan tertentu melalui kebijakan organisasi Anda. Alat MCP yang bersifat hanya baca memiliki atribut MCP mcp.tool.isReadOnly yang ditetapkan ke benar (true).

Pengoptimalan lingkungan berbasis telemetri

Untuk mengoptimalkan lingkungan berdasarkan data telemetri, gunakan kemampuan rekomendasi Data Agent Kit (gcp-managed-airflow-recommendations).

Skill rekomendasi menyediakan analisis telemetri otomatis untuk metrik berikut:

  • Penggunaan CPU dan memori workload.
  • Frekuensi mulai ulang worker dan scheduler.
  • Latensi penguraian DAG.
  • Kebersihan bucket Cloud Storage.

Berdasarkan analisis telemetri, skill ini menawarkan panduan preskriptif untuk menyesuaikan opsi konfigurasi Airflow, mengoptimalkan penskalaan otomatis pekerja dan penjadwal, serta mengatasi bottleneck resource.

Bantuan migrasi DAG

Untuk mengotomatiskan migrasi dan upgrade alur kerja, gunakan keterampilan migrasi Data Agent Kit (gcp-managed-airflow-migrations).

Keterampilan migrasi menjalankan alur kerja upgrade empat fase:

  1. Analisis dependensi statis dan pemeriksaan kompatibilitas: Analisis kode menggunakan alat seperti aturan linting Ruff untuk Airflow.
  2. Resep perbaikan otomatis: Buat perbaikan untuk penghentian penggunaan dan update penyedia, seperti update paket penyedia Google.
  3. Pemfaktoran ulang kode DAG: Secara otomatis memfaktorkan ulang kode DAG.
  4. Verifikasi dan validasi: Verifikasi kebenaran alur kerja yang dimigrasikan.

Batasan

Kemampuan agentik di Managed Airflow memiliki batasan berikut.

Residensi data dan pemrosesan percakapan:

  • Managed Airflow Agent dalam konsol didukung oleh Conversational Analytics API, yang beroperasi berdasarkan kebijakan residensi data-nya sendiri.
  • Percakapan dan perintah chat dapat diproses di region geografis atau multi-region yang berbeda dengan lokasi lingkungan dan data Managed Airflow Anda.

Peran dan autentikasi IAM:

  • Penggunaan server MCP jarak jauh memerlukan peran IAM eksplisit: roles/serviceusage.serviceUsageAdmin untuk mengaktifkan layanan dan roles/mcp.toolUser untuk mengeksekusi panggilan alat.

  • Sebaiknya gunakan identitas layanan khusus untuk agen eksternal (seperti Gemini Code Assist, Gemini CLI, ChatGPT, Claude, Cursor, Goose) untuk mengaudit dan membatasi tindakan.

  • Akses dicakup oleh kredensial OAuth yang membedakan akses penuh (https://www.googleapis.com/auth/composer) dari akses hanya baca (https://www.googleapis.com/auth/composer.readonly).

Cakupan operasional MCP dan pedoman keamanan:

  • Operasi yang mengubah dan merusak tunduk pada batasan Kebijakan Organisasi dan kebijakan penolakan IAM.

Rekomendasi telemetri dan keterampilan migrasi:

  • Keterampilan rekomendasi (gcp-managed-airflow-recommendations) menganalisis telemetri (penggunaan CPU dan memori, mulai ulang pekerja dan penjadwal, latensi parsing DAG, dan kebersihan bucket Cloud Storage) serta memberikan saran penyesuaian, tetapi tidak menerapkan perubahan infrastruktur secara otomatis.
  • Keterampilan migrasi (gcp-managed-airflow-migrations) mengotomatiskan analisis dependensi dan refaktorisasi kode untuk Airflow 2.11.1 dan Airflow 3, tetapi perubahan yang merusak memerlukan verifikasi manual dan validasi pengujian.

Pratinjau persyaratan dan SLA:

  • Kemampuan dalam Pratinjau atau yang menggunakan parameter model pratinjau beroperasi berdasarkan Persyaratan Penawaran Pra-GA dan tidak memiliki perjanjian tingkat layanan (SLA) GA.

Langkah berikutnya