Managed Airflow(第 3 世代) | Managed Airflow(第 2 世代) | Managed Airflow(以前の第 1 世代)
Managed Airflow のエージェント機能を使用すると、環境の健全性と指標に関する分析情報を取得したり、失敗したワークフローを診断して解決したり、Model Context Protocol(MCP)を使用して外部のデベロッパー エージェントを環境に接続したり、自動化されたテレメトリーの推奨事項と移行を適用したりできます。
Managed Airflow エージェント
Managed Airflow エージェントは、次のことに役立ちます。
- 既存または潜在的な問題やボトルネックを特定し、環境のパフォーマンスを最適化します。
- 失敗した Airflow タスクと DAG 実行に関する問題を把握、診断、解決します。タスクの実行を分析します。
- 環境の指標とモニタリング情報に関する分析情報を取得します。
失敗した DAG 実行とタスク インスタンスを調査するには、 Google Cloud コンソールの Managed Airflow エージェントとの会話を開始します。失敗した DAG 実行とタスク インスタンスの [調査] ボタンをクリックすると、根本原因の直接調査を開始できます。
Managed Airflow エージェントは、次のような構造化された診断レポートを提供します。
- 問題文
- ログの抜粋とタイムスタンプを含む証拠
- 実行可能な修復の推奨事項
リモート Model Context Protocol(MCP)サーバー
Model Context Protocol(MCP)サーバーは、Gemini Code Assist、Gemini CLI、ChatGPT、Claude、Cursor、Goose、カスタムツールなどの外部デベロッパー エージェントが Managed Airflow 環境とやり取りできるようにするオープン スタンダードの JSON-RPC インターフェースを提供します。
リモート MCP サーバーは、次の機能とツールを提供します。
- 環境ライフサイクル オペレーション: 環境の作成と削除、環境のリスト表示、環境の詳細の取得、PyPI パッケージのインストール。
- DAG オペレーション: DAG の一覧表示、DAG 実行のトリガー、DAG とタスクの実行状態の確認。
- 診断情報の取得: タスクログを取得し、実行エラーを検査します。
組織のポリシーを使用して、特定の環境で読み取り専用ツールのみを許可することがあります。読み取り専用の MCP ツールでは、MCP 属性 mcp.tool.isReadOnly が true に設定されています。
テレメトリー主導の環境最適化
テレメトリー データに基づいて環境を最適化するには、Data Agent Kit の推奨事項スキル(gcp-managed-airflow-recommendations)を使用します。
推奨事項スキルは、次の指標の自動テレメトリー分析を提供します。
- ワークロードの CPU とメモリの使用率。
- ワーカーとスケジューラの再起動頻度。
- DAG 解析のレイテンシ。
- Cloud Storage バケットの衛生状態。
テレメトリー分析に基づいて、このスキルは Airflow 構成オプションのチューニング、ワーカーとスケジューラの自動スケーリングの最適化、リソースのボトルネックの解消に関する推奨事項を提供します。
DAG 移行支援
ワークフローの移行とアップグレードを自動化するには、Data Agent Kit の移行スキル(gcp-managed-airflow-migrations)を使用します。
移行スキルは、4 フェーズのアップグレード ワークフローを実行します。
- 静的依存関係分析と互換性チェック: Airflow の Ruff linting ルールなどのツールを使用してコードを分析します。
- 自動修復レシピ: Google プロバイダ パッケージの更新など、非推奨とプロバイダの更新に対する修正を生成します。
- DAG コードのリファクタリング: DAG コードを自動的にリファクタリングします。
- 検証と妥当性確認: 移行されたワークフローの正確性を検証します。
制限事項
マネージド Airflow のエージェント機能には次の制限があります。
データ所在地と会話処理:
- コンソール内の Managed Airflow エージェントは、独自のデータ所在地ポリシーに基づいて動作する Conversational Analytics API を利用しています。
- チャットの会話とプロンプトは、Managed Airflow 環境とデータが存在する地理的リージョンまたはマルチリージョンとは異なるリージョンで処理されることがあります。
IAM ロールと認証:
リモート MCP サーバーを使用するには、サービスを有効にする
roles/serviceusage.serviceUsageAdminとツール呼び出しを実行するroles/mcp.toolUserの明示的な IAM ロールが必要です。外部エージェント(Gemini Code Assist、Gemini CLI、ChatGPT、Claude、Cursor、Goose など)専用のサービス ID を使用して、アクションを監査し、制限することをおすすめします。
アクセスは、完全アクセス権(
https://www.googleapis.com/auth/composer)と読み取り専用アクセス権(https://www.googleapis.com/auth/composer.readonly)を区別する OAuth 認証情報によってスコープ設定されます。
MCP の運用範囲とセキュリティ ガードレール:
- 変更オペレーションと破棄オペレーションは、組織のポリシーの制約と IAM 拒否ポリシーの対象となります。
テレメトリーの推奨事項と移行スキル:
- 推奨事項スキル(
gcp-managed-airflow-recommendations)は、テレメトリー(CPU とメモリの使用率、ワーカーとスケジューラの再起動、DAG 解析のレイテンシ、Cloud Storage バケットの衛生状態)を分析してチューニングのアドバイスを提供しますが、インフラストラクチャの変更を自動的に適用することはありません。 - 移行スキル(
gcp-managed-airflow-migrations)は、Airflow 2.11.1 と Airflow 3 の依存関係分析とコード リファクタリングを自動化しますが、互換性のない変更には手動での検証とテスト検証が必要です。
利用規約と SLA のプレビュー:
- プレビュー版の機能またはプレビュー モデル パラメータを使用する機能は、一般提供前サービス規約に基づいて動作し、一般提供のサービスレベル契約(SLA)は適用されません。
次のステップ
- Managed Airflow Agent を使用して Airflow タスクと DAG 実行のトラブルシューティングを行う
- Managed Airflow リモート MCP サーバーを使用する。
- Data Agent Kit の GitHub リポジトリを確認する。