Managed Airflow (3세대) | Managed Airflow (2세대) | Managed Airflow (기존 1세대)
Managed Airflow의 에이전트 기능은 환경 상태와 측정항목에 대한 통계를 얻고, 실패한 워크플로를 진단하고 해결하고, 모델 컨텍스트 프로토콜 (MCP)을 사용하여 외부 개발자 에이전트를 환경에 연결하고, 자동 원격 분석 추천과 이전을 적용할 수 있도록 지원합니다.
Managed Airflow 에이전트
Managed Airflow 에이전트는 다음 작업을 지원합니다.
- 기존 또는 잠재적 문제나 병목 현상을 식별하고 환경의 성능을 최적화합니다.
- 실패한 Airflow 작업 및 DAG 실행과 관련된 문제를 파악, 진단, 해결합니다. 태스크 실행을 분석합니다.
- 환경의 측정항목 및 모니터링 정보를 파악합니다.
실패한 DAG 실행 및 작업 인스턴스를 조사하려면 Google Cloud 콘솔에서 Managed Airflow 에이전트와 대화를 시작하세요. 실패한 DAG 실행 및 작업 인스턴스의 조사 버튼을 클릭하여 직접 근본 원인 조사를 시작할 수 있습니다.
Managed Airflow 에이전트는 다음을 포함하는 구조화된 진단 보고서를 제공합니다.
- 문제 기술문
- 로그 발췌 및 타임스탬프가 포함된 증거
- 실행 가능한 해결 권장사항
원격 모델 컨텍스트 프로토콜 (MCP) 서버
모델 컨텍스트 프로토콜 (MCP) 서버는 Gemini Code Assist, Gemini CLI, ChatGPT, Claude, Cursor, Goose 또는 맞춤 도구와 같은 외부 개발자 에이전트가 Managed Airflow 환경과 상호작용할 수 있도록 지원하는 개방형 표준 JSON-RPC 인터페이스를 제공합니다.
원격 MCP 서버는 다음과 같은 기능과 도구를 제공합니다.
- 환경 수명 주기 작업: 환경 생성 및 삭제, 환경 나열, 환경 세부정보 가져오기, PyPI 패키지 설치
- DAG 작업: DAG를 나열하고, DAG 실행을 트리거하고, DAG 및 태스크 실행 상태를 확인합니다.
- 진단 검색: 작업 로그를 가져오고 실행 오류를 검사합니다.
조직 정책을 통해 특정 환경에서 읽기 전용 도구만 허용할 수 있습니다. 읽기 전용인 MCP 도구의 MCP 속성 mcp.tool.isReadOnly은 true로 설정되어 있습니다.
원격 분석 기반 환경 최적화
원격 분석 데이터를 기반으로 환경을 최적화하려면 Data Agent Kit 추천 스킬(gcp-managed-airflow-recommendations)을 사용하세요.
추천 스킬은 다음 측정항목에 대한 자동 원격 분석을 제공합니다.
- 워크로드 CPU 및 메모리 사용률입니다.
- 작업자 및 스케줄러 재시작 빈도입니다.
- DAG 파싱 지연 시간입니다.
- Cloud Storage 버킷 위생
텔레메트리 분석을 기반으로 스킬은 Airflow 구성 옵션 조정, 작업자 및 스케줄러 자동 확장 최적화, 리소스 병목 현상 해결을 위한 규범적 안내를 제공합니다.
DAG 이전 지원
워크플로 마이그레이션 및 업그레이드를 자동화하려면 Data Agent Kit 마이그레이션 스킬(gcp-managed-airflow-migrations)을 사용하세요.
마이그레이션 스킬은 4단계 업그레이드 워크플로를 실행합니다.
- 정적 종속 항목 분석 및 호환성 검사: Airflow용 Ruff 린팅 규칙과 같은 도구를 사용하여 코드를 분석합니다.
- 자동 수정 레시피: Google 프로바이더 패키지 업데이트와 같은 지원 중단 및 프로바이더 업데이트를 위한 수정사항을 생성합니다.
- DAG 코드 리팩터링: DAG 코드를 자동으로 리팩터링합니다.
- 확인 및 검증: 이전된 워크플로의 정확성을 확인합니다.
제한사항
Managed Airflow의 에이전트 기능에는 다음과 같은 제한사항이 있습니다.
데이터 레지던시 및 대화형 처리:
- 콘솔 내 Managed Airflow 에이전트는 자체 데이터 레지던시 정책에 따라 작동하는 Conversational Analytics API로 구동됩니다.
- 채팅 대화와 프롬프트는 Managed Airflow 환경과 데이터가 있는 지리적 리전 또는 멀티 리전과 다른 지리적 리전 또는 멀티 리전에서 처리될 수 있습니다.
IAM 역할 및 인증:
원격 MCP 서버를 사용하려면 명시적인 IAM 역할이 필요합니다. 서비스를 사용 설정하려면
roles/serviceusage.serviceUsageAdmin, 도구 호출을 실행하려면roles/mcp.toolUser이 필요합니다.작업을 감사하고 제한하려면 외부 에이전트(예: Gemini Code Assist, Gemini CLI, ChatGPT, Claude, Cursor, Goose)에 전용 서비스 ID를 사용하는 것이 좋습니다.
액세스는 전체 액세스(
https://www.googleapis.com/auth/composer)와 읽기 전용 액세스(https://www.googleapis.com/auth/composer.readonly)를 구분하는 OAuth 사용자 인증 정보로 범위가 지정됩니다.
MCP 운영 범위 및 보안 보호 장치:
- 변경 및 파괴 작업에는 조직 정책 제약 조건과 IAM 거부 정책이 적용됩니다.
원격 분석 권장사항 및 이전 기술:
- 추천 스킬 (
gcp-managed-airflow-recommendations)은 원격 분석 (CPU 및 메모리 사용률, 작업자 및 스케줄러 다시 시작, DAG 파싱 지연 시간, Cloud Storage 버킷 위생)을 분석하고 조정 조언을 제공하지만 인프라 변경사항을 자동으로 적용하지는 않습니다. - 마이그레이션 스킬 (
gcp-managed-airflow-migrations)은 Airflow 2.11.1 및 Airflow 3의 종속 항목 분석과 코드 리팩터링을 자동화하지만, 호환성이 깨지는 변경사항에는 수동 확인과 테스트 검증이 필요합니다.
약관 및 SLA 미리보기:
- 미리보기 상태의 기능 또는 미리보기 모델 매개변수를 사용하는 기능은 GA 이전 서비스 약관에 따라 작동하며 GA 서비스수준계약(SLA)이 적용되지 않습니다.
다음 단계
- Managed Airflow Agent로 Airflow 작업 및 DAG 실행 문제 해결
- Managed Airflow 원격 MCP 서버 사용
- Data Agent Kit GitHub 저장소를 살펴봅니다.