빠르게 진화하는 AI 환경에서 에이전트를 빌드하고 배포하는 것은 고유한 과제를 안겨줍니다. AI 에이전트는 드리프트, 할루시네이션, 조용히 회귀할 수 있습니다. 예상치 못한 결정을 내리거나 조치를 취할 수 있습니다. 또한 에이전트가 아닌 소프트웨어와는 다른 방식으로 실패할 수도 있습니다. 에이전트 관측 가능성은 소프트웨어 에이전트, 특히 대규모 언어 모델 (LLM)을 사용하여 빌드된 AI 기반 에이전트의 내부 상태와 동작에 관한 유용한 정보를 얻는 방법을 의미합니다.
에이전트 모니터링 가능성의 이점
AI 에이전트는 비결정적이고 복잡하므로 모니터링 가능성은 성능, 안전성, 신뢰성을 이해하고, 디버깅하고, 평가하고, 개선하는 데 매우 중요합니다.
에이전트 관측 가능성의 주요 측면에는 다음 항목의 모니터링 및 분석이 포함됩니다.
- LLM 상호작용: 프롬프트, 응답, 토큰 사용량, 지연 시간, 오류율을 추적합니다.
- 도구 사용: 에이전트가 상호작용하는 외부 도구 및 API를 모니터링합니다(호출 수, 성공 또는 실패, 지연 시간, 교환된 데이터 포함).
- 에이전트 동작 및 추론: 에이전트의 의사 결정 프로세스, 취한 단계의 순서, 내부 상태 변경사항을 이해합니다.
- 성능: 에이전트 호출의 엔드 투 엔드 지연 시간, 개별 단계의 지연 시간, 리소스 소비를 측정합니다. 여기에는 상세 추적이 포함되는 경우가 많습니다.
- 보안 및 안전: 정책 시행을 추적하고, 위험한 작업을 식별하고, 콘텐츠 안전을 분석하고, 액세스 패턴을 모니터링합니다.
- 품질 및 평가: 에이전트 출력의 정확성, 사실성, 유용성, 전반적인 품질을 평가하며, 평가 프레임워크와 통합되는 경우가 많습니다.
Google Cloud내에서 에이전트 모니터링 가능성이란 무엇인가요?
Google Cloud 의 애플리케이션 모니터링은 에이전트 관측 가능성과 애플리케이션 관측 가능성을 모두 제공합니다. 이 서비스는 App Hub 애플리케이션, 서비스, 워크로드의 상태와 성능을 파악할 수 있는 대시보드와 토폴로지 맵을 제공합니다. 또한 AI 리소스의 오류율 및 토큰 사용량과 같은 측정항목을 생성하고 표시합니다. 이러한 측정항목을 생성하기 위해 애플리케이션 모니터링은 OpenTelemetry 생성형 AI 시맨틱 규칙을 따르는 애플리케이션별 라벨과 이벤트를 사용하여 추적 데이터를 필터링하고 집계합니다.
에이전트 관측 가능성의 경우 에이전트 개발 키트 (ADK) 프레임워크를 사용하여 에이전트를 빌드하는 것이 좋습니다. ADK는 OpenTelemetry를 사용하므로 ADK에서 생성하는 원격 분석은 OpenTelemetry 생성형 AI 시맨틱 규칙과 일치합니다.
실패를 디버그하거나, 비용을 모니터링하거나, Gemini Enterprise Agent Platform, Agent Gateway, Model Armor 에이전트의 에이전트 동작을 분석하려면 로그, 측정항목, 추적 데이터가 필요합니다.
- 로그는 이벤트 및 오류에 관한 정보를 제공합니다.
- 측정항목을 사용하면 지연 시간과 토큰 사용량을 모니터링할 수 있습니다.
- 트레이스는 실행 경로에 관한 정보를 제공하며, 모델 호출 수 또는 총 토큰 사용량과 같은 측정항목을 도출하기 위해 분석됩니다. 이러한 파생 측정항목은 상담사 실적과 행동에 대한 가시성을 제공합니다. 자세한 내용은 AI 리소스 보기를 참고하세요.
- 프롬프트 및 응답 데이터를 사용하면 Gen AI Evaluation Service를 사용하여 에이전트 품질과 의사 결정을 평가할 수 있습니다.
애플리케이션의 애플리케이션 모니터링 대시보드에는 Gemini Enterprise 앱, Gemini Enterprise Agent Platform 에이전트, MCP 서버와 같은 애플리케이션의 서비스 및 워크로드 목록이 표시됩니다.
인프라 유형 또는 App Hub 기능 유형을 사용하여 에이전트 서비스 및 워크로드를 식별할 수 있습니다. 기능 유형 열은 기본적으로 숨겨져 있습니다.
에이전트 관측 가능성 시작하기
추론 및 도구를 사용하여 복잡한 엔터프라이즈 작업을 실행하는 AI 에이전트를 빌드, 배포, 관리하는 방법은 에이전트 개요를 참고하세요.
상담사 품질에 관한 정보를 제공하는 평가를 수행하는 방법을 알아보려면 상담사 평가를 참고하세요.
코드 샘플은 다음을 참고하세요.
다음 단계
- 에이전트를 보호하고 관리하는 방법을 알아보려면 에이전트 관리를 참고하세요.