AI 에이전트를 개발하는 경우 OpenTelemetry로 애플리케이션을 계측하여 에이전트가 추론하고, 도구를 호출하고, 프롬프트에 응답하는 방식을 관찰할 수 있습니다. 이 가이드에서는 LangGraph 및 에이전트 개발 키트 (ADK)와 같은 프레임워크를 사용하여 에이전트 원격 분석을 캡처하는 방법과 Cloud Trace에서 멀티모달 프롬프트 및 대답을 분석하는 방법을 설명합니다.
에이전트의 동작을 이해하기 위한 계측
생성형 AI 애플리케이션을 개발하거나 관리할 때 원격 분석 데이터는 자율 에이전트의 추론 단계, 도구 호출, 외부 상호작용을 캡처합니다. 이 데이터는 다음과 같은 이유로 유용합니다.
- 비결정적 동작 이해: 에이전트의 추론 프로세스는 결정적이지 않으므로 원격 분석은 에이전트가 내리는 결정과 선택하는 도구를 검사하는 유일한 신뢰할 수 있는 방법입니다.
- 오류 문제 해결 및 진단: trace는 분산된 에이전트 워크플로에서 실패한 API 요청, 무한 실행 루프, 지연 시간 병목 현상을 식별하는 데 도움이 됩니다.
- 거버넌스 지원 및 트래픽 검증: 원격 분석을 사용하면 애플리케이션 토폴로지와 같은 통신 흐름을 시각화하여 에이전트가 승인된 에이전트, MCP 서버, 외부 엔드포인트와만 통신하는지 확인할 수 있습니다.
- 출력 품질 및 비용 평가: 프롬프트, 대답, 토큰 사용량을 수집하면 모델 정확성을 평가하고, 할루시네이션을 감지하고, 리소스 소비를 최적화하는 데 도움이 됩니다.
생성형 AI 애플리케이션을 계측하는 방법
애플리케이션을 계측하려면 원격 분석을 생성하고 데이터를 저장, 쿼리, 분석할 수 있는 대상으로 전송합니다. 예를 들어 계측에서 Google Cloud 프로젝트로 원격 분석을 전송하는 경우 Google Cloud Observability를 사용하여 해당 데이터를 보고 분석할 수 있습니다.
Cloud Trace는 생성형 AI 애플리케이션에서 작성한 스팬이 스팬 및 이벤트의 시맨틱 규칙을 준수하는 경우 해당 스팬에서 이벤트를 자동으로 추출합니다. 이러한 규칙에 대한 자세한 내용은 다음 문서를 참조하세요.
Cloud Trace는 멀티모달 프롬프트와 응답도 표시할 수 있습니다. 이 시나리오에서는 프롬프트와 응답이 트레이스 데이터에 첨부되지 않습니다. 대신 Cloud Storage 버킷에 저장됩니다. 이 구성에 대한 자세한 내용은 멀티모달 프롬프트 및 대답 수집 및 보기를 참조하세요.
권장사항
애플리케이션 계측을 위한 통합 프레임워크를 제공하는 오픈소스 프로젝트인 OpenTelemetry를 사용하여 애플리케이션을 계측하는 것이 좋습니다. 이 문서에 나열된 계측 샘플은 OpenTelemetry를 사용합니다.
또한 프롬프트와 대답을 로그 항목이 아닌 Cloud Storage 버킷에 저장하는 것이 좋습니다.
Cloud Storage 버킷의 콘텐츠를 세밀하게 제어할 수 있습니다. 예를 들어 버킷에 저장된 개별 대화를 삭제할 수 있습니다. 하지만 개별 로그 항목은 삭제할 수 없습니다.
Cloud Storage 버킷은 로그 항목의 최대 크기인 256KiB보다 훨씬 큰 객체를 저장할 수 있습니다. 수신된 데이터가 최대 로그 항목 크기를 초과하면 Cloud Logging은
INVALID_ARGUMENT오류로 응답하고 데이터를 삭제합니다. 명령어가 오류 없이 완료되었지만 개별 필드가 크기 한도를 초과하면 Cloud Logging에서 해당 데이터를 자릅니다.
OpenTelemetry에 대한 자세한 내용은 OpenTelemetry란?을 참조하세요.
계측 샘플
에이전트 계측을 시작하려면 다음 샘플 애플리케이션 및 가이드를 참조하세요.
멀티모달 프롬프트 및 대답 수집 및 보기에서는 LangGraph ReAct 에이전트 또는 ADK로 빌드한 생성형 AI 에이전트를 구성하여 멀티모달 프롬프트와 대답을 수집하는 방법을 설명합니다. 또한 다음 작업을 수행하는 방법을 설명합니다.
- Cloud Storage 버킷에 프롬프트와 대답을 저장합니다.
- Trace 탐색기 페이지에서 프롬프트와 응답을 확인합니다.
- BigQuery로 프롬프트와 응답을 분석합니다.
- Vertex AI SDK for Python으로 프롬프트와 응답을 평가합니다.
OpenTelemetry를 사용하여 LangGraph ReAct 에이전트 계측에서는 OpenTelemetry를 사용하여 LangChain 또는 LangGraph 프레임워크를 사용하는 생성형 AI 애플리케이션을 계측하는 방법을 설명합니다. 또한 다운로드하고 실행할 수 있는 샘플 애플리케이션에 연결됩니다. 샘플 애플리케이션은 텍스트 프롬프트와 응답을 수집합니다.
OpenTelemetry를 사용하여 ADK 애플리케이션 계측에서는 에이전트의 주요 작업에서 원격 분석을 수집하는 기본 제공 계측을 사용 설정하는 방법을 설명합니다. 원격 분석에는 텍스트 프롬프트와 에이전트 대답이 포함됩니다. 또한 다운로드하여 실행할 수 있는 샘플 애플리케이션에 연결됩니다. 샘플 애플리케이션은 텍스트 프롬프트와 대답을 수집합니다.
Trace를 사용하여 MCP 호출 조사에서는 원격 Google Cloud MCP 서버에 trace 컨텍스트를 전달하도록 애플리케이션을 구성하는 방법을 설명합니다. 이렇게 하면 해당 서버가 trace에 스팬을 연결할 수 있습니다.