이 문서에서는 생성형 AI 애플리케이션을 계측할 때의 이점을 설명합니다. 또한 LangGraph 또는 에이전트 개발 키트(ADK) 프레임워크를 사용하는 애플리케이션을 계측하는 방법을 간략히 설명합니다. 두 프레임워크 모두 텍스트 프롬프트를 수집할 수 있습니다. 하지만 ADK 프레임워크를 사용하면 멀티모달 프롬프트와 응답을 수집하고 볼 수 있습니다.
생성형 AI 에이전트 정보
생성형 AI를 사용하는 애플리케이션은 태스크를 완료하거나 목표를 달성하기 위해 에이전트에 의존합니다. 에이전트는 사용자를 대신하여 태스크를 완료하거나 목표를 추구하는 애플리케이션입니다. 예를 들어 생성형 AI 에이전트는 웹사이트를 탐색하고 API 명령어를 실행할 수 있습니다. 이러한 API 명령어는 정보를 가져오거나 작업을 실행할 수 있습니다.
에이전트는 자율적으로 행동하며 추론을 사용하여 목표나 태스크를 하위 태스크로 세분화하는 방법을 결정한 다음 이러한 하위 태스크를 완료하는 데 사용할 도구를 결정합니다. 생성형 AI의 맥락에서 도구는 에이전트가 환경과 상호작용하는 방식을 결정합니다. 예를 들어 에이전트에 API 명령어를 실행할 수 있는 도구가 있을 수 있습니다.
에이전트에 대해 자세히 알아보려면 다음을 참조하세요.
생성형 AI 애플리케이션을 계측해야 하는 이유
생성형 AI 애플리케이션을 계측하는 것이 자율 에이전트가 사용하는 추론을 이해할 수 있는 유일한 방법입니다. 이 추론 과정은 확정적이지 않습니다.
생성형 AI 애플리케이션을 계측하면 원격 분석 데이터에 에이전트의 결정과 작업이 포함됩니다. 이 데이터를 사용하여 애플리케이션을 검증하거나 개선할 수 있습니다.
생성형 AI 애플리케이션을 계측하는 방법
애플리케이션을 계측하려면 원격 분석을 생성하고 데이터를 저장, 쿼리 및 분석할 수 있는 위치로 전송합니다. 예를 들어 계측에서 Google Cloud 프로젝트로 원격 분석을 전송하는 경우 Google Cloud Observability를 사용하여 해당 데이터를 보고 분석할 수 있습니다.
애플리케이션 계측을 위한 통합 프레임워크를 제공하는 오픈소스 프로젝트인 OpenTelemetry를 사용하여 애플리케이션을 계측하는 것이 좋습니다. 제공되는 예시는 OpenTelemetry를 기반으로 합니다.
자세한 계측 정보는 다음 문서를 참조하세요.
멀티모달 프롬프트 및 응답 수집 및 보기에서는 ADK로 빌드한 생성형 AI 에이전트를 구성하여 멀티모달 프롬프트와 응답을 수집하는 방법을 설명합니다. 또한 다음 작업을 수행하는 방법을 설명합니다.
- Trace 탐색기 페이지에서 프롬프트와 응답을 확인합니다.
- BigQuery로 프롬프트와 응답을 분석합니다.
- Vertex AI SDK for Python으로 프롬프트와 응답을 평가합니다.
OpenTelemetry를 사용하여 LangGraph ReAct 에이전트 계측에서는 OpenTelemetry를 사용하여 LangChain 또는 LangGraph 프레임워크를 사용하는 생성형 AI 애플리케이션을 계측하는 방법을 설명합니다. 또한 로드하고 실행할 수 있는 샘플 애플리케이션으로 연결됩니다.
OpenTelemetry를 사용하여 ADK 애플리케이션 계측에서는 에이전트의 주요 작업에서 원격 분석을 수집하는 내장 계측을 사용 설정하는 방법을 설명합니다. 원격 분석에는 텍스트 프롬프트와 에이전트 응답이 포함됩니다. 또한 로드하고 실행할 수 있는 샘플 애플리케이션으로 연결됩니다.
프롬프트와 응답을 확인하는 방법
스팬이 OpenTelemetry 생성형 AI 스팬의 시맨틱 규칙을 준수하고 생성형 AI 이벤트의 시맨틱 규칙을 따르는 속성 또는 이벤트를 포함하는 경우 Cloud Trace는 생성형 AI 애플리케이션에서 작성한 스팬에서 이벤트를 추출하도록 구성됩니다.
Cloud Trace는 멀티모달 프롬프트와 응답도 표시할 수 있습니다. 이 시나리오에서는 프롬프트와 응답이 트레이스 데이터에 첨부되지 않습니다. 대신 Cloud Storage 버킷에 저장됩니다. 이 구성에 대해 자세히 알아보려면 멀티모달 프롬프트 및 응답 수집 및 보기를 참고하세요.