이 문서에서는 Gemini Enterprise 앱에서 생성된 측정항목에 액세스하는 방법을 설명합니다. 이러한 측정항목은 애플리케이션의 성능과 상태에 대한 통계를 제공합니다.
측정항목 탐색기 를 사용하거나 에이전트의 관측 가능성 탭을 사용하여 개별 에이전트 내에서 직접 측정항목 원격 분석을 볼 수 있습니다.
주요 개념
이 섹션에서는 Gemini Enterprise의 관측 가능성과 관련된 주요 개념을 소개합니다.
| 개념 | 설명 |
|---|---|
| 측정항목 | 측정항목은 시스템에서 시간이 지남에 따라 수집하는 숫자 측정값입니다. 이러한 측정값은 시스템의 성능, 리소스 사용률 또는 동작을 나타냅니다. 엔지니어는 측정항목을 사용하여 시스템 상태를 모니터링하고, 추세를 파악하고, 알림을 트리거합니다. |
| 에이전트 범위 측정항목 | 세션, 대화 차례, 도구 호출과 같은 개별 에이전트의 활동을 측정하는 측정항목입니다. 이러한 측정항목은 Gemini Enterprise Agent 리소스 유형 아래에 나열되며, 해당 에이전트에 대해 OpenTelemetry trace 및 로그의 계측 사용 설정 관측 가능성 설정이 사용 설정된 경우에만 수집됩니다. |
| 앱 범위 측정항목 | 단일 에이전트가 아닌 앱으로의 모든 트래픽을 측정하는 측정항목입니다(예: 요청 수, 엔드 투 엔드 지연 시간). 이러한 측정항목은 Gemini Enterprise Engine 리소스 유형 아래에 나열되며, 여기서 Engine은 Gemini Enterprise 앱의 API 이름입니다. 관측 가능성 설정과 관계없이 수집됩니다. |
시작하기 전에
다음 항목이 있는지 확인합니다.
Gemini Enterprise 관리자 역할 또는 Google Cloud 콘솔 Gemini Enterprise 사용자 역할
기존 Gemini Enterprise 웹 앱. 새 앱을 만드는 방법에 대한 자세한 내용은 앱 만들기를 참조하세요.
측정항목 탐색기에 액세스하려면 모니터링 뷰어 역할 (
roles/monitoring.viewer)이 있어야 합니다.OpenTelemetry trace 및 로그의 계측 사용 설정 관측 가능성 설정을 사용 설정합니다. 에이전트 유형에 따라 앱 수준 구성 (Core Assistant 에이전트의 경우) 또는 에이전트의 구성 탭 (Workflow Builder 직원 제작 에이전트 및 Deep Research 에이전트의 경우) 내에서 이 설정을 사용 설정합니다. 자세한 내용은 관측 가능성 설정 관리를 참조하세요. 이 설정은 에이전트 범위 측정항목에 필요합니다. Gemini Enterprise Engine 리소스 유형 아래에 나열된 앱 범위 측정항목은 이 설정 없이 수집됩니다.
데이터 보관
Gemini Enterprise 앱에서 생성된 측정항목은
project Google Cloud 의 Cloud Monitoring에 저장되며, 보관은
Cloud Monitoring에서 관리합니다. Gemini Enterprise 측정항목은 '기타 모든
Google Cloud 측정항목' 등급에 속하며 기본적으로 6주 동안 보관되는
discoveryengine.googleapis.com/ 프리픽스 아래에 게시됩니다. 보관 기간보다 오래된 데이터는 자동으로 삭제됩니다. 공식적이고
최신 보관 값은
Cloud Monitoring 할당량 및 한도 문서의
데이터 보관을 참조하세요.
측정항목 탐색기에서 측정항목 액세스
측정항목에 액세스하려면 다음 단계를 따르세요.
콘솔 Google Cloud 에서 측정항목 탐색기 페이지로 이동합니다.
Gemini Enterprise 앱이 생성된 Google Cloud project를 선택합니다.
측정항목 선택 을 클릭하여 검색창을 엽니다.
검색창에서 다음 측정항목을 찾습니다.
측정항목 이름 설명 Gemini Enterprise Agent - Gemini Enterprise Agent 세션 수 Gemini Enterprise Agent에서 처리한 세션 수입니다. Gemini Enterprise Agent - Gemini Enterprise Agent 도구 수 Gemini Enterprise Agent에서 도구를 호출한 횟수입니다. Gemini Enterprise Agent - Gemini Enterprise Agent 차례 수 Gemini Enterprise Agent 세션 내의 대화 차례 수입니다. Gemini Enterprise Agent - Gemini Enterprise Agent 총 지연 시간 Gemini Enterprise Agent의 응답 총 지연 시간입니다. Gemini Enterprise Agent - Gemini Enterprise Agent 도구 총 지연 시간 Gemini Enterprise Agent 내에서 도구 실행으로 인해 발생한 총 지연 시간입니다. Gemini Enterprise DataConnector - Gemini Enterprise DataConnector 요청 수 Gemini Enterprise 데이터 커넥터 (콘솔 Google Cloud 에서 데이터 스토어라고도 함)에 대한 총 요청 수입니다. Gemini Enterprise DataConnector - Gemini Enterprise DataConnector 요청 지연 시간 (베타) Gemini Enterprise 데이터 커넥터(콘솔에서 데이터 스토어라고도 함) Google Cloud 에 대한 요청 지연 시간(밀리초)입니다. Gemini Enterprise Engine - Gemini Enterprise Engine 요청 수 단일 에이전트가 아닌 앱으로의 모든 트래픽에서 Gemini Enterprise 앱이 수신한 총 요청 수입니다. API 메서드, 표준 gRPC 응답 코드, 응답 코드 클래스, 쿼리 유형, 모델별로 분류됩니다. Gemini Enterprise Engine - Gemini Enterprise Engine 요청 총 지연 시간 Gemini Enterprise 앱의 엔드 투 엔드 요청 지연 시간 분포입니다. 오류를 반환하는 요청을 포함하여 모든 요청에 대해 기록됩니다. Gemini Enterprise Engine - Gemini Enterprise Engine 첫 번째 답변까지의 지연 시간 요청 수신과 첫 번째 답변 토큰 스트리밍 간의 지연 시간 분포입니다. 답변 토큰을 하나 이상 생성하는 요청에 대해서만 기록됩니다. Gemini Enterprise Engine - Gemini Enterprise Engine 첫 번째 토큰까지의 지연 시간 요청 수신과 첫 번째 토큰 스트리밍 간의 지연 시간 분포입니다. 토큰이 모델의 사고 프로세스의 일부인지 최종 답변인지에 관계없이 기록됩니다. 스트리밍된 토큰을 하나 이상 생성하는 요청에 대해서만 기록됩니다. 탐색할 측정항목을 선택하고 적용 을 클릭합니다.
선택적으로 추가 라벨 필터, 집계 요소를 설정하고 기간을 조정합니다.
에이전트의 측정항목 액세스
콘솔 Google Cloud 의 에이전트 관측 가능성 탭에서 개별 에이전트에 대한 운영, 도구별, 세션 측정항목 대시보드를 직접 볼 수도 있습니다.
에이전트의 측정항목에 액세스하려면 다음 단계를 따르세요.
- Google Cloud 콘솔에서 앱으로 이동한 후 에이전트를 클릭합니다.
- 검사할 에이전트를 선택한 후 관측 가능성 탭을 클릭합니다.
관측 가능성 탭은 개요, 도구, 지연 시간, 오류율의 네 가지 뷰로 나뉘어 주요 운영 원격 분석을 제공합니다.
개요 측정항목
이 뷰는 다음을 포함하는 표준 세션 및 에이전트 상태 데이터를 요약하는 대시보드를 제공합니다.
- 세션: 총 사용자 세션 수입니다.
- 세션당 평균 시간: 세션 중에 경과된 평균 시간입니다.
- 에이전트 호출: 에이전트가 호출된 총 횟수입니다.
- 에이전트 지연 시간: 시간 및 특정 측정항목에 따른 지연 시간입니다.
- 에이전트 트래픽: 인바운드 요청 볼륨입니다.
- 에이전트 오류율: 실패한 에이전트 호출의 비율입니다.
도구 측정항목
이 뷰는 에이전트에 연결된 도구의 사용량과 지연 시간에 중점을 두며 다음을 포함합니다.
- 총 호출 수: 도구 실행 요청 수입니다.
- 도구별 P95 기간: 도구별로 분류된 실행의 95번째 백분위수 지연 시간입니다.
- 도구별 호출 수: 여러 도구 간에 분할된 총 호출 수입니다.
- 도구별 오류율: 도구별 실행 실패율입니다.
- "호출된 도구 없음" 비율: 상호작용이 도구 실행을 트리거하지 않은 비율입니다.
지연 시간 측정항목
이 뷰에는 에이전트의 응답 지연 시간이 표시됩니다. 각 측정항목은 선택한 기간의 p50 및 p95 요약 카드로 표시되며, 시간이 지남에 따라 추세를 보여주는 시계열 차트로도 표시됩니다. 기능별로 지연 시간 측정항목을 필터링할 수도 있습니다. 이 뷰에는 다음 측정항목이 표시됩니다.
- 첫 번째 토큰까지의 시간 (TTFT): 요청 수신과 첫 번째 토큰 스트리밍 간의 지연 시간입니다. 토큰이 모델의 사고 프로세스의 일부인지 답변의 일부인지에 관계없이 기록됩니다.
- 첫 번째 답변까지의 시간 (TTFA): 요청 수신과 첫 번째 답변 토큰 스트리밍 간의 지연 시간입니다. 답변 토큰은 모델의 사고 프로세스의 일부가 아닌 첫 번째 토큰입니다. 에이전트가 답변을 시작한 후 도구를 호출하면 측정이 다시 시작되므로 TTFA는 중간 내레이션이 아닌 사용자가 읽는 답변이 스트리밍되기 시작한 시점을 반영합니다.
- 마지막 토큰까지의 시간 (TTLT): 요청 수신과 마지막 토큰 스트리밍 간의 지연 시간입니다. 마지막 토큰은 응답이 완료된 시점입니다.
기능별로 지연 시간 측정항목 필터링
기능은 차례가 나타내는 상호작용 유형입니다(예: 웹 검색 또는 이미지 생성). 기능별로 지연 시간 측정항목을 필터링하여 가장 느린 상호작용 유형을 확인하고 하나의 느린 기능이 전체 지연 시간을 왜곡하지 않도록 합니다.
기능별로 지연 시간 측정항목을 필터링하려면 다음 단계를 따르세요.
- 에이전트의 관측 가능성 탭에서 지연 시간 뷰를 클릭합니다.
- 기능별 필터링 을 클릭합니다.
- 검사할 기능을 선택합니다.
그러면 요약 카드와 시계열 차트에 해당 기능의 차례만 표시됩니다.
모든 기능을 한 번에 비교하려면 각 기능에 대해 다음을 나열하는 기능 원격 분석 표를 사용하세요.
- 트래픽 점유율: 기능에 기인한 차례의 비율입니다.
- TTFT, TTFA, TTLT: 기능의 p50 및 p95 지연 시간입니다.
다음 기능을 사용하여 필터링할 수 있습니다.
- 매개변수: 번역 작업과 같이 도구 없이 텍스트 출력 만을 위해 모델에 요청을 보내는 상호작용입니다.
- 미디어 생성: 이미지 및 동영상 생성 작업입니다.
- 웹 검색만: 웹 검색 도구를 사용하여 모델에 요청을 보내는 상호작용입니다.
- 업로드된 파일 분석: 사용자가 업로드한 파일을 기반으로 모델에 요청을 보내는 상호작용입니다.
- 커넥터: 내부 또는 서드 파티 커넥터에 요청을 보내는 쿼리입니다.
- Canvas: Canvas를 사용하는 생성 작업입니다.
- 기술: 기술을 호출하는 상호작용입니다.
- 기타: 여러 기능에 걸쳐 있거나 아직 분류되지 않은 차례를 모두 포착합니다.
오류율 측정항목
이 뷰는 응답 클래스별로 그룹화된 에이전트의 요청이 해결되는 방식을 보여줍니다. 응답 클래스는 정상 (2xx), 클라이언트 오류 (4xx), 서버 오류 (5xx), 그리고 취소됨입니다. 다음이 포함됩니다.
- 응답 클래스별 요청 볼륨: 시간이 지남에 따라 응답 클래스별로 누적된 인바운드 요청 수입니다.
- 응답 클래스별 오류율: 시간이 지남에 따라 실패한 요청의 비율로, 응답 클래스별로 분류됩니다.
- 클라이언트 오류 코드(4xx) 및 서버 오류 코드(5xx): 시간이 지남에 따라 개별 표준 gRPC 응답 코드(예:
INVALID_ARGUMENT또는INTERNAL)를 통해 급증을 유발하는 특정 오류를 파악할 수 있습니다. - 합계: 선택한 기간 동안 각 결과에 대한 요청 수와 총 요청 비율입니다. 개별 클라이언트 및 서버 오류 코드의 순위를 매기는 별도의 표가 있습니다.
다음 단계
- Gemini Enterprise 측정항목으로 대시보드를 만듭니다. 자세한 내용은 커스텀 대시보드 만들기 및 관리를 참조하세요.
- 측정항목이 기준점을 초과하면 알림을 만듭니다. 자세한 내용은 측정항목 기준점 알림 정책 만들기를 참조하세요.
- 측정항목 탐색기 추적을 사용 중지하려면 관측 가능성 설정 사용 중지를 참조하세요.