存取指標

本文說明如何存取 Gemini Enterprise 應用程式產生的指標。這些指標可讓您深入瞭解應用程式的效能和健康狀態。

您可以使用 Metrics Explorer 查看指標遙測資料,也可以直接在個別代理中使用代理的「觀測能力」分頁。

基本概念

本節介紹 Gemini Enterprise 觀測能力相關的重要概念。

概念 說明
指標 指標是系統在一段時間內收集的數值測量結果。這些指標代表系統的效能、資源使用率或行為。工程師會使用指標監控系統健康狀態、找出趨勢及觸發快訊。
代理範圍指標 評估個別代理活動的指標,例如工作階段、對話回合和工具叫用。這些指標會列在「Gemini Enterprise Agent」資源類型下方,且只有在代理啟用「Enable instrumentation of OpenTelemetry traces and logs」(啟用 OpenTelemetry 追蹤記錄和記錄的檢測功能) 觀測能力設定時,才會收集。
應用程式範圍指標 評估應用程式所有流量 (而非單一代理) 的指標,例如要求數量和端對端延遲時間。這些指標會列在「Gemini Enterprise Engine」資源類型下方,其中「Engine」是 Gemini Enterprise 應用程式的 API 名稱,無論觀測能力設定為何,系統都會收集這些指標。

事前準備

請確認下列各項均已達成或備妥:

  • Gemini Enterprise 管理員角色或 Google Cloud 控制台 Gemini Enterprise 企業版使用者角色。

  • 現有的 Gemini Enterprise 網頁應用程式。如要瞭解如何建立新應用程式,請參閱「建立應用程式」。

  • 您必須具備監控檢視者角色 (roles/monitoring.viewer),才能存取 Metrics Explorer。

  • 啟用觀測能力設定「Enable instrumentation of OpenTelemetry traces and logs」(啟用 OpenTelemetry 追蹤記錄和記錄的檢測功能)。視代理類型而定,請在應用程式層級設定 (適用於 Core Assistant 代理) 或代理的「設定」分頁 (適用於 Workflow Builder 員工製作的代理和 Deep Research 代理) 啟用這項功能。詳情請參閱「管理觀測能力設定」。如要使用代理範圍指標,就必須進行這項設定。應用程式範圍指標則列在 Gemini Enterprise Engine 資源類型下方,不需啟用 API 即可收集。

資料保留

Gemini Enterprise 應用程式產生的指標會儲存在 Google Cloud 專案的 Cloud Monitoring 中,保留期限由 Cloud Monitoring 控管。Gemini Enterprise 指標會以前置字串 discoveryengine.googleapis.com/ 發布,屬於「所有其他Google Cloud 指標」層級,預設保留 6 週。超過保留期限的資料會自動刪除。如要查看權威且最新的保留值,請參閱 Cloud Monitoring 配額和限制說明文件中的「資料保留」一節。

在 Metrics Explorer 中存取指標

如要查看指標,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Metrics Explorer」頁面。

    前往「Metrics Explorer」。

  2. 選取建立 Gemini Enterprise 應用程式的 Google Cloud 專案。

  3. 按一下「選取指標」,開啟搜尋列。

  4. 在搜尋列中,找出下列指標:

    指標名稱 說明
    Gemini Enterprise Agent - Gemini Enterprise Agent 工作階段數量 Gemini Enterprise 代理處理的工作階段數。
    Gemini Enterprise Agent - Gemini Enterprise Agent 工具數量 Gemini Enterprise 代理叫用工具的次數。
    Gemini Enterprise Agent - Gemini Enterprise Agent Turn Count Gemini Enterprise 代理工作階段中的對話回合數。
    Gemini Enterprise Agent - Gemini Enterprise Agent 總延遲時間 Gemini Enterprise 代理回覆的總延遲時間。
    Gemini Enterprise Agent - Gemini Enterprise Agent Tool Total Latency Gemini Enterprise 代理中執行工具所產生的總延遲時間。
    Gemini Enterprise DataConnector - Gemini Enterprise DataConnector 要求數量 向 Gemini Enterprise 資料連接器 (在 Google Cloud 控制台中也稱為資料儲存庫) 提出的要求總數。
    Gemini Enterprise DataConnector - Gemini Enterprise DataConnector 要求延遲時間 (Beta 版) 向 Gemini Enterprise 資料連接器 (在 Google Cloud 控制台中也稱為資料儲存庫) 提出要求的延遲時間,以毫秒為單位。
    Gemini Enterprise Engine - Gemini Enterprise Engine 要求數量 Gemini Enterprise 應用程式收到的要求總數,涵蓋應用程式的所有流量,而非單一代理。依 API 方法、標準 gRPC 回應代碼、回應代碼類別、查詢類型和模型細分。
    Gemini Enterprise Engine - Gemini Enterprise Engine 要求總延遲時間 Gemini Enterprise 應用程式的端對端要求延遲時間分布情形。系統會記錄每項要求,包括傳回錯誤的要求。
    Gemini Enterprise Engine - Gemini Enterprise Engine 首次回答延遲時間 從收到要求到串流傳回第一個回覆詞元,這段期間的延遲時間分布情形。只有在要求產生至少一個答案詞元時,才會記錄這項指標。
    Gemini Enterprise Engine - Gemini Enterprise Engine 首個詞元生成時間延遲 從收到要求到串流傳回第一個詞元 (無論是模型思考過程的一部分或最終答案) 的延遲時間分布情形。只會記錄產生至少一個串流詞元的要求。
  5. 選取要探索的指標,然後按一下「套用」。

  6. 視需要設定其他標籤篩選器、匯總元素,並調整日期範圍。

     Google Cloud 控制台中的 Metrics Explorer 螢幕截圖,顯示 Gemini Enterprise 代理指標。

代理的存取指標

您也可以在 Google Cloud 控制台的「觀測能力」分頁,直接查看個別代理的作業、工具專屬和工作階段指標資訊主頁。

如要查看代理的指標,請按照下列步驟操作:

  1. 在 Google Cloud 控制台前往應用程式,然後點選「代理」。
  2. 選取要檢查的代理,然後按一下「Observability」(觀測能力) 分頁標籤。

「觀測能力」分頁會提供重要的作業遙測資料,並分為四個檢視畫面:「總覽」、「工具」、「延遲時間」和「錯誤率」。

總覽指標

這個檢視畫面提供資訊主頁,匯總標準工作階段和代理健康狀態資料,包括:

  • 工作階段:使用者工作階段總數。
  • 平均單次工作階段時間:單次工作階段經過的平均時間。
  • 代理叫用:代理叫用的總次數。
  • 代理延遲時間:不同時間和特定指標的延遲時間。
  • 代理流量:傳入要求量。
  • 代理錯誤率:代理叫用失敗的百分比。

 Google Cloud 控制台「觀測能力」分頁「總覽」檢視畫面的螢幕截圖,顯示工作階段、每個工作階段的平均對話輪數、代理叫用、延遲時間、流量和錯誤率

工具指標

這個檢視畫面著重於與代理連結的工具用量和延遲時間,包括:

  • 呼叫總數:工具執行要求數量。
  • 各工具的 P95 持續時間:執行作業的第 95 個百分位數延遲時間,依工具分類。
  • 各工具的呼叫次數:不同工具的呼叫總數。
  • 各工具的錯誤率:各工具的執行失敗率。
  • 「未呼叫工具」的比率:互動未觸發任何工具執行的比率。

延遲指標

這個檢視畫面會顯示代理的回覆延遲時間。每項指標都會以 p50 和 p95 摘要資訊卡的形式,顯示所選日期範圍內的資料,並以時間序列圖呈現一段時間內的趨勢。您也可以依功能篩選延遲指標。這個檢視畫面會顯示下列指標:

  • 第一個詞元生成時間 (TTFT):從收到要求到串流傳回第一個詞元之間的延遲時間,無論該詞元是模型思考過程的一部分,還是回覆的一部分。
  • 開始回覆所需時間 (TTFA):從收到要求到串流傳回第一個回覆詞元 (即第一個不屬於模型思考內容的詞元) 的延遲時間。如果代理在開始回答後呼叫工具,系統會重新開始測量,因此 TTFA 反映的是使用者讀取的答案開始串流的時間,而非任何臨時敘述。
  • 最後一個詞元生成時間 (TTLT):從收到要求到串流最後一個詞元 (即回應完成時) 的延遲時間。

依功能篩選延遲時間指標

功能是指一輪對話代表的互動類型,例如網頁搜尋或圖像生成。依功能篩選延遲指標,瞭解哪些互動最慢,並避免單一緩慢功能影響整體延遲時間。

如要依功能篩選延遲時間指標,請按照下列步驟操作:

  1. 在代理的「觀測能力」分頁中,點選「延遲時間」檢視畫面。
  2. 按一下「依功能篩選」。
  3. 選取要檢查的功能。

摘要資訊卡和時間序列圖表則只會顯示該功能的輪流。

如要一次比較所有功能,請使用「Features telemetry」(功能遙測) 表格,其中會列出每項功能的下列資訊:

  • 流量比重:歸因於該功能的對話百分比。
  • TTFT、TTFA 和 TTLT:功能的 p50 和 p95 延遲時間。

您可以依下列特徵篩選:

  • 參數:只要求模型輸出文字,而且不使用工具的互動,例如翻譯工作。
  • 生成媒體:圖像和影片生成工作。
  • 僅限網頁搜尋:使用網頁搜尋工具,向模型傳送要求的互動。
  • 分析上傳的檔案:將要求和使用者上傳的檔案一併傳送至模型的互動。
  • 連接器:傳送要求至內部或第三方連接器的查詢。
  • Canvas:使用 Canvas 的生成工作。
  • 技能:叫用技能的互動。
  • 其他:跨多項功能或尚未分類的回合均歸為這個通用類別。

 Google Cloud 控制台「觀測能力」分頁的「延遲時間」檢視畫面螢幕截圖,顯示功能篩選器、p50 和 p95 摘要資訊卡、時間序列圖表 (顯示第一個詞元生成時間、第一個答案生成時間和最後一個詞元生成時間),以及功能遙測資料表 (列出各項功能、流量占比和 p50 與 p95 延遲時間)

錯誤率指標

這個檢視畫面會顯示代理程式要求的解析方式,並依回應類別分組:「OK (2xx)」、「Client errors (4xx)」、「Server errors (5xx)」和「Canceled」。It includes:

  • 各回應類別的要求量:一段時間內的傳入要求數量,依回應類別堆疊。
  • 各回應類別的錯誤率:失敗要求在一段時間內的百分比,依回應類別區分。
  • 用戶端錯誤代碼 (4xx) 和伺服器錯誤代碼 (5xx):顯示歷來的個別標準 gRPC 回應代碼,例如 INVALID_ARGUMENT 或 INTERNAL,方便您判斷哪些特定錯誤導致錯誤率飆升。
  • 總計:在所選日期範圍內,各結果的要求數量和總要求百分比,並以個別表格列出用戶端和伺服器錯誤代碼的排名。

 Google Cloud 控制台「觀測能力」分頁中「錯誤率」檢視畫面的螢幕截圖,顯示依回應類別區分的要求量和錯誤率、用戶端和伺服器錯誤代碼的時間序列圖表,以及總計表格

後續步驟