管理已部署的服務專員

本頁說明如何管理已部署至 Vertex AI Agent Engine 受管理執行階段的代理程式。部署的代理程式是 Vertex AI 中的 reasoningEngine 類型資源。

列出已部署的代理程式

列出指定專案和位置的所有已部署代理程式:

控制台

  1. 前往 Google Cloud 控制台的「Vertex AI Agent Engine」頁面。

    前往 Agent Engine

清單中會顯示所選專案的已部署代理程式。您可以使用「篩選」欄位,依指定欄篩選清單。

Vertex AI SDK for Python

import vertexai

client = vertexai.Client(  # For service interactions via client.agent_engines
    project="PROJECT_ID",
    location="LOCATION",
)

for agent in client.agent_engines.list():
    print(agent)

如要依 display_name 篩選清單:

for agent in client.agent_engines.list(
    config={
        "filter": 'display_name="DISPLAY_NAME"',
    },
):
    print(agent)

REST

呼叫 reasoningEngines.list 方法。

使用任何要求資料之前,請先替換以下項目:

  • PROJECT_ID:您的 GCP 專案 ID
  • LOCATION:支援的區域

HTTP 方法和網址:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines

請展開以下其中一個選項,以傳送要求:

您應該會收到執行成功的狀態碼 (2xx) 和空白回應。

Vertex AI 快速模式

您可以使用 Python 適用的 Vertex AI SDK 或 REST,搭配 Vertex AI 快速模式。如要進一步瞭解 Vertex AI 快速模式,以及如何註冊,請參閱 Vertex AI 快速模式總覽

Vertex AI SDK

import vertexai

client = vertexai.Client(  # For service interactions via client.agent_engines
    api_key="API_KEY",
)

for agent in client.agent_engines.list():
    print(agent)

API_KEY 替換成快速模式 API 金鑰

如要依 display_name 篩選清單:

for agent in client.agent_engines.list(
    config={
        "filter": 'display_name="DISPLAY_NAME"',
    },
):
    print(agent)

REST API

下列 REST 指令會呼叫 reasoningEngines.list 方法:

使用任何要求資料之前,請先替換以下項目:

  • API_KEY:您的快速模式 API 金鑰

HTTP 方法和網址:

GET https://aiplatform.googleapis.com/v1/projects/reasoningEngines?key=API_KEY

請展開以下其中一個選項,以傳送要求:

您應該會收到執行成功的狀態碼 (2xx) 和空白回應。

取得已部署的代理程式

每個已部署的代理程式都有專屬的 RESOURCE_ID ID。 詳情請參閱「部署代理程式」。

控制台

  1. 前往 Google Cloud 控制台的「Vertex AI Agent Engine」頁面。

    前往 Agent Engine

    清單中會顯示所選專案的已部署代理程式。您可以使用「篩選」欄位,依指定欄篩選清單。

  2. 按一下指定服務專員的名稱,系統會開啟代理程式的「指標」頁面。

  3. (選用) 如要查看代理程式的部署詳細資料,請按一下「部署詳細資料」。「Deployment details」(部署作業詳細資料) 窗格隨即開啟。如要關閉窗格,請按一下「完成」

  4. (選用) 如要查看代理程式的 querystreamQuery 網址,請按一下「API URLs」。「API URLs」窗格隨即開啟。如要關閉窗格,請按一下「完成」

Vertex AI SDK for Python

以下程式碼可讓您取得特定已部署的代理程式:

import vertexai

client = vertexai.Client(  # For service interactions via client.agent_engines
    project="PROJECT_ID",
    location="LOCATION",
)

remote_agent = client.agent_engines.get(
    name="projects/PROJECT_ID_OR_NUMBER/locations/LOCATION/reasoningEngines/RESOURCE_ID"
)

REST

呼叫 reasoningEngines.get 方法。

使用任何要求資料之前,請先替換以下項目:

  • PROJECT_ID:您的 GCP 專案 ID
  • LOCATION:支援的區域
  • RESOURCE_ID:已部署代理程式的資源 ID

HTTP 方法和網址:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID

請展開以下其中一個選項,以傳送要求:

您應該會收到執行成功的狀態碼 (2xx) 和空白回應。

Vertex AI 快速模式

您可以使用 Python 適用的 Vertex AI SDK 或 REST,搭配 Vertex AI 快速模式。如要進一步瞭解 Vertex AI 快速模式,以及如何註冊,請參閱 Vertex AI 快速模式總覽

Vertex AI SDK

import vertexai

client = vertexai.Client(  # For service interactions via client.agent_engines
    api_key="API_KEY",
)

remote_agent = client.agent_engines.get(
    name="RESOURCE_NAME"
)
# Resource Name: "projects/{PROJECT_NUMBER}/locations/{LOCATION}/reasoningEngines/{RESOURCE_ID}"
# RESOURCE_ID can be used for the REST commands

API_KEY 替換成快速模式 API 金鑰

REST API

下列 REST 指令會呼叫 reasoningEngines.get 方法:

使用任何要求資料之前,請先替換以下項目:

  • RESOURCE_ID:已部署代理程式的資源 ID
  • API_KEY:您的快速模式 API 金鑰

HTTP 方法和網址:

GET https://aiplatform.googleapis.com/v1/reasoningEngines/RESOURCE_ID?key=API_KEY

請展開以下其中一個選項,以傳送要求:

您應該會收到執行成功的狀態碼 (2xx) 和空白回應。

更新已部署的代理程式

您可以同時更新已部署代理程式的一或多個欄位, 但必須指定至少一個要更新的欄位。更新已部署的代理程式所需的時間,取決於執行的更新作業,但通常只需要幾秒到幾分鐘。

控制台

  1. 前往 Google Cloud 控制台的「Vertex AI Agent Engine」頁面。

    前往 Agent Engine

  2. 針對指定代理程式,按一下「更多動作」選單 ()。

  3. 按一下「編輯」。代理的「編輯」窗格隨即開啟。

  4. 編輯代理的顯示名稱說明

  5. 按一下 [儲存]

Vertex AI SDK for Python

如要將已部署的代理程式 (對應至 RESOURCE_NAME) 更新為更新後的代理程式 (對應至 UPDATED_AGENT),請按照下列步驟操作:

import vertexai

client = vertexai.Client(  # For service interactions via client.agent_engines
    project="PROJECT_ID",
    location="LOCATION",
)

client.agent_engines.update(
    name=RESOURCE_NAME,                    # Required.
    agent=UPDATED_AGENT,                   # Optional.
    config={                                                # Optional.
        "requirements": REQUIREMENTS,      # Optional.
        "display_name": "DISPLAY_NAME",    # Optional.
        "description": "DESCRIPTION",      # Optional.
        "extra_packages": EXTRA_PACKAGES,  # Optional.
    },
)

引數與部署代理程式時相同。

REST

呼叫 reasoningEngines.patch 方法,並提供 update_mask 來指定要更新的欄位。

使用任何要求資料之前,請先替換以下項目:

  • PROJECT_ID:您的 GCP 專案 ID
  • LOCATION:支援的區域
  • RESOURCE_ID:已部署代理程式的資源 ID
  • update_mask:以半形逗號分隔的欄位清單,列出要更新的欄位

HTTP 方法和網址:

PATCH https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID?update_mask="display_name,description"

JSON 要求主體:

{
"displayName": "DISPLAY_NAME",
"description": "DESCRIPTION"
}

請展開以下其中一個選項,以傳送要求:

您應該會收到執行成功的狀態碼 (2xx) 和空白回應。

Vertex AI 快速模式

您可以使用 Python 適用的 Vertex AI SDK 或 REST,搭配 Vertex AI 快速模式。如要進一步瞭解 Vertex AI 快速模式,以及如何註冊,請參閱 Vertex AI 快速模式總覽

Vertex AI SDK

下列程式碼使用 Python 適用的 Vertex AI SDK,將已部署的代理程式 (對應至 RESOURCE_NAME) 更新為更新後的代理程式 (對應至 UPDATED_AGENT):

import vertexai

client = vertexai.Client(  # For service interactions via client.agent_engines
    api_key="API_KEY",
)

client.agent_engines.update(
    name=RESOURCE_NAME,                    # Required.
    agent=UPDATED_AGENT,                   # Optional.
    config={                                                # Optional.
        "requirements": REQUIREMENTS,      # Optional.
        "display_name": "DISPLAY_NAME",    # Optional.
        "description": "DESCRIPTION",      # Optional.
        "extra_packages": EXTRA_PACKAGES,  # Optional.
    },
)

API_KEY 替換成快速模式 API 金鑰

REST API

下列 REST 指令會呼叫 reasoningEngines.patch 方法,並提供 update_mask 來指定要更新的欄位:

使用任何要求資料之前,請先替換以下項目:

  • RESOURCE_ID:已部署代理程式的資源 ID
  • API_KEY:您的快速模式 API 金鑰
  • update_mask:以半形逗號分隔的欄位清單,列出要更新的欄位

HTTP 方法和網址:

PATCH https://aiplatform.googleapis.com/v1/reasoningEngines/RESOURCE_ID?update_mask="display_name,description"&key=API_KEY

JSON 要求主體:

{
"displayName": "DISPLAY_NAME",
"description": "DESCRIPTION"
}

請展開以下其中一個選項,以傳送要求:

您應該會收到執行成功的狀態碼 (2xx) 和空白回應。

為已部署的代理程式設定遙測功能

如果您在代理程式開發期間啟用追蹤,可以使用 Google Cloud 控制台為已部署的代理程式設定遙測。

為已部署且啟用遙測功能的代理程式設定遙測功能:

  1. 前往 Google Cloud 控制台的「Vertex AI Agent Engine」頁面。

    前往 Agent Engine

    清單中會顯示所選專案的 Agent Engine 執行個體。您可以使用「篩選」欄位,依指定欄篩選清單。

  2. 找出 Agent Engine 執行個體的資料列。在「遙測設定」欄下方,按一下「設定」。「服務設定」面板隨即開啟。

  3. 您可以進行下列設定:

    • 可觀測性:您可以設定下列項目:

      • 啟用 OpenTelemetry 追蹤記錄和記錄的檢測功能:如要填入代理觀測功能資訊主頁和追蹤記錄頁面,請點選切換鈕,將其設為開啟。

      • 啟用提示詞輸入內容和回覆輸出內容的記錄功能:如要收集並儲存使用者提示詞和完整回覆內容,請點選切換鈕,將其設為開啟。

      如果代理程式已停用遙測資料收集功能,您必須重新部署代理程式,並將 Vertex AI SDK 版本更新為 >= 1.126.1,才能查看「可觀測性」的設定選項。

    • 容器:為已部署的代理程式設定容器:

      • 資源調度:輸入「執行個體數量下限」和「執行個體數量上限」

      • 資源:為每個容器選取「記憶體」和「CPU」的限制。

      • 容器並行處理:輸入「執行個體數量下限」,為每個容器和代理伺服器設定並行處理。建議值為 (2 * CPU + 1),預設值為 9。

    • 存取權和權限:按一下「在 IAM 中管理權限」,即可管理相關聯服務帳戶的代理程式權限。

    • 部署詳細資料:查看代理程式的部署詳細資料,包括「資源名稱」和「顯示名稱」

    • 記憶庫:查看代理程式的記憶庫詳細資料,包括記憶體生成記憶體搜尋

  4. 按一下「更新」或「關閉」

查看已部署代理程式的指標

對於已部署的代理程式,您可以使用控制台查看代理程式的指標:

  1. 前往 Google Cloud 控制台的「Vertex AI Agent Engine」頁面。

    前往 Agent Engine

    清單中會顯示所選專案的已部署代理程式。您可以使用「篩選」欄位,依指定欄篩選清單。

  2. 按一下代理程式名稱。系統會顯示所選代理程式的「資訊主頁」

  3. 選取下列任一「資訊主頁」分頁標籤:

    • 總覽:查看代理程式指標的摘要資訊主頁,包括代理程式延遲時間、代理程式要求計數和代理程式錯誤率。

    • 模型:查看代理程式模型指標的資訊主頁,包括模型呼叫次數、模型錯誤率和模型權杖用量。

    • 工具:查看代理程式工具的指標資訊主頁,包括工具呼叫次數、工具錯誤率和工具延遲時間。

    • 用量:查看代理程式用量的指標資訊主頁,包括輸入和輸出使用的權杖數、容器 CPU 分配量,以及容器記憶體分配量。

    • 記錄:如果已為代理程式啟用 Cloud Logging,即可查看代理程式的記錄。

Vertex AI Agent Engine 資訊主頁

刪除已部署的代理程式

從 Vertex AI Agent Engine 代管執行階段刪除已部署的代理程式。

控制台

  1. 前往 Google Cloud 控制台的「Vertex AI Agent Engine」頁面。

    前往 Agent Engine

  2. 針對指定代理程式,按一下「更多動作」選單 ()。

  3. 按一下「Delete」(刪除)

  4. 按一下「刪除代理程式」

Vertex AI SDK for Python

如果您已部署代理程式執行個體 (如 remote_agent),可以執行下列指令:

remote_agent.delete(
    force=True, # Optional, if the agent has resources (e.g. sessions, memory)
)

或者,您也可以按照下列方式呼叫 agent_engines.delete(),刪除與 RESOURCE_NAME 對應的已部署代理程式:

import vertexai

client = vertexai.Client(  # For service interactions via client.agent_engines
    project="PROJECT_ID",
    location="LOCATION",
)

client.agent_engines.delete(
    name=RESOURCE_NAME,
    force=True, # Optional, if the agent has resources (e.g. sessions, memory)
)

REST

呼叫 reasoningEngines.delete 方法。

使用任何要求資料之前,請先替換以下項目:

  • PROJECT_ID:您的 GCP 專案 ID
  • LOCATION:支援的區域
  • RESOURCE_ID:已部署代理程式的資源 ID

HTTP 方法和網址:

DELETE https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID

請展開以下其中一個選項,以傳送要求:

您應該會收到執行成功的狀態碼 (2xx) 和空白回應。

Vertex AI 快速模式

您可以使用 Python 適用的 Vertex AI SDK 或 REST,搭配 Vertex AI 快速模式。

Vertex AI SDK

下列程式碼使用 Vertex AI SDK for Python,以以下方式刪除與 RESOURCE_NAME 對應的已部署代理程式:

import vertexai

client = vertexai.Client(  # For service interactions via client.agent_engines
    api_key="API_KEY",
)

client.agent_engines.delete(
    name=RESOURCE_NAME,
    force=True, # Optional, if the agent has resources (e.g. sessions, memory)
)

API_KEY 替換成快速模式 API 金鑰

REST API

下列 REST 指令會呼叫 reasoningEngines.delete 方法:

使用任何要求資料之前,請先替換以下項目:

  • RESOURCE_ID:已部署代理程式的資源 ID
  • API_KEY:您的快速模式 API 金鑰

HTTP 方法和網址:

DELETE https://aiplatform.googleapis.com/v1/projects/reasoningEngines/RESOURCE_ID?key=API_KEY

請展開以下其中一個選項,以傳送要求:

您應該會收到執行成功的狀態碼 (2xx) 和空白回應。

後續步驟