SanitizeModelResponse 政策

可擴充的政策

本頁面適用於 Apigee 和 Apigee Hybrid。

查看 Apigee Edge 說明文件。

SanitizeModelResponse 政策會清理生成式 AI 模型的回覆,保護 AI 用戶端免於有害或令人反感的內容。這項政策會使用 Model Armor 評估模型回覆是否包含有害或令人反感的內容,為使用 Apigee 的 AI 用戶端和工作負載提供原生保護。Model Armor 是一項 Google Cloud 服務,提供 AI 安全性措施,可降低大型語言模型 (LLM) 的相關風險。

這項政策會與 SanitizeUserPrompt 政策搭配使用。

這項政策屬於可擴充政策,使用這項政策可能會產生費用或影響使用率,具體取決於您的 Apigee 授權。如要瞭解政策類型和使用影響,請參閱「政策類型」。

事前準備

使用 SanitizeModelResponse 政策前,請務必完成下列工作:

  • 建立 Model Armor 範本。您必須先完成這個步驟,才能建立 SanitizeModelResponse 政策。
  • 設定 Model Armor 服務的 API 端點。

必要的角色

如要取得套用及使用 SanitizeModelResponse 政策所需的權限,請要求管理員在您用來部署 Apigee Proxy 的服務帳戶中,授予下列 IAM 角色:

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色,取得必要權限。

啟用 API

啟用 Model Armor API (如有尚未啟用的 API)。

啟用 API 所需的角色

如要啟用 API,您必須具備 serviceusage.services.enable 權限。如果您建立了專案,可能已透過「擁有者」角色 (roles/owner) 取得這項權限。否則,您可以透過「服務使用管理員」角色 (roles/serviceusage.serviceUsageAdmin) 取得這項權限。瞭解如何授予角色。

啟用 API

<SanitizeModelResponse> 元素

定義 SanitizeModelResponse 政策。

預設值 請參閱下方的「預設政策」分頁
必填與否 必填
類型 複雜物件
父項元素 不適用
子元素 <DisplayName>
<IgnoreUnresolvedVariables>
<TemplateName>
<UserPromptSource>
<LLMResponseSource>

<SanitizeModelResponse> 元素使用下列語法:

語法

<SanitizeModelResponse async="false" continueOnError="false" enabled="true" name="sanitize-response">
  <IgnoreUnresolvedVariables>true</IgnoreUnresolvedVariables>
  <DisplayName>sanitize-response-sample</DisplayName>
  <ModelArmor>
    <TemplateName>projects/{project}/locations/{location}/templates/{template-name}</TemplateName>
  </ModelArmor>
  <UserPromptSource>{jsonPath('$.contents[-1].parts[-1].text',request.content,true)}</UserPromptSource>
  <LLMResponseSource>{jsonPath('$.candidates[-1].content.parts',response.content,true)}</LLMResponseSource>
  <FunctionCallSource>{jsonPath('$.candidates[-1].content.parts[-1].functionCall.args',response.content,true)}</FunctionCallSource>
</SanitizeModelResponse>

預設政策

以下範例顯示在 Apigee UI 中,將 SanitizeModelResponse 政策新增至要求流程時的預設設定:

<SanitizeModelResponse async="false" continueOnError="false" enabled="true" name="sanitize-response">
  <IgnoreUnresolvedVariables>true</IgnoreUnresolvedVariables>
  <DisplayName>sanitize-response-sample</DisplayName>
  <ModelArmor>
    <TemplateName>projects/{project}/locations/{location}/templates/{template-name}</TemplateName>
  </ModelArmor>
  <UserPromptSource>{jsonPath('$.contents[-1].parts[-1].text',request.content,true)}</UserPromptSource>
  <LLMResponseSource>{jsonPath('$.candidates[-1].content.parts',response.content,true)}</LLMResponseSource>
  <FunctionCallSource>{jsonPath('$.candidates[-1].content.parts[-1].functionCall.args',response.content,true)}</FunctionCallSource>
</SanitizeModelResponse>

使用 Apigee UI 插入新的 SanitizeModelResponse 政策時,範本會包含所有可能作業的虛設常式。請參閱下文,瞭解必要元素。

這個元素包含下列所有政策都適用的屬性:

屬性 預設 是否必要? 說明
name 不適用 必要

政策的內部名稱。name 屬性的值可以包含英文字母、數字、空格、連字號、底線和句號。這個值不得超過 255 個半形字元。

您可以選擇使用 <DisplayName> 元素,在管理 UI 代理程式編輯器中為政策加上不同、自然語言的名稱。

continueOnError false 選用 將其設為 false,即可在政策失敗時傳回錯誤。這是大多數政策的預期行為。將其設為 true,即使政策失敗,流程執行作業仍會繼續進行。另請參閱:
enabled 是 選用 設為 true 即可強制執行政策。設為 false 即可關閉政策。即使政策仍附加至流程,系統也不會強制執行這項政策。
async   false 已淘汰 此屬性已淘汰。

下表大致說明 <SanitizeModelResponse> 的子元素:

子元素 是否必要 說明
<DisplayName> 選用 政策名稱。

<IgnoreUnresolvedVariables> 選用 指定如果用於範本名稱或 Model Armor 酬載的變數無法解析,是否要停止處理。
<TemplateName> 必填 用於清理 LLM 回覆的 Model Armor 範本。

您可以使用下列 Apigee 流程變數,將這個值設為範本:

projects/{organization.name}/locations/{system.region.name}/templates/{id}

<UserPromptSource> 必填 要擷取的使用者提示詞文字酬載位置。僅支援字串文字值。

這個欄位支援 Apigee 訊息範本語法,包括使用 變數或 JSON 路徑函式。

例如:

{jsonpath('$.contents[-1].parts[-1].text',request.content,false)}
<LLMResponseSource> 必填 要擷取 LLM 回覆文字的酬載位置。僅支援字串文字值。

這個欄位支援 Apigee 訊息範本語法,包括使用 變數或 JSON 路徑函式。

例如:

{jsonpath('$.input.prompt.text',request.content,false)}

<FunctionCallSource> 選用 要從模型回覆中擷取的函式呼叫引數位置。當函式呼叫回合的 <LLMResponseSource> 傳回空白時,會做為備用選項。

預設:{jsonPath('$.candidates[-1].content.parts[-1].functionCall.args',response.content,true)}

子元素參考資料

本節說明 <SanitizeModelResponse> 的子項元素。

<DisplayName>

除了 name 屬性之外,您也可以在管理 UI 代理程式編輯器中使用其他更自然的名稱標記政策。

<DisplayName> 元素適用於所有政策。

預設值 不適用
是否必要? (非必要) 如果省略 <DisplayName>,系統會使用政策的 name 屬性值。
類型 字串
上層元素 <PolicyElement>
子元素 無

<DisplayName> 元素使用以下語法:

語法

<PolicyElement>
  <DisplayName>POLICY_DISPLAY_NAME</DisplayName>
  ...
</PolicyElement>

範例

<PolicyElement>
  <DisplayName>My Validation Policy</DisplayName>
</PolicyElement>

<DisplayName> 元素沒有屬性或子項元素。

<IgnoreUnresolvedVariables>

判斷變數無法解析時,是否要停止處理程序。設為 true 可忽略未解析的變數,並繼續處理。

預設值 否
必填與否 選用
類型 布林值
父項元素 <SanitizeModelResponse>
子元素 無

<TemplateName>

Model Armor 範本。

預設值 不適用
必填與否 必填
類型 字串
父項元素 <SanitizeModelResponse>
子元素 無

<TemplateName> 元素使用下列語法:

語法

<ModelArmor>
  <TemplateName>projects/{project}/locations/{location}/templates/{template-name}</TemplateName>
</ModelArmor>

範例

這個範例使用 Apigee 流程變數填入必要資訊。

<ModelArmor>
  <TemplateName>projects/{organization.name}/locations/{system.region.name}/templates/{id}</TemplateName>
</ModelArmor>

<UserPromptSource>

要擷取的使用者提示詞文字酬載位置。僅支援字串文字值。

這個欄位支援 Apigee 訊息範本語法,包括使用 變數或 JSON 路徑函式。 例如:

{jsonpath('$.input.prompt.text',request.content,false)}
預設值 {jsonPath('$.contents[-1].parts[-1].text',request.content,true)}
必填與否 必填
類型 字串
父項元素 <SanitizeModelResponse>
子元素 無

<LLMResponseSource>

要擷取的 LLM 回覆酬載位置。僅支援字串文字值。

這個欄位支援 Apigee 訊息範本語法,包括使用 變數或 JSON 路徑函式。例如:

{jsonpath('$.input.prompt.text',request.content,false)}
預設值 {jsonPath($.candidates[-1].content.parts,response.content,true)}
必填與否 必填
類型 字串
父項元素 <SanitizeModelResponse>
子元素 無

<FunctionCallSource>

要從模型回覆中擷取的函式呼叫引數位置。如果 <LLMResponseSource> 傳回空值 (模型傳回函式呼叫叫用,而非文字內容時會發生這種情況),系統就會使用這個元素做為備用選項。

這個欄位支援訊息範本語法,包括 JSON Path 函式。

預設值 {jsonPath('$.candidates[-1].content.parts[-1].functionCall.args',response.content,true)}
必填與否 選用
類型 字串
父項元素 <SanitizeModelResponse>
子元素 無

流程變數

您可以根據 HTTP 標頭或訊息內容,或流程中可用的內容,使用流程變數設定政策和流程的動態執行階段行為。如要進一步瞭解流程變數,請參閱「流程變數參考資料」。

這項政策會在執行期間提供下列一組唯讀流程變數。您可以搭配使用這些流程變數和 DataCapture 政策,建立自訂數據分析報表。詳情請參閱「依據資料擷取政策收集顧客數位資料」。

變數名稱 說明
SanitizeModelResponse.POLICY_NAME.templateUsed 指定要使用的 Model Armor 範本。例如: projects/myproject/locations/us-west1/templates/mytemplate
SanitizeModelResponse.POLICY_NAME.userPrompt 指定呼叫 Model Armor 清理內容時使用的提示內容。
SanitizeModelResponse.POLICY_NAME.modelResponse 指定呼叫 Model Armor 時使用的 LLM 回覆內容,以便清理內容。
SanitizeModelResponse.POLICY_NAME.responseFromModelArmor 指定 Model Armor 的 JSON 回應。Model Armor。
SanitizeModelResponse.POLICY_NAME.filterMatchState 指定篩選器是否相符。有效值包括 MATCH_FOUND 和 NO_MATCH_FOUND。
SanitizeModelResponse.POLICY_NAME.invocationResult 這個欄位會指出叫用結果,無論比對狀態為何。且可能有以下特色:
  • 成功:所有篩選器都已順利執行。
  • 部分:部分篩選器已略過或無法執行。
  • 失敗:所有篩選器都略過或無法執行。
SanitizeModelResponse.POLICY_NAME.raiFilterResult.executionState RAI 篩選器執行結果。有效值包括 EXECUTION_SUCCESS 和 EXECUTION_SKIPPED。
SanitizeModelResponse.POLICY_NAME.raiFilterResult.matchState RAI 篩選器比對狀態。有效值包括 MATCH_FOUND 和 NO_MATCH_FOUND。
SanitizeModelResponse.POLICY_NAME.sdpFilterResult.inspectResult.executionState Sensitive Data Protection 篩選器檢查結果執行狀態。有效值包括 EXECUTION_SUCCESS 和 EXECUTION_SKIPPED。
SanitizeModelResponse.POLICY_NAME.sdpFilterResult.inspectResult.matchState Sdp 篩選器檢查結果比對狀態。有效值包括 MATCH_FOUND 和 NO_MATCH_FOUND。
SanitizeModelResponse.POLICY_NAME.sdpFilterResult.deidentifyResult.executionState Sdp filter de identify result execution state. 有效值包括 EXECUTION_SUCCESS 和 EXECUTION_SKIPPED。
SanitizeModelResponse.POLICY_NAME.sdpFilterResult.deidentifyResult.matchState SDP 篩選器去識別化結果比對狀態。有效值包括 MATCH_FOUND 和 NO_MATCH_FOUND。
SanitizeModelResponse.POLICY_NAME.piAndJailbreakFilterResult.executionState 提示詞注入和越獄篩選器結果執行狀態。有效值包括 EXECUTION_SUCCESS 和 EXECUTION_SKIPPED。
SanitizeModelResponse.POLICY_NAME.piAndJailbreakFilterResult.matchState 提示詞注入和越獄篩選器結果比對狀態。有效值包括 MATCH_FOUND 和 NO_MATCH_FOUND。
SanitizeModelResponse.POLICY_NAME.csamFilterFilterResult.executionState CSAM 篩選器執行狀態。有效值包括 EXECUTION_SUCCESS 和 EXECUTION_SKIPPED。
SanitizeModelResponse.POLICY_NAME.csamFilterFilterResult.matchState 兒少性虐待內容篩選器比對狀態。有效值包括 MATCH_FOUND 和 NO_MATCH_FOUND。
SanitizeModelResponse.POLICY_NAME.maliciousUriFilterResult.executionState 惡意 URI 篩選器執行狀態。有效值包括 EXECUTION_SUCCESS 和 EXECUTION_SKIPPED。
SanitizeModelResponse.POLICY_NAME.maliciousUriFilterResult.matchState 惡意 URI 篩選器比對狀態。有效值包括 MATCH_FOUND 和 NO_MATCH_FOUND。
SanitizeModelResponse.POLICY_NAME.sanitizationMetadata.errorCode Model Armor 回應中自訂覆寫的錯誤代碼 (如有)。
SanitizeModelResponse.POLICY_NAME.sanitizationMetadata.errorMessage 如果 Model Armor 回應中含有自訂覆寫的錯誤代碼,則會顯示該代碼。
SanitizeModelResponse.POLICY_NAME.csamFilterMatched 布林值,指出 CSAM 篩選器是否相符。
SanitizeModelResponse.POLICY_NAME.maliciousURIs 惡意 URI 篩選器偵測到的惡意 URI 附加清單。
SanitizeModelResponse.POLICY_NAME.maliciousURIsDetected 布林值,指出惡意 URI 篩選器是否相符。
SanitizeModelResponse.POLICY_NAME.matchesFound 布林值,指出是否有任何篩選條件相符。
SanitizeModelResponse.POLICY_NAME.promptInjectionDetected 布林值,表示提示詞注入篩選器是否相符。
SanitizeModelResponse.POLICY_NAME.promptInjectionConfidence 提示詞注入偵測的信賴水準。
SanitizeModelResponse.POLICY_NAME.raiMatchesFound 布林值,表示 RAI 篩選器是否相符。
SanitizeModelResponse.POLICY_NAME.requestSentToModelArmor 布林值,指出是否已將要求傳送至 Model Armor。
SanitizeModelResponse.POLICY_NAME.sanitizeOperation 指定政策執行的作業。有效值包括 SANITIZE_USER_PROMPT 和 SANITIZE_MODEL_RESPONSE。

錯誤參考資料

本節說明 Apigee 針對 <SanitizeModelResponse> 政策傳回的錯誤代碼和錯誤訊息,以及設定的錯誤變數。如果您要開發錯誤規則來處理錯誤,請務必瞭解這項資訊。詳情請參閱「政策錯誤須知」和「處理錯誤」。

執行階段錯誤

錯誤代碼 HTTP 狀態 原因
steps.sanitize.model.response.FilterMatched 400 如果使用者提示詞未通過 Model Armor 範本檢查,就會發生這個錯誤。
steps.sanitize.model.response.SanitizationResponseParsingFailed 500 如果無法剖析 Model Armor 回應,就會發生這項錯誤。
steps.sanitize.model.response.FailedToExtractUserPrompt 500 如果系統無法自動擷取預設值的使用者提示,就會發生這項錯誤。
steps.sanitize.model.response.FailedToExtractLLMResponse 500 如果預設值的自動模型回覆擷取作業失敗,就會發生這個錯誤。
steps.sanitize.model.response.InternalError 500 如果發生內部伺服器錯誤,就會出現這個錯誤。
steps.sanitize.model.response.ModelArmorTemplateNameExtractionFailed 500 如果無法解析範本名稱,就會發生這項錯誤。
steps.sanitize.model.response.AuthenticationFailure 500 如果服務帳戶沒有呼叫 Model Armor API 的權限,就會發生這項錯誤。
steps.sanitize.model.response.ModelArmorAPIFailed 500 如果 Model Armor API 擲回錯誤,就會發生這個錯誤。
steps.sanitize.model.response.ModelArmorCalloutError 500 如果 Model Armor API 呼叫失敗,就會發生這項錯誤。
steps.sanitize.modelarmor.ServiceUnavailable 500 如果 Model Armor 服務無法使用,就會發生這個錯誤。

部署錯誤

部署含有這項政策的 Proxy 時,可能會發生這些錯誤。

錯誤名稱 原因
The ModelArmor/TemplateName element is required. 如果 <ModelArmor> 中沒有 <TemplateName> 元素,就會發生這種情況。
The TemplateName element value is required. 如果 <TemplateName> 值空白,就會發生這個錯誤。

錯誤變數

當這項政策在執行階段觸發錯誤時,系統會設定這些變數。詳情請參閱「政策錯誤須知」。

變數 地點 範例
fault.name="FAULT_NAME" FAULT_NAME 是錯誤名稱,如上方的「執行階段錯誤」表格所示。錯誤名稱是錯誤代碼的最後一部分。 fault.name Matches "UnresolvedVariable"
SanitizeModelResponse.POLICY_NAME.failed POLICY_NAME 是使用者指定的政策名稱,該政策擲回錯誤。 SanitizeModelResponse.sanitize-response.failed = true

錯誤回應範例

{
  "fault": {
    "faultstring": "SanitizeModelResponse[sanitize-response]: unable to resolve variable [variable_name]",
    "detail": {
      "errorcode": "steps.sanitizemodelresponse.UnresolvedVariable"
    }
  }
}

錯誤規則範例

<FaultRule name="SanitizeModelResponse Faults">
    <Step>
        <Name>SMR-CustomSetVariableErrorResponse</Name>
        <Condition>(fault.name = "SetVariableFailed")</Condition>
    </Step>
    <Condition>(sanitizemodelresponse.failed = true)</Condition>
</FaultRule>

Model Armor 範本錯誤代碼和錯誤訊息

Model Armor 範本支援覆寫 SanitizeModelResponse 政策 API 要求擲回的錯誤代碼和錯誤訊息。如果使用者設定覆寫,系統就會在流程變數中填入 Model Armor 錯誤代碼和錯誤訊息。

舉例來說,含有 Model Armor 錯誤代碼和訊息的回應可能如下所示:

{
"sanitizationResult": {
  "filterMatchState": "MATCH_FOUND",
  "filterResults": {...},
  "sanitizationMetadata": {
    "errorCode": "890",
    "errorMessage": "get out"
  },
  "invocationResult": "SUCCESS"
  }
}

結構定義

每個政策類型都由 XML 架構 (.xsd) 定義。如需參考,請前往 GitHub 查看政策架構。