本頁面適用於 Apigee 和 Apigee Hybrid。
查看
Apigee Edge 說明文件。
SanitizeModelResponse 政策會清理生成式 AI 模型的回覆,保護 AI 用戶端免於有害或令人反感的內容。這項政策會使用 Model Armor 評估模型回覆是否包含有害或令人反感的內容,為使用 Apigee 的 AI 用戶端和工作負載提供原生保護。Model Armor 是一項 Google Cloud 服務,提供 AI 安全性措施,可降低大型語言模型 (LLM) 的相關風險。
這項政策會與 SanitizeUserPrompt 政策搭配使用。
這項政策屬於可擴充政策,使用這項政策可能會產生費用或影響使用率,具體取決於您的 Apigee 授權。如要瞭解政策類型和使用影響,請參閱「政策類型」。
事前準備
使用 SanitizeModelResponse 政策前,請務必完成下列工作:
- 建立 Model Armor 範本。您必須先完成這個步驟,才能建立 SanitizeModelResponse 政策。
- 設定 Model Armor 服務的 API 端點。
必要的角色
如要取得套用及使用 SanitizeModelResponse 政策所需的權限,請要求管理員在您用來部署 Apigee Proxy 的服務帳戶中,授予下列 IAM 角色:
- Model Armor 使用者 (
roles/modelarmor.user) - Model Armor 檢視器 (
roles/modelarmor.viewer)
如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
啟用 API
啟用 Model Armor API (如有尚未啟用的 API)。
啟用 API 所需的角色
如要啟用 API,您必須具備 serviceusage.services.enable 權限。如果您建立了專案,可能已透過「擁有者」角色 (roles/owner) 取得這項權限。否則,您可以透過「服務使用管理員」角色 (roles/serviceusage.serviceUsageAdmin) 取得這項權限。瞭解如何授予角色。
<SanitizeModelResponse> 元素
定義 SanitizeModelResponse 政策。
| 預設值 | 請參閱下方的「預設政策」分頁 |
| 必填與否 | 必填 |
| 類型 | 複雜物件 |
| 父項元素 | 不適用 |
| 子元素 |
<DisplayName><IgnoreUnresolvedVariables><TemplateName><UserPromptSource><LLMResponseSource> |
<SanitizeModelResponse> 元素使用下列語法:
語法
<SanitizeModelResponse async="false" continueOnError="false" enabled="true" name="sanitize-response">
<IgnoreUnresolvedVariables>true</IgnoreUnresolvedVariables>
<DisplayName>sanitize-response-sample</DisplayName>
<ModelArmor>
<TemplateName>projects/{project}/locations/{location}/templates/{template-name}</TemplateName>
</ModelArmor>
<UserPromptSource>{jsonPath('$.contents[-1].parts[-1].text',request.content,true)}</UserPromptSource>
<LLMResponseSource>{jsonPath('$.candidates[-1].content.parts',response.content,true)}</LLMResponseSource>
<FunctionCallSource>{jsonPath('$.candidates[-1].content.parts[-1].functionCall.args',response.content,true)}</FunctionCallSource>
</SanitizeModelResponse>預設政策
以下範例顯示在 Apigee UI 中,將 SanitizeModelResponse 政策新增至要求流程時的預設設定:
<SanitizeModelResponse async="false" continueOnError="false" enabled="true" name="sanitize-response">
<IgnoreUnresolvedVariables>true</IgnoreUnresolvedVariables>
<DisplayName>sanitize-response-sample</DisplayName>
<ModelArmor>
<TemplateName>projects/{project}/locations/{location}/templates/{template-name}</TemplateName>
</ModelArmor>
<UserPromptSource>{jsonPath('$.contents[-1].parts[-1].text',request.content,true)}</UserPromptSource>
<LLMResponseSource>{jsonPath('$.candidates[-1].content.parts',response.content,true)}</LLMResponseSource>
<FunctionCallSource>{jsonPath('$.candidates[-1].content.parts[-1].functionCall.args',response.content,true)}</FunctionCallSource>
</SanitizeModelResponse>使用 Apigee UI 插入新的 SanitizeModelResponse 政策時,範本會包含所有可能作業的虛設常式。請參閱下文,瞭解必要元素。
這個元素包含下列所有政策都適用的屬性:
| 屬性 | 預設 | 是否必要? | 說明 |
|---|---|---|---|
name |
不適用 | 必要 |
政策的內部名稱。 您可以選擇使用 |
continueOnError |
false | 選用 | 將其設為 false,即可在政策失敗時傳回錯誤。這是大多數政策的預期行為。將其設為 true,即使政策失敗,流程執行作業仍會繼續進行。另請參閱:
|
enabled |
是 | 選用 | 設為 true 即可強制執行政策。設為 false 即可關閉政策。即使政策仍附加至流程,系統也不會強制執行這項政策。 |
async |
false | 已淘汰 | 此屬性已淘汰。 |
下表大致說明 <SanitizeModelResponse> 的子元素:
| 子元素 | 是否必要 | 說明 |
|---|---|---|
<DisplayName> |
選用 | 政策名稱。 |
<IgnoreUnresolvedVariables> |
選用 | 指定如果用於範本名稱或 Model Armor 酬載的變數無法解析,是否要停止處理。 |
<TemplateName> |
必填 | 用於清理 LLM 回覆的 Model Armor 範本。 您可以使用下列 Apigee 流程變數,將這個值設為範本: projects/{organization.name}/locations/{system.region.name}/templates/{id} |
<UserPromptSource> |
必填 | 要擷取的使用者提示詞文字酬載位置。僅支援字串文字值。
這個欄位支援 Apigee 訊息範本語法,包括使用 變數或 JSON 路徑函式。 {jsonpath('$.contents[-1].parts[-1].text',request.content,false)} |
<LLMResponseSource> |
必填 | 要擷取 LLM 回覆文字的酬載位置。僅支援字串文字值。
這個欄位支援 Apigee 訊息範本語法,包括使用 變數或 JSON 路徑函式。 {jsonpath('$.input.prompt.text',request.content,false)} |
<FunctionCallSource> |
選用 | 要從模型回覆中擷取的函式呼叫引數位置。當函式呼叫回合的 <LLMResponseSource> 傳回空白時,會做為備用選項。
預設: |
子元素參考資料
本節說明 <SanitizeModelResponse> 的子項元素。
<DisplayName>
除了 name 屬性之外,您也可以在管理 UI 代理程式編輯器中使用其他更自然的名稱標記政策。
<DisplayName> 元素適用於所有政策。
| 預設值 | 不適用 |
| 是否必要? | (非必要) 如果省略 <DisplayName>,系統會使用政策的 name 屬性值。 |
| 類型 | 字串 |
| 上層元素 | <PolicyElement> |
| 子元素 | 無 |
<DisplayName> 元素使用以下語法:
語法
<PolicyElement> <DisplayName>POLICY_DISPLAY_NAME</DisplayName> ... </PolicyElement>
範例
<PolicyElement> <DisplayName>My Validation Policy</DisplayName> </PolicyElement>
<DisplayName> 元素沒有屬性或子項元素。
<IgnoreUnresolvedVariables>
判斷變數無法解析時,是否要停止處理程序。設為 true 可忽略未解析的變數,並繼續處理。
| 預設值 | 否 |
| 必填與否 | 選用 |
| 類型 | 布林值 |
| 父項元素 |
<SanitizeModelResponse>
|
| 子元素 | 無 |
<TemplateName>
Model Armor 範本。
| 預設值 | 不適用 |
| 必填與否 | 必填 |
| 類型 | 字串 |
| 父項元素 |
<SanitizeModelResponse>
|
| 子元素 | 無 |
<TemplateName> 元素使用下列語法:
語法
<ModelArmor>
<TemplateName>projects/{project}/locations/{location}/templates/{template-name}</TemplateName>
</ModelArmor>範例
這個範例使用 Apigee 流程變數填入必要資訊。
<ModelArmor> <TemplateName>projects/{organization.name}/locations/{system.region.name}/templates/{id}</TemplateName> </ModelArmor>
<UserPromptSource>
要擷取的使用者提示詞文字酬載位置。僅支援字串文字值。
這個欄位支援 Apigee 訊息範本語法,包括使用 變數或 JSON 路徑函式。 例如:
{jsonpath('$.input.prompt.text',request.content,false)}
| 預設值 | {jsonPath('$.contents[-1].parts[-1].text',request.content,true)} |
| 必填與否 | 必填 |
| 類型 | 字串 |
| 父項元素 |
<SanitizeModelResponse>
|
| 子元素 | 無 |
<LLMResponseSource>
要擷取的 LLM 回覆酬載位置。僅支援字串文字值。
這個欄位支援 Apigee 訊息範本語法,包括使用 變數或 JSON 路徑函式。例如:
{jsonpath('$.input.prompt.text',request.content,false)}
| 預設值 | {jsonPath($.candidates[-1].content.parts,response.content,true)} |
| 必填與否 | 必填 |
| 類型 | 字串 |
| 父項元素 |
<SanitizeModelResponse>
|
| 子元素 | 無 |
<FunctionCallSource>
要從模型回覆中擷取的函式呼叫引數位置。如果 <LLMResponseSource> 傳回空值 (模型傳回函式呼叫叫用,而非文字內容時會發生這種情況),系統就會使用這個元素做為備用選項。
這個欄位支援訊息範本語法,包括 JSON Path 函式。
| 預設值 | {jsonPath('$.candidates[-1].content.parts[-1].functionCall.args',response.content,true)} |
| 必填與否 | 選用 |
| 類型 | 字串 |
| 父項元素 |
<SanitizeModelResponse>
|
| 子元素 | 無 |
流程變數
您可以根據 HTTP 標頭或訊息內容,或流程中可用的內容,使用流程變數設定政策和流程的動態執行階段行為。如要進一步瞭解流程變數,請參閱「流程變數參考資料」。
這項政策會在執行期間提供下列一組唯讀流程變數。您可以搭配使用這些流程變數和 DataCapture 政策,建立自訂數據分析報表。詳情請參閱「依據資料擷取政策收集顧客數位資料」。
| 變數名稱 | 說明 |
|---|---|
SanitizeModelResponse.POLICY_NAME.templateUsed |
指定要使用的 Model Armor 範本。例如:
projects/myproject/locations/us-west1/templates/mytemplate |
SanitizeModelResponse.POLICY_NAME.userPrompt |
指定呼叫 Model Armor 清理內容時使用的提示內容。 |
SanitizeModelResponse.POLICY_NAME.modelResponse |
指定呼叫 Model Armor 時使用的 LLM 回覆內容,以便清理內容。 |
SanitizeModelResponse.POLICY_NAME.responseFromModelArmor |
指定 Model Armor 的 JSON 回應。Model Armor。 |
SanitizeModelResponse.POLICY_NAME.filterMatchState |
指定篩選器是否相符。有效值包括 MATCH_FOUND 和 NO_MATCH_FOUND。 |
SanitizeModelResponse.POLICY_NAME.invocationResult |
這個欄位會指出叫用結果,無論比對狀態為何。且可能有以下特色:
|
SanitizeModelResponse.POLICY_NAME.raiFilterResult.executionState |
RAI 篩選器執行結果。有效值包括 EXECUTION_SUCCESS 和 EXECUTION_SKIPPED。 |
SanitizeModelResponse.POLICY_NAME.raiFilterResult.matchState |
RAI 篩選器比對狀態。有效值包括 MATCH_FOUND 和 NO_MATCH_FOUND。 |
SanitizeModelResponse.POLICY_NAME.sdpFilterResult.inspectResult.executionState |
Sensitive Data Protection 篩選器檢查結果執行狀態。有效值包括 EXECUTION_SUCCESS 和 EXECUTION_SKIPPED。 |
SanitizeModelResponse.POLICY_NAME.sdpFilterResult.inspectResult.matchState |
Sdp 篩選器檢查結果比對狀態。有效值包括 MATCH_FOUND 和 NO_MATCH_FOUND。 |
SanitizeModelResponse.POLICY_NAME.sdpFilterResult.deidentifyResult.executionState |
Sdp filter de identify result execution state. 有效值包括 EXECUTION_SUCCESS 和 EXECUTION_SKIPPED。 |
SanitizeModelResponse.POLICY_NAME.sdpFilterResult.deidentifyResult.matchState |
SDP 篩選器去識別化結果比對狀態。有效值包括 MATCH_FOUND 和 NO_MATCH_FOUND。 |
SanitizeModelResponse.POLICY_NAME.piAndJailbreakFilterResult.executionState |
提示詞注入和越獄篩選器結果執行狀態。有效值包括 EXECUTION_SUCCESS 和 EXECUTION_SKIPPED。 |
SanitizeModelResponse.POLICY_NAME.piAndJailbreakFilterResult.matchState |
提示詞注入和越獄篩選器結果比對狀態。有效值包括 MATCH_FOUND 和 NO_MATCH_FOUND。 |
SanitizeModelResponse.POLICY_NAME.csamFilterFilterResult.executionState |
CSAM 篩選器執行狀態。有效值包括 EXECUTION_SUCCESS 和 EXECUTION_SKIPPED。 |
SanitizeModelResponse.POLICY_NAME.csamFilterFilterResult.matchState |
兒少性虐待內容篩選器比對狀態。有效值包括 MATCH_FOUND 和 NO_MATCH_FOUND。 |
SanitizeModelResponse.POLICY_NAME.maliciousUriFilterResult.executionState |
惡意 URI 篩選器執行狀態。有效值包括 EXECUTION_SUCCESS 和 EXECUTION_SKIPPED。 |
SanitizeModelResponse.POLICY_NAME.maliciousUriFilterResult.matchState |
惡意 URI 篩選器比對狀態。有效值包括 MATCH_FOUND 和 NO_MATCH_FOUND。 |
SanitizeModelResponse.POLICY_NAME.sanitizationMetadata.errorCode |
Model Armor 回應中自訂覆寫的錯誤代碼 (如有)。 |
SanitizeModelResponse.POLICY_NAME.sanitizationMetadata.errorMessage |
如果 Model Armor 回應中含有自訂覆寫的錯誤代碼,則會顯示該代碼。 |
SanitizeModelResponse.POLICY_NAME.csamFilterMatched |
布林值,指出 CSAM 篩選器是否相符。 |
SanitizeModelResponse.POLICY_NAME.maliciousURIs |
惡意 URI 篩選器偵測到的惡意 URI 附加清單。 |
SanitizeModelResponse.POLICY_NAME.maliciousURIsDetected |
布林值,指出惡意 URI 篩選器是否相符。 |
SanitizeModelResponse.POLICY_NAME.matchesFound |
布林值,指出是否有任何篩選條件相符。 |
SanitizeModelResponse.POLICY_NAME.promptInjectionDetected |
布林值,表示提示詞注入篩選器是否相符。 |
SanitizeModelResponse.POLICY_NAME.promptInjectionConfidence |
提示詞注入偵測的信賴水準。 |
SanitizeModelResponse.POLICY_NAME.raiMatchesFound |
布林值,表示 RAI 篩選器是否相符。 |
SanitizeModelResponse.POLICY_NAME.requestSentToModelArmor |
布林值,指出是否已將要求傳送至 Model Armor。 |
SanitizeModelResponse.POLICY_NAME.sanitizeOperation |
指定政策執行的作業。有效值包括 SANITIZE_USER_PROMPT 和 SANITIZE_MODEL_RESPONSE。 |
錯誤參考資料
本節說明 Apigee 針對 <SanitizeModelResponse> 政策傳回的錯誤代碼和錯誤訊息,以及設定的錯誤變數。如果您要開發錯誤規則來處理錯誤,請務必瞭解這項資訊。詳情請參閱「政策錯誤須知」和「處理錯誤」。
執行階段錯誤
| 錯誤代碼 | HTTP 狀態 | 原因 |
|---|---|---|
steps.sanitize.model.response.FilterMatched |
400 |
如果使用者提示詞未通過 Model Armor 範本檢查,就會發生這個錯誤。 |
steps.sanitize.model.response.SanitizationResponseParsingFailed |
500 |
如果無法剖析 Model Armor 回應,就會發生這項錯誤。 |
steps.sanitize.model.response.FailedToExtractUserPrompt |
500 |
如果系統無法自動擷取預設值的使用者提示,就會發生這項錯誤。 |
steps.sanitize.model.response.FailedToExtractLLMResponse |
500 |
如果預設值的自動模型回覆擷取作業失敗,就會發生這個錯誤。 |
steps.sanitize.model.response.InternalError |
500 |
如果發生內部伺服器錯誤,就會出現這個錯誤。 |
steps.sanitize.model.response.ModelArmorTemplateNameExtractionFailed |
500 |
如果無法解析範本名稱,就會發生這項錯誤。 |
steps.sanitize.model.response.AuthenticationFailure |
500 |
如果服務帳戶沒有呼叫 Model Armor API 的權限,就會發生這項錯誤。 |
steps.sanitize.model.response.ModelArmorAPIFailed |
500 |
如果 Model Armor API 擲回錯誤,就會發生這個錯誤。 |
steps.sanitize.model.response.ModelArmorCalloutError |
500 |
如果 Model Armor API 呼叫失敗,就會發生這項錯誤。 |
steps.sanitize.modelarmor.ServiceUnavailable |
500 |
如果 Model Armor 服務無法使用,就會發生這個錯誤。 |
部署錯誤
部署含有這項政策的 Proxy 時,可能會發生這些錯誤。
| 錯誤名稱 | 原因 |
|---|---|
The ModelArmor/TemplateName element is required. |
如果 <ModelArmor> 中沒有 <TemplateName> 元素,就會發生這種情況。 |
The TemplateName element value is required. |
如果 <TemplateName> 值空白,就會發生這個錯誤。 |
錯誤變數
當這項政策在執行階段觸發錯誤時,系統會設定這些變數。詳情請參閱「政策錯誤須知」。
錯誤回應範例
{ "fault": { "faultstring": "SanitizeModelResponse[sanitize-response]: unable to resolve variable [variable_name]", "detail": { "errorcode": "steps.sanitizemodelresponse.UnresolvedVariable" } } }
錯誤規則範例
<FaultRule name="SanitizeModelResponse Faults">
<Step>
<Name>SMR-CustomSetVariableErrorResponse</Name>
<Condition>(fault.name = "SetVariableFailed")</Condition>
</Step>
<Condition>(sanitizemodelresponse.failed = true)</Condition>
</FaultRule>Model Armor 範本錯誤代碼和錯誤訊息
Model Armor 範本支援覆寫 SanitizeModelResponse 政策 API 要求擲回的錯誤代碼和錯誤訊息。如果使用者設定覆寫,系統就會在流程變數中填入 Model Armor 錯誤代碼和錯誤訊息。
舉例來說,含有 Model Armor 錯誤代碼和訊息的回應可能如下所示:
{ "sanitizationResult": { "filterMatchState": "MATCH_FOUND", "filterResults": {...}, "sanitizationMetadata": { "errorCode": "890", "errorMessage": "get out" }, "invocationResult": "SUCCESS" } }
結構定義
每個政策類型都由 XML 架構 (.xsd) 定義。如需參考,請前往 GitHub 查看政策架構。