AI Protection 可偵測威脅，並協助您降低 AI 資產清單的風險，進而管理 AI 工作負載的安全防護機制。本文將概略說明 AI 保護功能，包括優點和幾個重要概念。如要在機構層級啟用 Security Command Center，請使用 AI Protection。
如果使用進階和企業服務層級，在機構層級啟用 Security Command Center 後，AI Protection 功能有助於全面掌握整個 Google Cloud 環境的 AI Security。 Google Cloud 控制台中的 AI Protection 資訊主頁會顯示一組一致的小工具和功能，以及從機構內所有專案和資源匯總的資料。
AI Protection 的功能
AI Protection 可透過下列方式，協助您管理 AI 系統的威脅和風險：
- 評估 AI 資產清單：評估並瞭解您的 AI 系統和 AI 資產，包括：
- 找出安全漏洞：找出使用 Agent Runtime 部署的代理式工作負載中的軟體安全漏洞 (CVE)。
- 找出風險：根據攻擊路徑模擬和預先定義的安全性圖譜規則，找出代理程式風險及其對生態系統的影響，並將代理程式和 MCP 伺服器視為高價值資源。
- 偵測權限過高的代理程式：偵測獲得過多權限的 Agent Runtime 代理程式。(預覽)
- 管理風險和法規遵循：主動管理 AI 資產的風險，並確認 AI 部署作業符合相關安全標準。
- 降低法律和財務風險：減少與安全漏洞和法規不符相關的財務、聲譽和法律風險。
- 偵測及管理威脅：及時偵測並因應 AI 系統和資產的潛在威脅。
- 查看單一資訊主頁：透過單一集中式資訊主頁，管理所有 AI 相關風險和威脅。
AI Protection 的用途
AI Protection 可協助機構辨識並降低與 AI 系統和機密資料相關的威脅和風險，進而強化安全防護機制。以下用途範例說明 AI Protection 功能在不同機構的應用方式：
金融服務機構：客戶財務資料
某大型金融服務機構使用 AI 模型處理敏感的財務資料。
- 挑戰：使用 AI 模型處理高度敏感的財務資料會帶來多種風險，包括資料侵害、訓練或推論期間資料竊取，以及基礎 AI 基礎架構中的安全漏洞。
- 用途：AI Protection 會持續監控 AI 工作流程中的可疑活動，偵測未經授權的資料存取權和異常模型行為，執行機密資料分類，並協助您提升 PCI DSS 和 GDPR 等法規的遵循程度。
醫療服務提供者：病患隱私權和法規遵循
某大型醫療服務提供者管理電子病歷，並使用 AI 進行診斷和治療規劃，處理受保護的健康資訊 (PHI)。
- 挑戰：AI 模型分析的受保護健康資訊受到《健康保險流通與責任法案》等嚴格法規的約束。風險包括因設定錯誤或惡意攻擊而意外洩漏受保護的健康資訊，這類攻擊會以 AI 系統為目標，竊取病患資料。
- 用途：AI Protection 可識別並警示潛在的《健康保險流通與責任法案》違規行為，偵測模型或使用者未經授權存取受保護的健康資訊，標記易受攻擊和可能設定錯誤的 AI 服務，以及監控資料外洩情形。
製造和機器人公司：專屬智慧財產
這家製造公司專門生產先進的機器人和自動化設備，因此非常依賴 AI 技術來提升生產線和機器人控制的效率，而重要的智慧財產權 (IP) 則內嵌在 AI 演算法和製造資料中。
- 挑戰：專有 AI 演算法和敏感的作業資料容易遭內部威脅或外部攻擊者竊取，可能導致競爭劣勢或作業中斷。
- 用途：AI Protection 會監控 AI 模型和程式碼存放區的未授權存取行為、偵測嘗試竊取訓練模型和異常資料存取模式，並標記 AI 開發環境中的安全漏洞，防止智慧財產遭竊。
Gemini Enterprise Agent Platform 資產的 Event Threat Detection 規則
Event Threat Detection 偵測到多項與 Gemini Enterprise Agent Platform 資產相關的潛在威脅，例如異常的服務帳戶活動、私密資訊權限變更，以及濫用代理功能身分。
適用於 AI 資產的類別包括：
- 持續性：新 AI API 方法
- 持續性：AI 服務的新地理區域
- 權限提升：AI 管理員活動出現異常服務帳戶模擬者
- 權限提升：AI 資料存取出現異常服務帳戶模擬者
- 權限提升：AI 管理員活動出現異常多步驟服務帳戶委派情況
- 權限提升：AI 資料存取出現異常多步驟服務帳戶委派情況
- 權限提升：AI 管理員活動出現異常服務帳戶模擬者
- 初始存取權：AI 服務中的休眠服務帳戶活動
- 持續性：將身分與存取權管理異常狀況授權授予代理程式身分
- 憑證存取：在 Google Cloud以外使用代理身分憑證
- 持續性：敏感 AI 權限新增至自訂角色
- 持續性：AI 代理授予敏感角色
- 持續性：將敏感角色授予外部 AI 代理
- 規避防禦措施：將專案層級的 TokenCreator 角色授予 AI 代理
- 規避防禦機制：將資料夾層級的 TokenCreator 角色授予 AI 代理
- 規避防禦機制：將機構層級的權杖建立者角色授予 AI 代理
如要查看適用於 AI 資產的完整 Event Threat Detection 發現項目清單，請參閱「偵測服務」。
Agent Runtime 的 Agent Platform Threat Detection
Agent Platform Threat Detection 可偵測部署至 Agent Runtime 的代理程式在執行階段受到的威脅。這項服務會監控執行中的代理程式，找出潛在攻擊並在 Security Command Center 中產生發現項目。
Agent Platform Threat Detection 可為 Agent Runtime 生成發現項目，包括下列類別：
- 惡意中繼站：偵測到隱寫術工具
- 憑證存取：尋找「憑證」 Google Cloud
- 憑證存取：偵察 GPG 金鑰
- 憑證存取權：搜尋私密金鑰或密碼
- 規避防禦機制：Base64 ELF 檔案指令列
- 規避防禦措施：已執行 Base64 編碼的 Python 指令碼
- 規避防禦機制：已執行 Base64 編碼的殼層指令碼
- 規避防禦機制：在容器中啟動程式碼編譯器工具
- 執行：容器中的 Netcat 遠端程式碼執行作業
- 執行：可能透過 CUPS 執行任意指令 (CVE-2024-47177)
- 執行：偵測到可能的遠端指令執行作業
- 執行：在禁止使用 HTTP Proxy 的環境中執行程式
- 執行作業：偵測到 Socat 反向殼層
- 執行作業：載入了可疑的 OpenSSL 共用物件
- 外洩：在容器中啟動遠端檔案複製工具
- 影響：偵測惡意指令列
- 影響：從磁碟移除大量資料
- 影響：使用 Stratum 通訊協定的可疑加密貨幣挖礦活動
- 權限提升：濫用 Sudo 來提權 (CVE-2019-14287)
- 權限提升：Polkit 本機提權安全漏洞 (CVE-2021-4034)
- 提權：Sudo 存在提權風險 (CVE-2021-3156)
- 執行：已執行惡意 Python
- 執行：容器跳脫
- 執行：Kubernetes 攻擊工具執行作業
- 執行：本機偵查工具執行作業
- 影響：已執行惡意指令碼
- 影響：偵測到惡意網址
- 執行：非預期的子殼層
如需 Agent Platform Threat Detection 發現項目的完整清單，請參閱「偵測服務」。
AI Protection 架構
AI Protection 使用的架構包含特定雲端控制項，這些控制項會以偵測模式自動部署。偵測模式： 雲端控管機制會套用至定義的資源，以進行監控。系統偵測到違規行為並產生警告。您可以使用架構和雲端控制項定義 AI Protection 需求，並將這些需求套用至 Google Cloud 環境。AI Protection 包含預設框架，其中定義了 AI Protection 的建議基準控制項。啟用 AI Protection 功能後，系統會自動將預設框架套用至偵測模式下的 Google Cloud 機構。
如有需要，您可以複製架構來建立自訂 AI 保護架構。您可以將雲端控管機制新增至自訂架構，並將自訂架構套用至機構、資料夾或專案。舉例來說，您可以建立自訂架構，對特定資料夾套用特定管轄區的控制項，確保這些資料夾中的資料留在特定地理區域。
預設 AI Protection 架構中的雲端控管
如要進一步瞭解 AI Protection 架構使用的雲端控制項，請參閱「Google 建議的 AI 基礎功能 - Vertex AI」。
AI Protection 支援的功能領域
本節定義 AI Protection 功能可協助保護的功能領域。
- AI 工作負載：AI 應用程式工作負載的範圍很廣，從旨在提升員工生產力的內部工具，到為提升使用者體驗和推動業務而設計的消費者解決方案，都屬於此類。例如 AI 代理程式、虛擬助理、對話式 AI 聊天機器人和個人化推薦內容。
- AI 代理：AI 代理是一種 AI 系統，可感知環境、做出決策，並採取行動來達成特定目標。
- AI 模型：AI 模型分為基礎 AI 模型、微調 AI 模型、標準第一方 AI 模型和自訂 AI 模型。例如 Gemini、Llama、翻譯模型，以及用於特定工作的自訂模型。
- AI 資產：AI 資產有助於機器學習作業管道，並供 AI 工作負載使用。AI 資產類型包括：
- 宣告式 AI 資產：AI 生命週期管理工具 (例如 Gemini Enterprise Agent Platform) 會追蹤這些資產。
- 推斷的 AI 資產：用於處理 AI 資料或工作負載的一般用途資產，例如運算和儲存空間資產。
- 模型即服務 (僅限 API)：可程式輔助呼叫第一方或第三方 AI 模型的資產。
使用 AI Security 資訊主頁
您可以在 AI Security 資訊主頁中，查看貴機構的 AI 資產清單，並審查建議的風險和威脅緩解措施。
存取 AI Security 資訊主頁
如要存取 AI 安全性資訊主頁，請前往 Google Cloud 控制台的「風險總覽」>「AI 安全性」頁面：
詳情請參閱「AI 安全性資訊主頁」。
瞭解 AI 系統的風險管理
本節提供與 AI 系統相關的潛在風險資訊。您可以查看 AI 資產中的主要風險。
按一下任一問題，即可開啟詳細資料窗格，查看問題的視覺化呈現方式。
查看 AI 威脅
本節提供與 AI 系統相關聯的威脅洞察資訊。您可以查看與 AI 資源相關的近期前 5 大威脅。
你可以在這個頁面進行下列操作：
- 按一下「查看全部」，即可查看與 AI 資源相關的威脅。
- 按一下任一威脅，即可查看威脅的詳細資料。
以圖像呈現 AI 資產
您可以在資訊主頁上查看 AI 資源的視覺化呈現方式，其中提供涉及生成式 AI 的專案摘要、目前使用的第一方和第三方模型，以及用於訓練第三方模型的資料集。
你可以在這個頁面進行下列操作：
- 如要查看商品目錄詳細資料頁面，請按一下視覺化圖表中的任一節點。
- 如要查看個別資產的詳細清單 (例如基礎模型和自建模型)，請按一下工具提示。
- 如要開啟模型的詳細資料檢視畫面，請按一下模型。這個檢視畫面會顯示詳細資料，例如模型代管的端點，以及用於訓練模型的資料集。如果啟用 Sensitive Data Protection，資料集檢視畫面也會顯示資料集是否含有任何機密資料。
查看 AI 架構發現項目摘要
本節說明如何評估及管理 AI 架構和資料安全性政策的發現項目，包括：
- 發現項目：這個部分會顯示 AI 安全性政策和資料安全性政策生成的發現項目摘要。按一下「查看所有發現項目」，或按一下各發現項目類別的計數，即可查看發現項目的詳細資料。按一下發現項目，即可顯示該發現項目的其他資訊。
- Vertex AI 資料集內的私密/機密資料：這個部分會根據 Sensitive Data Protection 報告的資料集私密/機密資料，顯示發現項目的摘要。詳情請參閱「Gemini Enterprise Agent Platform 簡介」。
檢查 Model Armor 發現項目
圖表顯示 Model Armor 掃描的提示或回覆總數，以及偵測到的問題數量。此外，圖表還會顯示偵測到的各種問題的摘要統計資料，例如提示詞注入和越獄偵測，以及機密資料偵測。對於代理程式工作負載，您可以在代理程式閘道 (預覽版) 設定 Model Armor，過濾傳送至代理程式和代理程式傳送的提示詞和回覆。
這項資訊是根據 Model Armor 發布至 Cloud Monitoring 的指標填入。詳情請參閱 Model Armor 總覽。
後續步驟
- 瞭解如何設定 AI 保護功能。
- 如要評估風險，請存取資訊主頁資料。