透過探索和檢查瞭解資料

本頁面說明並比較兩項 Sensitive Data Protection 服務,協助您瞭解資料並啟用資料治理工作流程:探索服務和檢查服務。

機密資料探索

探索服務會監控組織內的資料。這項服務會持續執行,自動探索、分類及剖析資料。探索功能可協助您瞭解所儲存資料的位置和性質,包括您可能不知道的資料資源。不明資料 (有時稱為影子資料) 通常不會像已知資料一樣,受到同等程度的資料治理和風險管理。

您可以在不同範圍設定探索功能。您可以為不同資料子集設定不同的剖析排程。您也可以排除不需剖析的資料子集。

探索掃描輸出:資料剖析檔

探索掃描作業的輸出內容,是範圍內每個資料資源的一組資料剖析。舉例來說,BigQuery 或 Cloud SQL 資料的探索掃描作業,會在專案、資料表和資料欄層級產生資料剖析檔。

資料剖析檔包含剖析資源的指標和深入分析資訊。包括資料分類 (或 infoType)、機密程度、資料風險等級、資料大小、資料形狀,以及其他描述資料性質和其資安態勢 (資料安全性) 的元素。您可以根據資料剖析結果,做出明智的資料保護決策,例如設定資料表的存取權政策。

假設 BigQuery 資料欄名為 ccn,其中每列都包含不重複的信用卡號,且沒有空值。產生的資料欄層級資料剖析檔會包含下列詳細資料:

顯示名稱 值
Field ID ccn
Data risk High
Sensitivity High
Data type TYPE_STRING
Policy tags No
Free text score 0
Estimated uniqueness High
Estimated null proportion Very low
Last profile generated DATE_TIME
Predicted infoType CREDIT_CARD_NUMBER

此外,這個資料欄層級設定檔是資料表層級設定檔的一部分,可提供資料位置、加密狀態,以及資料表是否公開共用等洞察資訊。在 Google Cloud 控制台中,您也可以查看資料表的 Cloud Logging 記錄項目,以及具備資料表角色的 IAM 主體。

資料表層級的資料剖析檔,顯示資料表的指標和深入分析資訊,並可讓您在 Logging、IAM 和 Knowledge Catalog 中查看資料表。

如需資料剖析中可用指標和洞察資料的完整清單,請參閱「指標參考資料」。

探索功能的使用時機

規劃資料風險管理方法時,建議您從探索開始。探索服務可協助您全面瞭解資料,並啟用快訊、報表和修復功能。

以下是一些常見用途:

  • 全面掌握雲端環境:持續掃描及剖析組織、資料夾或專案中的所有資料資產,不必建立個別掃描工作。
  • 找出影子資料和未受管理的存放區:偵測新建立或未分類的資料表和 bucket,找出缺乏適當管理或存取控管機制的項目。
  • 根據風險評分決定安全性措施的優先順序:將修復和保護資源集中用於機密性高、資料風險評分高的資料存放區。
  • 找出需要深度檢查的項目:找出任意文字分數較高的資料表和 Storage bucket,其中包含需要精細掃描的非結構化留言或評論。

機密資料檢查

檢查服務會徹底掃描單一資源,找出機密資料的每個例項。檢查作業會為每個偵測到的例項產生發現項目。

檢查工作提供豐富的設定選項,可協助您找出要檢查的資料。舉例來說,您可以啟用取樣功能,將要檢查的資料限制在特定資料列數 (適用於 BigQuery 資料) 或特定檔案類型 (適用於 Cloud Storage 資料)。您也可以指定建立或修改資料的特定時間範圍。

探索功能會持續監控資料,檢查功能則會視需要執行。不過,您可以排定週期性檢查工作,稱為工作觸發條件。

檢查掃描輸出內容:發現項目

每個發現項目都包含詳細資料,例如偵測到的執行個體位置、潛在 infoType,以及發現項目與 infoType 相符的確定性 (也稱為可能性)。視設定而定,您也可以取得發現項目所屬的實際字串,在 Sensitive Data Protection 中,這個字串稱為「引述」。

如要查看檢查結果中包含的完整詳細資料清單,請參閱 Finding。

檢查功能使用時機

以下是一些常見用途:

  • 掃描非結構化文字和任意形式欄位:在客戶留言、意見回饋表單、支援單和文件存放區中,找出所有個人識別資訊 (PII) 的特定例項。
  • 對單一資源執行時間點法規遵循稽核:產生詳細的發現項目報表,記錄目標資料表或 bucket 中所有機密項目的確切位元組和資料列位置。
  • 檢查混合雲和多雲端資料串流:直接從地端部署伺服器、ETL 管道或外部雲端串流酬載,在 Google Cloud中產生集中式發現項目報告。
  • 觸發自動隔離和警告工作流程:將偵測到的發現項目發布至 Pub/Sub,或直接儲存至 BigQuery 資料表,以推動事件導向的修復作業。

不適合使用檢查工具的情況

如果同時符合下列兩項條件,檢查資源就沒有意義。探索掃描作業可協助您判斷是否需要執行檢查掃描作業。

  • 資源中只有結構化資料。也就是說,沒有使用者留言或評論等自由格式資料的資料欄。
  • 您已知道該資源中儲存的 infoType。

舉例來說,假設探索掃描的資料剖析結果顯示,某個 BigQuery 資料表沒有非結構化資料欄,但有不重複信用卡號資料欄。在這種情況下,檢查資料表中的信用卡號碼就沒有用處。檢查作業會為資料欄中的每個項目產生一項發現項目。如果您有 100 萬列,且每列包含 1 個信用卡號碼,檢查工作會產生 100 萬個 CREDIT_CARD_NUMBER infoType 發現項目。在這個範例中,探索掃描作業已指出資料欄包含不重複的信用卡卡號,因此不需要執行檢查。

資料落地、處理和儲存

探索和檢查功能都支援資料落地規定:

  • 探索服務會在資料所在位置處理資料,並將產生的資料設定檔儲存在與剖析資料相同的區域或多區域。詳情請參閱「資料落地注意事項」。
  • 檢查 Google Cloud 儲存系統中的資料時,檢查服務會在資料所在的區域處理資料,並將檢查工作儲存在該區域。透過混合工作或 content 方法檢查資料時,您可以指定檢查服務處理資料的位置。詳情請參閱「資料儲存方式」。

比較摘要:探索和檢查服務

探索 檢查
優點
  • 持續掌握機構、資料夾或專案的狀況。
  • 協助找出含有機密、高風險和非結構化資料的資源。如需完整的洞察清單,請參閱指標參考資料。
  • 協助找出不明資料 (或影子資料)。
  • 隨選檢查單一資源。
  • 識別受檢查資源中的每個機密資料例項。
費用
  • 執行費用預估:免費
  • 用量模式:每 GB$0.03 美元或 3 TB 的價格 (以較低者為準)
  • 訂閱模式 (預留容量):每個訂閱單元$2,500 美元

如果您採取用量模式且當月用量為 10 TB,費用約為$300 美元。
  • 1 GB 以下:免費
  • 1 GB 至 50 TB:每 GB$1.00 美元
  • 50 TB 至 500 TB:每 GB$0.75 美元
  • 超過 500 TB:每 GB$0.60 美元

10 TB 的費用約為每次掃描$10,000 美元。
支援的資料來源 BigLake
BigQuery
Cloud Run 函式環境變數
Cloud Run 服務修訂版本環境變數
Cloud SQL
Cloud Storage
Vertex AI
Amazon S3
Azure Blob Storage
BigQuery
Cloud Storage
Datastore
混合 (任何來源)1
支援的範圍
  • Google Cloud 組織、資料夾、專案或資料資源
  • AWS 連接器、帳戶或 S3 bucket 可用的所有支援資產
  • Azure 連接器、訂閱項目或 Azure Blob 儲存體容器可用的所有支援資產
單一 BigQuery 資料表、Cloud Storage bucket 或 Datastore 種類。
內建檢查範本 是 是
內建和自訂 infoType 是 是
掃描輸出 所有支援資料的概要總覽 (資料剖析檔)。 受檢資源中機密資料的具體發現項目。
將結果儲存至 BigQuery 是 是
傳送至 Knowledge Catalog 做為切面 是 否
將結果發布至 Security Command Center 是 是
將發現項目發布至 Google Security Operations 是 (適用於組織層級和資料夾層級探索) 否
發布至 Pub/Sub 是 是
資料落地支援 是 是

1 混合檢查採用不同的定價模式。詳情請參閱「檢查任意來源的資料 」。

後續步驟