本页介绍了在 Sensitive Data Protection 对资源进行分析后,如何自动向数据添加知识目录方面。此页面还提供了示例查询,您可以使用这些查询在组织和项目中查找具有特定方面值的数据。
如果您想利用从 Sensitive Data Protection 数据配置文件中收集的分析洞见来丰富知识目录中的元数据,此功能非常有用。生成的方面包括以下数据洞见:
- 表或数据集的计算得出的敏感度级别
- 表或数据集的计算数据风险等级
- 在表格或数据集中检测到的信息类型 (infoTypes)
借助 Sensitive Data Protection 数据剖析文件提供的分析洞见,您可以利用知识目录发现组织中的敏感数据和高风险数据。您可以利用这些数据洞见,针对如何管理和管控数据做出明智的决策。
数据剖析文件简介
您可以配置 Sensitive Data Protection,使其自动生成有关组织、文件夹或项目中的数据的分析文件。数据分析文件包含有关数据的指标和元数据,可帮助您确定敏感数据和高风险数据所在的位置。Sensitive Data Protection 会在各种细节级别报告这些指标。
您可以将数据剖析发送到其他 Google Cloud 服务,例如 Knowledge Catalog、Pub/Sub、Security Command Center 和 Google Security Operations,以丰富您的数据治理、提醒和安全工作流。
知识目录简介
知识目录提供 Google Cloud 资源的统一清单。
借助知识目录,您可以使用切面向数据添加业务和技术元数据,以捕获有关资源的上下文和知识。然后,您可以在组织内搜索和发现数据,并对数据资产启用数据治理。如需了解详情,请参阅切面。
支持的资源
Sensitive Data Protection 可以自动将方面附加到知识目录条目,适用于以下资源:
- BigQuery 表
Cloud SQL 表
通过 BigQuery 表创建的 Vertex AI 数据集
知识目录不会注入 Cloud Storage 存储分区,因此在分析 Cloud Storage 数据时,此功能不可用。
工作原理
根据数据剖析文件自动创建知识目录切面的大致工作流程如下:
在添加操作这一步中,请确保已启用以切面形式发送到 Dataplex Catalog 操作。
如果您要创建扫描配置,则此操作默认处于启用状态。
如果您要修改扫描配置,请启用此操作。
Sensitive Data Protection 会为分析的每个受支持的资源添加或更新知识目录条目的 Sensitive Data Protection profile 方面。然后,您可以在知识目录中搜索组织或项目内具有特定方面值的所有数据。
启用以切面形式发送到 Dataplex Catalog 操作后,Sensitive Data Protection 仅会将此操作应用于新的和更新的配置文件。未更新的现有配置文件不会发送到知识目录。
顶级字段
经过分析的表的最终方面可以包含以下顶级字段:
| 显示名称 | 示例值 | 说明 |
|---|---|---|
Sensitivity |
MODERATE |
表的计算得出的敏感度级别 |
Risk |
MODERATE |
表的计算得出的数据风险等级 |
InfoTypes |
|
表格中找到的所有 infoType 的列表,包括预测的 infoType 和其他 infoType。如果在表格中检测到至少一个 infoType,则会包含此字段。 |
Column InfoTypes |
|
表格所有列中发现的所有预测 infoType 的列表。如果表格中检测到至少一个预测的 infoType,则会包含此字段。 |
Project Profile |
请参阅本页面上的项目个人资料和组织个人资料。 | 如果资源是通过项目级扫描配置进行分析的,则包含此列。 |
Organization Profile |
请参阅本页面上的项目个人资料和组织个人资料。 | 如果资源是通过组织级或文件夹级扫描配置进行剖析的,则包含此字段。 |
如果资源在项目级层和组织级层或文件夹级层都进行了分析,则 Sensitive Data Protection 会汇总这两个分析文件的值。该方面会提供检测到的 infoType 的并集,并使用这两个分析结果中最高的敏感度和数据风险评级。
例如,假设项目级剖析文件将资源的敏感度评为 MODERATE,而组织级剖析文件将敏感度评为 LOW。在这种情况下,相应方面的顶级 Sensitivity 字段中的值为 MODERATE。
项目分析和组织分析字段
生成的 Sensitive Data Protection profile 方面包含以下一个或两个顶级字段,具体取决于资源分析的级别:
Project Profile- 如果资源是通过项目级扫描配置进行分析的,则包含在方面中
Organization Profile- 如果资源是通过组织级层或文件夹级层扫描配置进行分析的,则包含在方面中
如果资源在项目级层和组织/文件夹级层都进行了剖析,则生成的方面同时包含 Project Profile 和 Organization Profile 字段。
每个 Project Profile 或 Organization Profile 字段都包含嵌套的 Sensitivity 和 Risk 字段,其中包含数据配置文件中列出的值。如果数据分析包含预测的 infoType 和列出的其他 infoType,则这些 infoType 也可作为嵌套的 Column InfoTypes 和 InfoTypes 字段提供。此外,每个 Project Profile 或 Organization Profile 字段都包含以下嵌套字段:
Profile数据分析的完整资源名称。示例:
- 项目级配置文件:
projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID - 组织级或文件夹级支付资料:
organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
- 项目级配置文件:
Profile LinkGoogle Cloud 控制台中配置文件的链接。示例:
- 项目级配置文件:
https://console.cloud.google.com/security/sensitive-data-protection/projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID - 组织级或文件夹级支付资料:
https://console.cloud.google.com/security/sensitive-data-protection/organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
- 项目级配置文件:
启用 Dataplex API
您必须在包含要添加方面的数据的每个项目中启用 Dataplex API。本部分介绍了如何在单个项目中或在组织或文件夹中的所有项目中启用 Dataplex API。
在单个项目中启用 Dataplex API
选择要在其中启用 Dataplex API 的项目。
-
启用 Dataplex API。
启用 API 所需的角色
如需启用 API,您需要拥有 Service Usage Admin IAM 角色 (
roles/serviceusage.serviceUsageAdmin),该角色包含serviceusage.services.enable权限。了解如何授予角色。
在组织或文件夹中的所有项目中启用 Dataplex API
此部分提供了一个脚本,用于搜索组织或文件夹中的所有项目,并在每个项目中启用 Dataplex API。
如需获得在组织或文件夹中的所有项目中启用 Dataplex API 所需的权限,请让管理员向您授予以下 IAM 角色:
-
组织或文件夹的 Cloud Asset Viewer (
roles/cloudasset.viewer) -
针对您要在其中启用 Dataplex API 的每个项目的 DLP User (
roles/dlp.user)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
这些预定义角色包含在组织或文件夹中的所有项目中启用 Dataplex API 所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
如需在组织或文件夹中的所有项目中启用 Dataplex API,您必须拥有以下权限:
-
如需搜索组织或文件夹中的所有项目,请执行以下操作:
点击组织或文件夹中的
cloudasset.assets.searchAllResources -
如需启用 Dataplex API,请在您要启用 Dataplex API 的每个项目中执行以下操作:
serviceusage.services.use
如需在组织或文件夹中的所有项目中启用 Dataplex API,请按以下步骤操作:
-
在 Google Cloud 控制台中,激活 Cloud Shell。
Cloud Shell 会话随即会在 Google Cloud 控制台的底部启动,并显示命令行提示符。Cloud Shell 是一个已安装 Google Cloud CLI 且已为当前项目设置值的 Shell 环境。该会话可能需要几秒钟时间来完成初始化。
运行以下脚本:
#!/bin/bash RESOURCE_ID="RESOURCE_ID" gcloud asset search-all-resources \ --scope="RESOURCE_TYPE/$RESOURCE_ID" \ --asset-types="cloudresourcemanager.googleapis.com/Project" \ --format="value(name)" | while read project_name; do project_id=$(echo "$project_name" | sed 's|.*/||') gcloud services enable "dataplex.googleapis.com" --project="$project_id" done替换以下内容:
RESOURCE_ID:包含项目的资源的组织编号或文件夹编号RESOURCE_TYPE:包含项目的资源类型 -organizations或folders
查看方面所需的角色和权限
如需获得搜索与资源相关联的方面所需的权限,请让管理员为您授予资源的以下 IAM 角色:
-
Dataplex Catalog Viewer (
roles/dataplex.catalogViewer) -
BigQuery Data Viewer (
roles/bigquery.dataViewer) -
Vertex AI Viewer (
roles/aiplatform.viewer)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
这些预定义角色包含搜索与资源相关联的方面所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
您需要具备以下权限才能搜索与资源相关联的方面:
-
查看知识目录条目:
-
dataplex.entries.list -
dataplex.entries.get
-
-
查看 BigQuery 数据集和表:
-
bigquery.datasets.get -
bigquery.tables.get
-
-
查看 Vertex AI 数据集:
aiplatform.datasets.get
如需详细了解使用知识目录所需的权限,请参阅知识目录 IAM 权限。
查找给定表数据分析的生成方面
在 Google Cloud 控制台中,前往 Knowledge Catalog 搜索页面。
选择您的组织或项目。
对于选择搜索平台,选择 Dataplex Universal Catalog 作为搜索模式。
在搜索字段中,输入以下内容:
name:TABLE_ID将
TABLE_ID替换为已分析的表的 ID。在随即显示的列表中,点击表名称。系统会显示 BigQuery 表的详细信息。与其关联的任何
Sensitive Data Protection profile切面都会显示在可选的标记和切面部分中。
如需详细了解如何搜索资源,请参阅在知识目录中搜索资源。
搜索查询示例
本部分提供了一些示例搜索查询,您可以在知识目录中使用这些查询来查找组织或项目中具有特定方面值的数据。
您只能找到自己有权访问的数据。数据访问权限通过 IAM 权限进行控制。如需了解详情,请参阅本页面上的查看方面的角色和权限。
您可以在知识目录搜索页面上的搜索字段中输入这些示例查询。
如需了解如何构建查询,请参阅 Knowledge Catalog 的搜索语法。
查找具有 Sensitive Data Protection 剖析方面的所有资源
aspect:sensitive-data-protection-profile
查找具有指定敏感度得分的所有资源
aspect:sensitive-data-protection-profile.sensitivity=SENSITIVITY_SCORE
将 SENSITIVITY_SCORE 替换为 HIGH、MODERATE、UNKNOWN 或 LOW。
如需了解详情,请参阅敏感度和数据风险级别。
查找具有指定风险得分的所有资源
aspect:sensitive-data-protection-profile.risk=DATA_RISK_LEVEL
将 DATA_RISK_LEVEL 替换为 HIGH、MODERATE、UNKNOWN 或 LOW。
如需了解详情,请参阅敏感度和数据风险级别。
查找具有项目级配置的所有资源
aspect:sensitive-data-protection-profile.projectProfile
查找具有组织级配置文件的所有资源
aspect:sensitive-data-protection-profile.organizationProfile
迁移到“以切面形式发送到 Dataplex Catalog”操作
如需迁移设置为使用已弃用的以标记形式发送到 Dataplex 操作的发现配置,请按以下步骤操作:
- 修改发现配置,该配置已设置为将发现结果作为标记发送到 Data Catalog。
- 在操作部分,停用以标记形式发送到 Dataplex。
- 启用以切面形式发送到 Dataplex Catalog。
- 点击保存。