本页面介绍了如何在组织或文件夹级别配置 BigQuery 数据发现。此任务的输出是组织级发现配置,如果该配置处于活跃状态,则会指示 Sensitive Data Protection 根据设定的时间表对数据进行分析。
如需在项目级对数据进行分析,请参阅在单个项目中对 BigQuery 数据进行分析。
如需详细了解发现服务,请参阅数据分析。
如需开始分析数据,您需要创建发现扫描配置。
准备工作
确认您拥有在组织级层配置数据分析所需的 IAM 权限。
如果您没有 Organization Administrator (
roles/resourcemanager.organizationAdmin) 或 Security Admin (roles/iam.securityAdmin) 角色,您仍然可以创建扫描配置。不过,创建扫描配置后,拥有上述任一角色的人员必须向您的服务代理授予数据剖析访问权限。您必须在每个包含要进行分析的数据的区域中都有一个检查模板。如果您想对多个区域使用单个模板,可以使用存储在
global区域中的模板。如果组织政策阻止您在global区域中创建检查模板,则您必须为每个区域设置专用检查模板。如需了解详情,请参阅数据驻留注意事项。此任务仅允许您在
global区域中创建检查模板。如果您需要一个或多个区域的专用检查模板,则必须在执行此任务之前创建这些模板。如需在发生特定事件(例如 Sensitive Data Protection 对新表进行剖析)时向主题发送 Pub/Sub 通知,请在执行此任务之前创建 Pub/Sub 主题。
您可以将 Sensitive Data Protection 配置为自动为资源附加标记。借助此功能,您可以根据这些资源的计算敏感度级别有条件地授予访问权限。如果您想使用此功能,必须先完成根据数据敏感度控制对资源的 IAM 访问权限中的任务。
如需生成数据配置文件,您需要在服务代理容器中创建服务代理容器和服务代理。此任务可让您自动创建这些资源。
创建扫描配置
转到创建扫描配置页面。
前往您的组织。在工具栏上,点击项目选择器,然后选择您的组织。
以下部分详细介绍了创建扫描配置页面中的步骤。在每个部分结束时,点击继续。
选择发现类型
选择 BigQuery。
选择范围
执行下列其中一项操作:- 如需在组织级配置分析,请选择扫描整个组织。
- 如需在文件夹级别配置分析,请选择扫描所选文件夹。点击浏览,然后选择相应文件夹。
管理时间表
如果默认性能分析频率符合您的需求,您可以跳过创建扫描配置页面的这一部分。
配置此部分的原因如下:
- 对所有数据或某些数据子集的分析频率进行精细调整。
- 指定您不想分析的表。
- 用于指定您不想多次分析的表。
如需对分析频率进行精细调整,请按以下步骤操作:
- 点击添加时间表。
在过滤条件部分中,您可以定义一个或多个过滤条件,以指定哪些表在时间表的范围内。如果表与定义的至少一个过滤条件匹配,则该表会被视为在时间表的范围内。
如需配置过滤条件,请至少指定以下一项:
- 项目 ID 或用于指定一个或多个项目的正则表达式
- 数据集 ID 或正则表达式,用于指定一个或多个数据集
- 指定一个或多个表的表 ID 或正则表达式
正则表达式必须遵循 RE2 语法。
例如,如果您希望将项目中的所有表都纳入过滤条件,请指定相应项目的 ID,并将其他两个字段留空。
如需匹配过滤条件,表必须满足该过滤条件中指定的所有正则表达式。
如果您想添加更多过滤条件,请点击添加过滤条件,然后重复此步骤。
点击频率。
在频率部分中,指定 Sensitive Data Protection 是否应分析您在过滤条件中定义的表,如果应分析,请指定频率:
如果您不希望分析这些表,请关闭分析表。
如果您希望至少对表进行一次分析,请将分析表保持开启状态。
在本部分的后续字段中,您可以指定系统是否应重新分析数据,以及哪些事件应触发重新分析操作。如需了解详情,请参阅生成数据剖析的频率。
- 对于架构更改时,请指定 Sensitive Data Protection 应以多高的频率检查所选表在上次分析后是否发生了架构更改。系统只会重新分析架构发生更改的表。
- 对于架构更改类型,指定哪些类型的架构更改应触发重新分析操作。选择以下选项之一:
- 新列:重新分析增加了新列的表。
- 移除的列:重新分析移除了列的表。
例如,假设您有每天都会添加新列的表,并且您需要每次都分析这些表的内容。 您可以将架构更改时设置为每日重新分析,并将架构更改类型设置为新列。
- 对于表发生更改时,指定 Sensitive Data Protection 应多久检查一次所选表在上次分析后是否发生了任何更改。系统只会重新剖析发生更改的表。表更改的示例包括行删除和架构更改。
您必须选择一个与架构更改时字段中设置的值相同或更低的值。
- 对于检查模板发生更改时,指定您是否希望在关联的检查模板更新时重新分析数据,如果希望,请指定频率。
当发生以下任一情况时,系统会检测到检查模板更改:
- 扫描配置中的检查模板名称发生更改。
- 检查模板的
updateTime发生更改。
例如,如果您为
us-west1区域设置了检查模板,并更新了该检查模板,则系统只会重新分析us-west1区域中的数据。
点击条件。
在条件部分中,指定过滤条件中定义的表在被 Sensitive Data Protection 分析之前必须满足的任何条件。如果您设置了最低条件和时间条件,Sensitive Data Protection 仅会分析同时满足这两种条件的表。
- 最低条件:如果您希望在表具有足够多的行或达到特定存在时间之前延迟对表进行分析,这些条件会很有用。开启要应用的条件,并指定最小行数或时长。
- 时间条件:如果您不希望对旧表进行分析,则此条件非常有用。开启时间条件,然后选择日期和时间。在该日期当天或之前创建的所有表都会从分析中排除。
示例条件
假设您有以下配置:
最低条件
- 最小行数:10 行
- 最短时长:24 小时
时间条件
- 时间戳:5/4/22,晚上 11:59
在这种情况下,Sensitive Data Protection 会排除在 2022 年 5 月 4 日晚上 11:59 或之前创建的所有表。在上述日期和时间之后创建的表中,Sensitive Data Protection 仅会分析具有 10 行或至少创建 24 小时的表。
在要分析的表部分中,根据要分析的表的类型,选择以下选项之一:
分析所有表:如果您希望 Sensitive Data Protection 分析符合过滤条件和条件的所有类型的表,请选择此选项。
对于不受支持的表类型,Sensitive Data Protection 只会生成部分填充的分析。此类分析会显示错误,表明其所属的表不受支持。如果您希望在出现出错提示时仍能看到部分配置文件,请选择此选项。
当 Sensitive Data Protection 增加对新表类型的支持时,它会在下次预定运行期间完全重新分析该类型的表。
分析支持的表:如果您希望 Sensitive Data Protection 仅分析符合过滤条件和条件的支持的表,请选择此选项。不受支持的表不会有部分分析。
分析特定表类型:如果您希望 Sensitive Data Protection 仅分析您选择的表类型,请选择此选项。在随即显示的列表中,选择一个或多个类型。
当 Sensitive Data Protection 新增对某种表类型的支持时,不会自动分析该类型的表。如需对新支持的表类型进行分析,您必须修改扫描配置并选择这些类型。
如果您未选择任何选项,Sensitive Data Protection 仅会分析 BigQuery 表,并针对不受支持的表显示错误。
数据分析的价格因所分析的表类型而异。 如需了解详情,请参阅数据分析价格。
点击完成。
可选:如需添加更多时间表,请点击添加时间表,然后重复上述步骤。
如需指定时间表的优先级,请使用 向上箭头和 向下箭头重新排序。
时间表的顺序指定了如何解决时间表之间的冲突。如果某个表与两个不同时间表的过滤条件匹配,则时间表列表中较高的那个时间表会决定该表的分析频率。
可选:修改或关闭兜底时间表。
列表中的最后一个时间表是涵盖所有情况的时间表。此时间表涵盖所选范围内与您创建的任何时间表都不匹配的表。通用时间表遵循系统默认的分析频率。
- 如需调整总括时间表,请点击 修改时间表,然后根据需要调整设置。
- 如需防止 Sensitive Data Protection 分析通用时间表涵盖的任何资源,请关闭对与任何自定义时间表都不匹配的资源进行分析。
选择检查模板
根据您希望提供检查配置的方式,选择以下选项之一。无论您选择哪个选项,Sensitive Data Protection 都会在数据存储区域中扫描您的数据。也就是说,您的数据不会离开其来源区域。
选项 1:创建检查模板
如果您想在 global 区域中创建新的检查模板,请选择此选项。
- 点击创建新的检查模板。
可选:如需修改默认选择的 infoType,请点击管理 infoType。
如需详细了解如何管理内置和自定义 infoType,请参阅通过Google Cloud 控制台管理 infoType。
您必须至少选择一种 infoType 才能继续。
可选:通过添加规则集并设置置信度阈值,进一步配置检查模板。如需了解详情,请参阅配置检测。
当 Sensitive Data Protection 创建扫描配置时,它会将此新检查模板存储在 global 区域中。
方法 2:使用现有检查模板
如果您有要使用的现有检查模板,请选择此选项。
- 点击选择现有的检查模板。
- 输入您要使用的检查模板的完整资源名称。
区域字段会自动填充存储检查模板的区域的名称。
您输入的检查模板必须与要进行分析的数据位于同一区域。
为遵循数据驻留要求,Sensitive Data Protection 不会在存储检查模板的区域之外使用该模板。
如需查找检查模板的完整资源名称,请按以下步骤操作:
- 转到检查模板列表。此页面会在单独的标签页中打开。
- 选择包含您要使用的检查模板的项目。
- 依次选择配置 > 模板 > 检查,然后点击要使用的模板的模板 ID。
- 在打开的页面上,复制模板的完整资源名称。完整资源名称采用以下格式:
projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID
- 在创建扫描配置页面上的模板名称字段中,粘贴模板的完整资源名称。
- 转到检查模板列表。此页面会在单独的标签页中打开。
- 如需为其他区域添加检查模板,请点击添加检查模板,然后输入模板的完整资源名称。针对您拥有专用检查模板的每个区域重复此操作。
- 可选:添加存储在
global区域中的检查模板。对于没有专用检查模板的区域中的数据,Sensitive Data Protection 会自动使用该模板。
添加操作
本部分介绍如何指定在分析表后要让 Sensitive Data Protection 执行的操作。如果您想将从数据配置文件中收集的数据分析发送到其他Google Cloud 服务,这些操作会很有用。
发布到 Google Security Operations
从数据配置文件中收集的指标可以为 Google Security Operations 发现结果添加背景信息。添加的上下文可以帮助您确定要解决的最重要的安全问题。
例如,如果您正在调查某个特定服务代理,Google Security Operations 可以确定该服务代理访问了哪些资源,以及其中是否有任何资源包含高度敏感的数据。
如需将数据分析文件发送到 Google Security Operations 实例,请开启发布到 Google Security Operations。
如果您未通过独立产品或 Security Command Center Enterprise 为组织启用 Google Security Operations 实例,则开启此选项没有任何效果。
发布到 Security Command Center
在 Security Command Center 中对漏洞和威胁发现结果进行分类和制定响应计划时,数据分析结果中的发现结果可提供背景信息。
您必须先在组织级层激活 Security Command Center,然后才能使用此操作。在组织级层启用 Security Command Center 后,系统便可从 Sensitive Data Protection 等集成服务中接收发现结果。Sensitive Data Protection 可与 Security Command Center 的所有服务层级配合使用。如果未在组织级层激活 Security Command Center,则 Sensitive Data Protection 发现结果不会显示在 Security Command Center 中。如需了解详情,请参阅查看 Security Command Center 的激活级别。
如需将数据分析结果发送到 Security Command Center,请确保发布到 Security Command Center 选项处于开启状态。
如需了解详情,请参阅将数据分析结果发布到 Security Command Center。
将数据分析结果副本保存到 BigQuery
Sensitive Data Protection 会将每个生成的数据剖析结果的副本保存在 BigQuery 表中。如果您未提供首选表的详细信息,Sensitive Data Protection 会在服务代理容器中创建数据集和表。默认情况下,数据集名为 sensitive_data_protection_discovery,表名为 discovery_profiles。
通过此操作,您可以保留所有生成的配置文件的历史记录。此历史记录可用于创建审核报告和直观呈现数据配置文件。您还可以将这些信息加载到其他系统中。
此外,无论您的数据位于哪个区域,此选项都可让您在单个视图中查看所有数据配置文件。虽然您也可以通过Google Cloud 控制台查看数据分析,但控制台一次只能显示一个区域的分析。
如果 Sensitive Data Protection 无法分析某个表,它会定期重试。为最大限度减少导出数据中的干扰,Sensitive Data Protection 仅将成功生成的剖析结果导出到 BigQuery。
Sensitive Data Protection 会从您启用此选项时开始导出剖析文件。在您开启导出功能之前生成的数据分析文件不会保存到 BigQuery。
如需查看分析数据分析时可以使用的示例查询,请参阅分析数据分析。
将发现结果示例保存到 BigQuery
Sensitive Data Protection 可以将样本发现结果添加到您选择的 BigQuery 表中。样本发现结果代表所有发现结果的一个子集,可能不代表发现的所有 infoType。通常,系统会为每个表生成大约 10 个样本发现结果,但每次发现运行的样本数量可能会有所不同。
每项发现结果都包含检测到的实际字符串(也称为引用)及其确切位置。
如果您想评估检查配置是否正确匹配您要标记为敏感的信息类型,此操作会很有用。使用导出的数据配置文件和导出的样本发现结果,您可以运行查询,以获取有关被标记的具体项、它们匹配的 infoType、它们的确切位置、它们计算出的敏感度级别以及其他详细信息的更多信息。
示例查询:显示与表数据分析文件相关的示例发现结果
此示例要求同时启用将数据剖析结果副本保存到 BigQuery 和将发现结果示例保存到 BigQuery。
以下查询对导出的数据配置文件表和导出的示例发现结果表使用 INNER JOIN 操作。在生成的表格中,每条记录都显示了发现结果的引用、匹配的 infoType、包含发现结果的资源以及计算出的资源敏感度。
SELECT findings_table.quote, findings_table.infotype.name, findings_table.location.container_name, findings_table.location.data_profile_finding_record_location.field.name AS field_name, profiles_table.table_profile.dataset_project_id AS project_id, profiles_table.table_profile.dataset_id AS dataset_id, profiles_table.table_profile.table_id AS table_id, profiles_table.table_profile.sensitivity_score AS table_sensitivity_score FROM `FINDINGS_TABLE_PROJECT_ID.FINDINGS_TABLE_DATASET_ID.FINDINGS_TABLE_ID_latest_v1` AS findings_table INNER JOIN `PROFILES_TABLE_PROJECT_ID.PROFILES_TABLE_DATASET_ID.PROFILES_TABLE_ID_latest_v1` AS profiles_table ON findings_table.data_profile_resource_name=profiles_table.table_profile.name AND findings_table.timestamp.timestamp=profiles_table.table_profile.profile_last_generated.timestamp
如需将发现结果示例保存到 BigQuery 表,请按以下步骤操作:
开启将发现结果示例保存到 BigQuery。
输入您要将发现结果示例保存到的 BigQuery 表的详细信息。
您为此操作指定的表必须与用于将数据分析结果副本保存到 BigQuery 操作的表不同。
在项目 ID 部分,输入要将发现结果导出到的现有项目的 ID。
在数据集 ID 中,输入项目中的现有数据集的名称。
在表 ID 部分,输入要将发现结果保存到的 BigQuery 表的名称。如果此表不存在,Sensitive Data Protection 会使用您提供的名称自动为您创建该表。
如需了解 BigQuery 表中保存的每项发现结果的内容,请参阅 DataProfileFinding。
将标记附加到资源
启用为资源附加标记会指示 Sensitive Data Protection 根据计算出的敏感度级别自动为数据添加标记。本部分要求您先完成根据数据敏感度控制对资源的 IAM 访问权限中的任务。
如需根据计算出的敏感度级别自动标记资源,请按以下步骤操作:
- 开启为资源添加标记选项。
对于每个敏感度级别(高、中、低和未知),输入您为给定敏感度级别创建的标记值的路径。
如果您跳过某个敏感度级别,则系统不会为其附加标签。
如需在存在敏感度级别标记时自动降低资源的数据风险级别,请选择对资源应用标记时,将其分析结果的数据风险降为“低”。此选项可帮助您衡量数据安全性和隐私保护状况的改善情况。
选择以下一个或两个选项:
- 首次分析资源时对其添加标记。
更新资源分析文件时对资源添加标记。如果您希望 Sensitive Data Protection 在后续发现运行中覆盖敏感度级别标记值,请选择此选项。因此,随着资源计算出的数据敏感度级别升高或降低,主账号对该资源的访问权限也会自动发生变化。
如果您计划手动更新发现服务附加到资源上的敏感度级别标记值,请勿选择此选项。如果您选择此选项,Sensitive Data Protection 可能会覆盖您的手动更新。
发布到 Pub/Sub
启用发布到 Pub/Sub 后,您可以根据分析结果采取程序化操作。您可以使用 Pub/Sub 通知来开发工作流,以捕获和修正具有重大数据风险或敏感性的发现。
如需向 Pub/Sub 主题发送通知,请按以下步骤操作:
开启发布到 Pub/Sub。
系统会显示一个选项列表。每个选项都描述了导致 Sensitive Data Protection 向 Pub/Sub 发送通知的事件。
选择应触发 Pub/Sub 通知的事件。
如果您选择每当更新配置文件时就发送 Pub/Sub 通知,则当配置文件中的敏感度级别、数据风险级别、检测到的 infoType、公开访问权限和其他重要指标发生变化时,Sensitive Data Protection 会发送通知。
对于您选择的每个事件,请按以下步骤操作:
输入主题名称。名称必须采用以下格式:
projects/PROJECT_ID/topics/TOPIC_ID替换以下内容:
- PROJECT_ID:与 Pub/Sub 主题关联的项目的 ID。
- TOPIC_ID:Pub/Sub 主题的 ID。
指定是在通知中包含完整表配置文件,还是仅包含已分析表的完整资源名称。
设置 Sensitive Data Protection 发送通知必须满足的最低数据风险和敏感度级别。
指定是必须同时满足数据风险和敏感度条件,还是只需满足其中一个条件。例如,如果您选择
AND,则必须同时满足数据风险和敏感度条件,Sensitive Data Protection 才会发送通知。
以切面形式发送到 Knowledge Catalog
此操作可让您根据数据分析中的洞见,向已分析的表添加 Knowledge Catalog 切面。 此操作仅适用于新商家资料和更新后的商家资料。 未更新的现有配置文件不会发送到 Knowledge Catalog。
启用此操作后,Sensitive Data Protection 会将 Sensitive Data Protection profile 切面附加到您分析的每个新表或更新后的表的 Knowledge Catalog 条目。生成的方面包含从数据分析中收集的洞见。然后,您可以搜索组织和项目,查找具有特定 Sensitive Data Protection profile 方面值的条目。
如需将数据分析文件发送到 Knowledge Catalog,请确保以切面形式发送到 Dataplex Catalog 选项处于开启状态。
如需了解详情,请参阅根据数据分析中的数据洞见添加 Knowledge Catalog 切面。
管理服务代理容器和结算
在本部分中,您将指定要用作服务代理容器的项目。您可以让 Sensitive Data Protection 自动创建一个新项目,也可以选择现有项目。
无论您使用的是新创建的服务代理还是重复使用现有服务代理,请确保其对要分析的数据具有读取权限。
自动创建项目
如果您没有在组织中创建项目所需的权限,则需要选择现有项目或获取所需权限。如需了解所需权限,请参阅在组织或文件夹级层使用数据配置文件所需的角色。
如要自动创建用作服务代理容器的项目,请按照以下步骤操作:
- 在服务代理容器字段中,查看建议的项目 ID 并根据需要进行修改。
- 点击创建。
- 可选:更新默认项目名称。
选择要为与此新项目相关的所有可结算操作(包括与发现无关的操作)付费的账号。
点击创建。
Sensitive Data Protection 会创建新项目。此项目中的服务代理将用于向 Sensitive Data Protection 和其他 API 进行身份验证。
选择现有项目
如需选择现有项目作为服务代理容器,请点击服务代理容器字段,然后选择相应项目。
设置用于存储配置的位置
点击资源位置列表,然后选择您要存储相应扫描配置的区域。您之后创建的所有扫描配置也将存储在此位置。
您选择将扫描配置存储在何处不会影响要扫描的数据。系统会在存储数据的同一区域扫描数据。如需了解详情,请参阅数据驻留注意事项。
检查并创建
- 如果您想确保在创建扫描配置后不会自动开始分析,请选择在暂停模式下创建扫描作业。
此选项在以下情况下非常有用:
- 您的 Google Cloud 管理员仍需要向服务代理授予数据分析访问权限。
- 您希望创建多个扫描配置,并希望某些配置覆盖其他配置。
- 您选择将数据剖析结果保存到 BigQuery,并希望确保服务代理对将要保存数据剖析结果副本的 BigQuery 表具有写入权限。
- 您选择将发现结果示例保存到 BigQuery,并且希望确保服务代理对将要保存发现结果示例的 BigQuery 表具有写入权限。
- 您配置了 Pub/Sub 通知,并希望向服务代理授予发布权限。
- 您启用了将标记附加到资源操作,并且需要向服务代理授予对敏感度级别标记的访问权限。
- 检查设置,然后点击创建。
Sensitive Data Protection 会创建扫描配置,并将其添加到发现扫描配置列表中。
如需查看或管理扫描配置,请参阅管理扫描配置。
如果您的服务代理具有访问和分析数据所需的角色,则在您创建扫描配置或恢复已暂停的配置后,Sensitive Data Protection 会立即开始扫描您的数据。否则,当您查看扫描配置详情时,Sensitive Data Protection 会显示错误。后续步骤
- 如果您没有 Organization Administrator (
roles/resourcemanager.organizationAdmin) 或 Security Admin (roles/iam.securityAdmin) 角色,则拥有这些角色之一的用户必须向您的服务代理授予数据分析访问权限。 - 了解如何管理数据配置文件。
- 了解如何管理扫描配置。
- 了解如何接收和解析数据分析器发布的 Pub/Sub 消息。
- 了解如何排查数据配置文件方面的问题。
- 查看数据分析限制。