分析单个项目中的 Cloud Storage 数据

本页面介绍了如何在项目级层配置 Cloud Storage 数据发现。如果您要对组织或文件夹进行分析，请参阅分析组织或文件夹中的 Cloud Storage 数据。

如需详细了解发现服务，请参阅数据配置文件。

准备工作

1. 如果您拥有组织级发现订阅（包括通过 Security Command Center 提供的订阅），请注意，此项目级发现配置不包含在您的订阅中，并且会单独计费。我们建议您使用组织级发现配置来分析项目。如需了解详情，请参阅对组织或文件夹中的部分项目或数据资产进行分析。

2. 确保您的项目已启用 Cloud Data Loss Prevention API：

   登录您的 Google Cloud 账号。如果您是 Google Cloud新手，请 创建一个账号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金，用于运行、测试和部署工作负载。

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

   Enable the required API, if it is not already enabled.

   Roles required to enable APIs

   To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

   Enable the API

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

   Enable the required API, if it is not already enabled.

   Roles required to enable APIs

   To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

   Enable the API

3. 确认您拥有在项目级层配置数据分析所需的 IAM 权限。

4. 在每个要分析数据的区域中，您都必须有一个检查模板。如果您想使用单个模板来处理多个区域的数据，可以使用存储在 global 区域中的模板。如果组织政策阻止您在 global 区域中创建检查模板，则您必须为每个区域设置专用检查模板。如需了解详情，请参阅数据驻留注意事项。

   此任务仅允许您在 global 区域中创建检查模板。如果您需要为一个或多个区域提供专用检查模板，则必须先创建这些模板，然后再执行此任务。

5. 您可以将 Sensitive Data Protection 配置为在发生特定事件（例如 Sensitive Data Protection 分析新存储桶）时向 Pub/Sub 发送通知。如果您想使用此功能，则必须先创建 Pub/Sub 主题。

6. 您可以将 Sensitive Data Protection 配置为自动为资源附加标记。借助此功能，您可以根据计算出的敏感度级别，有条件地授予对这些资源的访问权限。如果您想使用此功能，必须先完成根据数据敏感度控制对资源的 IAM 访问权限中的任务。

创建扫描配置

1. 转到创建扫描配置页面。

   转到“创建扫描配置”

2. 前往您的项目。在工具栏上，点击项目选择器，然后选择您的项目。

以下部分详细介绍了创建扫描配置页面中的步骤。在每个部分结束时，点击继续。

选择发现类型

选择 Cloud Storage。

选择范围

执行下列其中一项操作：

• 如果您要扫描单个存储桶，请选择扫描一个存储桶。

  对于每个存储桶，您只能有一个单资源扫描配置。如需了解详情，请参阅对单个数据源进行分析。

  填写要分析的存储桶的详细信息。

• 如果您想执行标准项目级分析，请选择扫描所选项目。

管理时间表

如果默认分析频率符合您的需求，您可以跳过创建扫描配置页面的这一部分。

配置此部分的原因如下：

• 对所有数据或某些数据子集的分析频率进行精细调整。
• 指定您不想分析的存储桶。
• 用于指定您不想多次分析的存储桶。

如需对性能分析频率进行精细调整，请按以下步骤操作：

1. 点击添加时间表。

2. 指定发现服务应分析您选择的存储桶，还是将其从分析中排除。

   • 如果您不希望对与过滤条件匹配的存储桶进行分析，请关闭分析此数据。

   • 如果您希望对与过滤条件和其他条件匹配的存储桶至少分析一次，请将对这些数据进行分析保持开启状态。

3. 在过滤条件部分中，添加正则表达式和标记，以选择要包含在时间表中的存储桶。如需纳入到时间表中，存储桶必须满足以下要求：

   • 如果您添加正则表达式过滤条件，存储桶必须与您指定的至少一个正则表达式匹配。
   • 如果您添加了标记过滤条件，相应分桶必须包含您指定的所有标记。

   例如，假设您在某个时间表中添加了两个正则表达式过滤条件和三个标记过滤条件。如需纳入此时间表的范围，存储桶必须至少与一个正则表达式过滤条件和所有标记过滤条件匹配。

   如需添加过滤条件，请按以下步骤操作：

   1. 如需添加正则表达式过滤条件，请至少指定以下一项：

      • 指定一个或多个项目的项目 ID 或正则表达式
      • 存储桶名称或指定一个或多个存储桶的正则表达式

      正则表达式必须遵循 RE2 语法。

      如需添加更多正则表达式过滤条件，请点击添加过滤条件，然后重复执行此步骤。

   2. 如需添加代码过滤条件，请选择代码过滤。指定要包含在时间表范围中的一个或多个现有标记。

4. 点击频率。

5. 在频率部分中，您可以指定发现服务是否应重新分析数据，以及哪些事件应触发重新分析操作。如需了解详情，请参阅数据分析生成频率。

   1. 对于按时间表，指定您希望对存储桶重新进行性能分析的频率。无论这些分桶是否发生任何变化，系统都会重新分析其配置。
   2. 对于检查模板发生更改时，指定您是否希望在关联的检查模板更新时重新分析数据，如果希望，请指定频率。
      注意：您可以在本页面的选择检查模板步骤中指定要使用的检查模板。

      当发生以下任一情况时，系统会检测到检查模板更改：

      • 扫描配置中的检查模板名称发生更改。
      • 检查模板的 updateTime 发生更改。

   例如，如果您为 us-west1 区域设置了检查模板，并更新了该检查模板，则系统只会重新分析 us-west1 区域中的数据。

6. 可选：点击条件。

   在条件部分中，您可以指定在 Sensitive Data Protection 分析存储桶之前，过滤条件中定义的存储桶必须满足的任何条件。

   如果需要，请设置以下内容：

   • 最低条件：如果您希望在存储桶达到一定年龄后再对其进行分析，请启用此选项。然后，输入最短时长。

   • 存储桶属性条件：默认情况下，Sensitive Data Protection 不会扫描已启用 Autoclass 的存储桶。如果您想扫描这些存储桶，请点击扫描已启用 Autoclass 的存储桶。

     注意： 扫描时，处于较冷存储类别中的 Autoclass 启用对象会移至 Standard Storage 类别。

   • 对象属性条件：默认情况下，Sensitive Data Protection 仅扫描 Standard Storage 存储类别中的对象。如果您想扫描其他存储类别中的对象，请单独选择这些存储类别，或点击扫描所有对象而不考虑属性。

   • 时间条件：如果您不希望系统对旧分桶进行分析，请开启此选项。然后，使用日期选择器选择日期和时间。在所选时间戳当天或之前创建的所有存储桶都会从分析中排除。

   示例条件

   假设您有以下配置：

   • 最低条件

     • 最短时长：24 小时

   • 存储桶属性条件

     • 未选择任何数据库服务器

   • 对象属性条件

     • 扫描 Standard Storage 类别的对象
     • 扫描 Nearline Storage 类别的对象

   • 时间条件

     • 时间戳：2022 年 5 月 4 日晚上 11:59

   在这种情况下，Sensitive Data Protection 会排除在 2022 年 5 月 4 日晚上 11:59 之前创建的任何存储桶。在相应日期和时间之后创建的存储桶中，Sensitive Data Protection 仅会分析创建时间至少为 24 小时且已停用 Autoclass 的存储桶。在这些存储桶中，Sensitive Data Protection 仅对 Standard 和 Nearline Storage 存储类别中的对象进行分析。

7. 点击完成。

8. 可选：如需添加更多展示时间，请点击添加展示时间，然后重复上述步骤。

9. 如需指定不同安排之间的优先顺序，请使用 向上箭头和 向下箭头重新排序。

   时间表的顺序指定了如何解决时间表之间的冲突。如果某个存储桶与两个不同时间表的过滤条件匹配，则时间表列表中较高的那个时间表会决定该存储桶的分析频率。

   注意： 如果您的发现服务价格模式为订阅模式，则 Sensitive Data Protection 分析数据的速率会受到您购买的容量的影响。如需确定每日剖析容量，请参阅监控利用率。 如果您预配的容量不足，则系统可能不会遵循您在时间表中设置的剖析频率。如果存在待分析的数据积压，则时间表顺序不会决定 Sensitive Data Protection 分析积压数据的顺序。而是为范围内的所有数据资源在队列中随机分配一个位置。

10. 可选：修改或关闭兜底时间表。

    列表中的最后一个时间表是统揽时间表。此时间表涵盖所选范围内的所有存储桶，这些存储桶与您创建的任何时间表都不匹配。通用时间表遵循系统默认分析频率。

    • 如需调整全天候时间表，请点击 修改时间表，然后根据需要调整设置。
    • 如需防止 Sensitive Data Protection 分析通用时间表涵盖的任何资源，请关闭对与任何自定义时间表都不匹配的资源进行分析。

选择检查模板

根据您希望提供检查配置的方式，选择以下选项之一。无论您选择哪个选项，Sensitive Data Protection 都会在数据存储区域中扫描您的数据。也就是说，您的数据不会离开其来源区域。

选项 1：创建检查模板

如果您想在 global 区域中创建新的检查模板，请选择此选项。

1. 点击创建新的检查模板。

2. 可选：如需修改默认选择的 infoType，请点击管理 infoType。

   如需详细了解如何管理内置和自定义 infoType，请参阅通过Google Cloud 控制台管理 infoType。

   您必须至少选择一种 infoType 才能继续。

3. 可选：通过添加规则集并设置置信度阈值，进一步配置检查模板。如需了解详情，请参阅配置检测。

Sensitive Data Protection 创建扫描配置时，会将此新检查模板存储在 global 区域中。

方法 2：使用现有检查模板

如果您有要使用的现有检查模板，请选择此选项。

1. 点击选择现有的检查模板。
2. 输入要使用的检查模板的完整资源名称。 区域字段会自动填充存储检查模板的区域的名称。

   您输入的检查模板必须与要进行分析的数据位于同一区域。

   为遵循数据驻留要求，Sensitive Data Protection 不会在存储检查模板的区域之外使用该模板。

   如需查找检查模板的完整资源名称，请按以下步骤操作：

   1. 转到检查模板列表。此页面会在单独的标签页中打开。

      前往检查模板

   2. 选择包含要使用的检查模板的项目。
   3. 依次选择配置 > 模板 > 检查，然后点击要使用的模板的模板 ID。
   4. 在打开的页面上，复制模板的完整资源名称。 完整资源名称采用以下格式：

      projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID

   5. 在创建扫描配置页面上的模板名称字段中，粘贴模板的完整资源名称。
3. 如需为其他区域添加检查模板，请点击添加检查模板，然后输入模板的完整资源名称。对您拥有专用检查模板的每个区域重复此操作。
4. 可选：添加存储在 global 区域中的检查模板。Sensitive Data Protection 会自动将该模板用于您没有专用检查模板的区域中的数据。
注意：如果您未添加存储在 global 区域中的检查模板，Sensitive Data Protection 将无法对没有专用检查模板的区域中的数据进行分析。如需了解详情，请参阅数据驻留注意事项。

添加操作

本部分介绍如何指定在分析存储桶后要让 Sensitive Data Protection 采取的操作。如果您想将从数据配置文件中获得的分析洞见发送到其他Google Cloud 服务，这些操作会很有用。

注意 ：如需了解其他 Google Cloud 服务可能会如何向您收取配置操作的费用，请参阅导出数据配置文件的价格。

发布到 Security Command Center

在 Security Command Center 中对漏洞和威胁发现结果进行分类并制定应对方案时，数据分析结果可提供相关背景信息。

注意： 您还可以将 Security Command Center 配置为根据资源所含数据的计算敏感度自动确定资源的优先级，以用在攻击路径模拟功能中进行处理。如需了解详情，请参阅自动按数据敏感度设置资源优先级值。

您必须先在组织级层激活 Security Command Center，然后才能使用此操作。在组织级层启用 Security Command Center 后，系统会启用来自 Sensitive Data Protection 等集成服务的发现结果流。Sensitive Data Protection 可与 Security Command Center 的所有服务层级配合使用。

如果未在组织级层激活 Security Command Center，则 Sensitive Data Protection 发现结果不会显示在 Security Command Center 中。如需了解详情，请参阅查看 Security Command Center 的激活级别。

如需将数据分析结果发送到 Security Command Center，请确保发布到 Security Command Center 选项处于开启状态。

如需了解详情，请参阅将数据分析结果发布到 Security Command Center。

将数据分析结果副本保存到 BigQuery

Sensitive Data Protection 会将每个生成的数据剖析结果的副本保存在 BigQuery 表中。如果您未提供首选表的详细信息，Sensitive Data Protection 会在项目中创建数据集和表。默认情况下，数据集名为 sensitive_data_protection_discovery，表名为 discovery_profiles。

重要提示： 输出表使用 DataProfileBigQueryRowSchema 作为其架构。随着 Sensitive Data Protection 添加功能，此架构可能会发生变化。确保您的工作流可以处理架构更改，例如通过忽略未知字段。

通过此操作，您可以保留所有生成的配置文件的历史记录。此历史记录可用于创建审核报告和直观呈现数据配置文件。您还可以将这些信息加载到其他系统中。

此外，无论您的数据位于哪个区域，此选项都可让您在单个视图中查看所有数据配置文件。虽然您也可以通过Google Cloud 控制台查看数据分析，但控制台一次只能显示一个区域中的分析。

当 Sensitive Data Protection 无法对存储桶进行分析时，它会定期重试。为最大限度减少导出数据中的噪声，Sensitive Data Protection 只会将成功生成的数据剖析结果导出到 BigQuery。

Sensitive Data Protection 会从您启用此选项时开始导出剖析文件。在您启用导出功能之前生成的分析文件不会保存到 BigQuery。

注意 ：与您的项目关联的服务代理必须对将保存配置文件副本的表具有写入权限。

如需查看可在分析数据配置文件时使用的示例查询，请参阅分析数据配置文件。

将发现结果示例保存到 BigQuery

Sensitive Data Protection 可以将示例发现结果添加到您选择的 BigQuery 表中。样本发现结果代表所有发现结果的一个子集，可能不代表发现的所有 infoType。通常，系统会为每个桶生成大约 10 个样本发现结果，但此数量可能会因每次发现运行而异。

每项发现结果都包含检测到的实际字符串（也称为引用）及其确切位置。

如果您想评估检查配置是否正确匹配您要标记为敏感的信息类型，此操作会很有用。使用导出的数据配置文件和导出的样本发现结果，您可以运行查询，以获取有关被标记的具体项、它们匹配的 infoType、它们的确切位置、它们计算出的敏感度级别以及其他详细信息的更多信息。

重要提示： 输出表使用 DataProfileFinding 作为其架构。随着 Sensitive Data Protection 添加功能，此架构可能会发生变化。确保您的工作流可以处理架构更改，例如忽略未知字段。

示例查询：显示与文件存储区数据分析结果相关的示例发现结果

此示例要求同时启用将数据剖析结果副本保存到 BigQuery 和将发现结果示例保存到 BigQuery。

以下查询对导出的数据配置文件表和导出的示例发现结果表使用 INNER JOIN 操作。在生成的表中，每条记录都会显示发现结果的引用、匹配的 infoType、包含发现结果的资源以及计算出的资源敏感度级别。

SELECT
 findings_table.quote,
 findings_table.infotype.name,
 findings_table.location.container_name,
 profiles_table.file_store_profile.file_store_path as bucket_name,
 profiles_table.file_store_profile.sensitivity_score as bucket_sensitivity_score
FROM
 `FINDINGS_TABLE_PROJECT_ID.FINDINGS_TABLE_DATASET_ID.FINDINGS_TABLE_ID_latest_v1` AS findings_table
INNER JOIN
 `PROFILES_TABLE_PROJECT_ID.PROFILES_TABLE_DATASET_ID.PROFILES_TABLE_ID_latest_v1` AS profiles_table
ON
 findings_table.data_profile_resource_name=profiles_table.file_store_profile.name
 AND findings_table.timestamp.timestamp=profiles_table.file_store_profile.profile_last_generated.timestamp

如需将发现结果示例保存到 BigQuery 表，请按以下步骤操作：

1. 开启将发现结果示例保存到 BigQuery。

2. 输入您要将发现结果示例保存到的 BigQuery 表的详细信息。

   您为此操作指定的表必须与用于将数据分析结果副本保存到 BigQuery 操作的表不同。

   • 在项目 ID 部分，输入要将发现结果导出到的现有项目的 ID。

   • 在数据集 ID 中，输入项目中的现有数据集的名称。

   • 在表 ID 部分，输入要将发现结果保存到的 BigQuery 表的名称。如果此表不存在，Sensitive Data Protection 会使用您提供的名称自动为您创建该表。

注意： 与您的项目关联的服务代理必须具有对表的写入权限。

如需了解 BigQuery 表中保存的每项发现结果的内容，请参阅 DataProfileFinding。

将标记附加到资源

启用为资源附加标记后，Sensitive Data Protection 会根据计算出的数据敏感度级别自动为数据添加标记。本部分要求您先完成根据数据敏感度控制对资源的 IAM 访问权限中的任务。

如需根据计算出的敏感度级别自动标记资源，请按以下步骤操作：

1. 开启为资源添加标记选项。

2. 对于每个敏感度级别（高、中、低和未知），输入您为给定敏感度级别创建的标记值的路径。

   如果您跳过某个敏感度级别，系统不会附加任何相应标记。

3. 如需在存在敏感度级别标记时自动降低资源的数据风险级别，请选择对资源应用标记时，将其分析结果的数据风险降为“低”。此选项可帮助您衡量数据安全性和隐私保护状况的改善情况。

   重要提示 ：此选项会替换所分析资源的计算出的数据风险级别。

4. 选择以下一个或两个选项：

   • 首次分析资源时对其添加标记。

   • 更新资源分析文件时对资源添加标记。如果您希望 Sensitive Data Protection 在后续发现运行中覆盖敏感度级别标记值，请选择此选项。因此，随着资源计算出的数据敏感度级别升高或降低，主账号对该资源的访问权限也会自动发生变化。

     如果您计划手动更新发现服务附加到资源的敏感度级别标记值，请勿选择此选项。如果您选择此选项，Sensitive Data Protection 可能会覆盖您的手动更新。

发布到 Pub/Sub

启用发布到 Pub/Sub 后，您可以根据分析结果采取程序化操作。您可以使用 Pub/Sub 通知来开发工作流，以捕获和修正具有重大数据风险或敏感性的发现。

如需向 Pub/Sub 主题发送通知，请按以下步骤操作：

1. 开启发布到 Pub/Sub。

   系统会显示一个选项列表。每个选项都描述了导致 Sensitive Data Protection 向 Pub/Sub 发送通知的事件。

2. 选择应触发 Pub/Sub 通知的事件。

   如果您选择每当更新配置文件时就发送 Pub/Sub 通知，则当配置文件中的敏感度级别、数据风险级别、检测到的 infoType、公开访问权限和其他重要指标发生变化时，Sensitive Data Protection 会发送通知。

3. 对于您选择的每个事件，请按以下步骤操作：

   1. 输入主题的名称。名称必须采用以下格式：

      projects/PROJECT_ID/topics/TOPIC_ID
      

      替换以下内容：

      • PROJECT_ID：与 Pub/Sub 主题关联的项目的 ID。
      • TOPIC_ID：Pub/Sub 主题的 ID。

   2. 指定是在通知中包含完整的存储桶配置文件，还是仅包含已分析存储桶的完整资源名称。

   3. 设置 Sensitive Data Protection 发送通知必须满足的最低数据风险和敏感度级别。

   4. 指定是必须同时满足数据风险和敏感度条件，还是只需满足其中一个条件。例如，如果您选择 AND，则必须同时满足数据风险和敏感度条件，Sensitive Data Protection 才会发送通知。

注意： 与您的项目关联的服务代理必须对 Pub/Sub 主题具有 发布权限。具有发布访问权限的角色示例是 Pub/Sub Publisher 角色 (roles/pubsub.publisher)。如果 Pub/Sub 主题存在配置或权限问题，Sensitive Data Protection 会重试发送 Pub/Sub 通知，最多重试两周。两周后，通知会被舍弃。

为图片设置后备处理位置

一般来说，Sensitive Data Protection 会在数据存储位置处理数据。不过，图片只能在多区域或 global 区域中处理。如果您设置了后备位置，则 Sensitive Data Protection 会使用您的后备位置来处理不在多区域或 global 区域中的图片。如果您跳过此部分，系统将不会处理这些图片。

如需设置图片处理的后备位置，请选择以下一个或两个选项：

• 回退到多区域：如果图片无法在原始位置处理，则会在与原始位置对应的多区域中处理。如果图片的原始位置没有对应的多区域，则系统会跳过该图片。
• 回退到全球：如果图片无法在原始位置处理，则会在 global 区域处理。

如果您同时选择这两个选项，Sensitive Data Protection 会选择要用作后备位置的位置。

设置用于存储配置的位置

点击资源位置列表，然后选择您要存储相应扫描配置的区域。您之后创建的所有扫描配置也将存储在此位置。

您选择将扫描配置存储在何处不会影响要扫描的数据。系统会在数据存储所在的区域中扫描数据。如需了解详情，请参阅数据驻留注意事项。

注意： 如果您已有扫描配置，则无法更改此字段中设置的值。所有扫描配置都存储在同一位置。 如果您想更改所有扫描配置的位置，则必须删除这些配置，重新创建它们，并将其存储在新位置。

检查并创建

1. 如果您想确保在创建扫描配置后，系统不会自动开始分析，请选择在暂停模式下创建扫描作业。

   此选项在以下情况下非常有用：

   • 您选择将数据剖析结果保存到 BigQuery，并希望确保服务代理对将要保存数据剖析结果副本的 BigQuery 表具有写入权限。
   • 您选择将发现结果示例保存到 BigQuery，并且希望确保服务代理对将要保存发现结果示例的 BigQuery 表具有写入权限。
   • 您已配置 Pub/Sub 通知，并希望向服务代理授予发布访问权限。
   • 您已启用将标记附加到资源操作，并且需要授予服务代理对敏感程度标记的访问权限。
2. 检查设置，然后点击创建。

   Sensitive Data Protection 会创建扫描配置并将其添加到发现扫描配置列表中。

如需查看或管理扫描配置，请参阅管理扫描配置。

注意：我们会定期改进检测算法。如果我们发现您的组织或项目能够受益于我们实施的新改进，我们可能会自动重新生成您的数据剖析结果，并重新执行您的扫描配置中的操作。这样的操作不会造成 Sensitive Data Protection 计费。不过，由于我们会重新执行操作，因此您使用的其他 Google Cloud 服务可能会产生费用。例如，如果您将 Sensitive Data Protection 配置为将数据剖析结果保存到 BigQuery，则可能会产生 BigQuery 费用。

后续步骤

了解如何管理数据资料。

了解如何管理扫描配置。

了解如何接收和解析数据分析器发布的 Pub/Sub 消息。

了解如何排查数据配置文件问题。

查看数据分析限制。

查看敏感数据发现服务可扫描的文件集群。