估算组织或文件夹中 BigQuery 数据的分析费用

本页面介绍如何估算组织或文件夹中 BigQuery 数据的分析费用。如需为项目创建估算值, 请参阅针对单个项目估算数据剖析费用

如需详细了解如何分析 BigQuery 数据,请参阅 BigQuery 数据的数据剖析文件

概览

在开始生成数据剖析文件之前,您可以运行估算来了解您有多少 BigQuery 数据以及分析这些数据可能需要的费用。如需运行估算,您需要创建估算值。

创建估算值时,您需要指定包含要分析的数据的资源(组织、文件夹或项目)。您可以设置过滤条件来微调数据选择。您还可以设置在 Sensitive Data Protection 分析表之前必须满足的条件。Sensitive Data Protection 会根据您创建估算值时数据的形状、大小和类型来估算费用。

每个估算值都包含详细信息,例如在资源中找到的匹配表数量、所有这些表的总大小,以及对资源进行一次性分析和按月分析的估计费用。

如需详细了解如何计算价格,请参阅数据 分析价格

估算价格

创建估算值是免费的。

保留

每个估算值都会在 28 天后自动删除。

限制

如果您的组织或文件夹中有一个项目受到 VPC Service Controls服务边界的保护,则 Sensitive Data Protection 可能会低估资源中 BigQuery 数据的数量。如果您有服务边界,请为每个服务边界单独创建估算值。

准备工作

如需获得创建和管理数据分析费用估算值所需的权限,请让您的管理员为您授予组织或文件夹的数据泄露防护 Administrator (roles/dlp.admin) IAM 角色。如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限

您也可以通过自定义 角色或其他预定义 角色来获取所需的权限。

创建估算值

  1. 前往创建数据分析估算值 页面。

    前往“创建数据分析估算值”页面

  2. 选择您的组织。

以下部分详细介绍了创建数据分析估算值 页面上的步骤。在每个部分的末尾,点击继续

选择要扫描的资源

执行下列其中一项操作:

  • 如需为组织创建估算值,请选择扫描整个组织
  • 如需为文件夹创建估算值,请选择扫描所选文件夹 。然后,点击浏览 并选择文件夹。

输入过滤条件和条件

如果您想在估算值中包含组织或文件夹中的所有 BigQuery 表,可以跳过此部分。

在本部分中,您可以创建过滤条件,以指定要包含在估算值中或从估算值中排除的特定数据子集。对于包含在估算值中的子集,您还需要指定子集中的表必须满足哪些条件才能包含在估算值中。

如需设置过滤条件和条件,请按以下步骤操作:

  1. 点击添加过滤条件和条件
  2. 过滤条件 部分中,您可以定义一个或多个过滤条件,以指定哪些表在估算值的范围内。

    指定以下至少一项:

    • 项目 ID 或用于指定一个或多个项目的正则表达式。
    • 数据集 ID 或用于指定一个或多个数据集的正则表达式。
    • 表 ID 或用于指定一个或多个表的正则表达式。

    正则表达式必须遵循 RE2 语法

    例如,如果您希望将项目中的所有表都包含在过滤条件中,请指定该项目的 ID,并将其他两个字段留空。

    如果您想添加更多过滤条件,请点击添加过滤条件 ,然后重复此步骤。

  3. 如果应从估算值中排除由过滤条件定义的数据子集,请关闭将匹配表纳入我的估算值中 。 如果您关闭此选项,则本部分其余部分中所述的条件将隐藏。

  4. 可选:在条件 部分中,指定匹配表必须满足哪些条件才能包含在估算值中。如果您跳过此步骤,则 Sensitive Data Protection 会包含与过滤条件匹配的所有受支持表,无论其大小和存在时间如何。

    配置以下选项:

    • 最低条件:如需从估算值中排除小型表或新表, 请设置最小行数或表存在时间。

    • 时间条件:如需排除旧表,请开启时间条件。 然后,选择日期和时间。在指定日期或之前创建的任何表都会从估算值中排除。

      例如,如果您将时间条件设置为 2022 年 5 月 4 日晚上 11:59,Sensitive Data Protection 会从估算值中排除在 2022 年 5 月 4 日晚上 11:59 或之前创建的任何表。

    • 要分析的表:如需指定要包含在 估算值中的表类型,请选择仅包含指定类型的表。 然后,选择要包含的表类型。

      如果您未开启此条件,或者未选择任何表类型,则 Sensitive Data Protection 会在估算值中包含所有受支持的表。

    假设您有以下配置:

    • 最低条件

      • 最小行数:10 行
      • 最短时长:24 小时
    • 时间条件

      • 时间戳:2022 年 5 月 4 日晚上 11:59
    • 要分析的表

      已选择仅包含指定类型的表 选项。在表类型列表中,仅选择了分析 BigLake 表

    在这种情况下,Sensitive Data Protection 会排除在 2022 年 5 月 4 日晚上 11:59 或之前创建的任何表。在在此日期和时间之后创建的表中,Sensitive Data Protection 仅会分析行数为 10 行或存在时间至少为 24 小时的 BigLake 表。

  5. 点击完成

  6. 如果您想添加更多过滤条件和条件,请点击添加过滤条件和条件 ,然后重复之前的步骤。

    过滤条件和条件列表中的最后一个条目始终是标有默认过滤条件和条件 的条目。此默认设置适用于您所选资源(组织或文件夹)中与您创建的任何过滤条件和条件都不匹配的表。

    默认过滤条件和条件
  7. 如需调整默认过滤条件和条件,请点击 修改过滤条件和条件,然后 根据需要调整设置。

管理服务代理容器和结算

在本部分中,您可以指定要用作 服务代理容器的项目 。 您可以让 Sensitive Data Protection 自动创建新项目,也可以选择现有项目。

无论您是使用新创建的服务代理还是重复使用现有服务代理,请确保该服务代理具有对要分析的数据的读取权限。

自动创建项目

如果您没有在 组织中创建项目所需的权限,则需要改为选择现有项目 或获取所需的权限。如需了解所需 权限,请参阅在组织 或文件夹 级层使用数据剖析文件所需的角色

如要自动创建用作服务代理容器的项目,请按照以下步骤操作:

  1. 服务代理容器 字段中,查看建议的项目 ID 并根据需要进行修改。
  2. 点击创建
  3. 可选:更新默认项目名称。
  4. 选择要对与此新项目相关的所有可计费操作(包括与发现无关的操作)付费的账号。

  5. 点击创建

Sensitive Data Protection 会创建新项目。此项目中的服务代理将用于向 Sensitive Data Protection 和其他 API 进行身份验证。

选择现有项目

如需选择现有项目作为服务代理容器,请点击服务代理容器 字段,然后选择相应项目。

设置位置以存储估算值

  1. 资源位置 列表中,选择您要存储此估算值的区域。

    您选择将估算值存储在何处不会影响要扫描的数据。此外,它也不会影响数据剖析文件日后存储的位置。系统会扫描存储数据的同一个区域(在 BigQuery 中设置)中的数据。如需了解详情,请参阅数据驻留注意事项

  2. 检查设置,然后点击创建

Sensitive Data Protection 会创建估算值并将其添加到估算值列表中。然后,它会运行估算。

估算可能需要长达 24 小时才能完成,具体取决于资源中的数据量。在此期间,您可以关闭 Sensitive Data Protection 页面,稍后再回来查看。估算值准备就绪后, Google Cloud 控制台中 会显示通知。

查看估算值

  1. 前往估算值列表。

    前往估算值

  2. 点击您要查看的估算值。估算值包含以下内容:

    • 资源中的表数量,减去您通过过滤条件和条件排除的任何表。
    • 这些表所代表的数据总量。
    • 每月分析此数据量所需的订阅单元数。
    • 初始发现的费用,即分析找到的表的近似 费用。此估算值仅基于当前数据的快照,不考虑您的数据在给定时间段内的增长量。
    • 仅分析存在时间少于 6 个月、12 个月或 24 个月的表的额外费用估算值。提供这些额外估算值是为了向您展示进一步限制数据覆盖范围如何帮助您控制数据分析费用。
    • 分析数据的估计每月费用,假设您每月的 BigQuery 使用量与本月的使用量相同。
    • 显示 BigQuery 随时间增长情况的图表。
    • 您设置的配置详细信息。

估算图表

每个估算值都包含一个图表,该图表显示了 BigQuery 数据的历史增长情况。您可以使用此信息来估算每月的分析费用。

显示 BigQuery 数据增长情况的图表

后续步骤