估算单个项目中 BigQuery 数据的分析费用

本页面介绍了如何估算项目中 BigQuery 数据的分析费用。如果您想为组织或文件夹创建估算, 请参阅针对组织或 文件夹估算数据分析费用

如需详细了解如何分析 BigQuery 数据,请参阅 BigQuery 数据的数据分析文件

概览

在开始生成数据分析结果之前,您可以运行估算来了解您有多少 BigQuery 数据以及分析这些数据可能需要的费用。如需运行估算,请创建估算。

创建估算时,您需要指定包含要分析的数据的资源(组织、文件夹或项目)。您可以设置过滤条件来微调数据选择。您还可以设置在 Sensitive Data Protection 分析表之前必须满足的条件。Sensitive Data Protection 会根据您创建估算时数据的形状、大小和类型进行估算。

每项估算都包含详细信息,例如在资源中找到的匹配表数量、所有这些表的总大小,以及对资源进行一次性分析和按月分析的估计费用。

如需详细了解如何计算价格,请参阅数据 分析价格

估算价格

创建估算是免费的。

保留

每项估算都会在 28 天后自动删除。

准备工作

如要获得创建和管理数据分析费用估算所需的权限,请让您的管理员为您授予项目的 DLP Administrator (roles/dlp.admin) IAM 角色。如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限

您也可以通过自定义 角色或其他预定义 角色来获取所需的权限。

  1. 确保您的项目已启用 Cloud Data Loss Prevention API:

    1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
    2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Roles required to select or create a project

      • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
      • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

      Go to project selector

    3. Verify that billing is enabled for your Google Cloud project.

    4. Enable the required API.

      Roles required to enable APIs

      To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

      Enable the API

    5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Roles required to select or create a project

      • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
      • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

      Go to project selector

    6. Verify that billing is enabled for your Google Cloud project.

    7. Enable the required API.

      Roles required to enable APIs

      To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

      Enable the API

  2. 如要获得创建和管理数据分析费用估算所需的权限,请让您的管理员为您授予项目的 DLP Administrator (roles/dlp.admin) IAM 角色。如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限

    您也可以通过自定义 角色或其他预定义 角色来获取所需的权限。

创建估算

  1. 前往创建数据分析估算 页面。

    前往“创建数据分析估算”页面

  2. 选择您的项目。

以下部分详细介绍了创建数据分析估算 页面上的步骤。在每个部分的末尾,点击继续

选择要扫描的资源

确保已选择扫描整个项目

输入过滤条件和条件

如果您想将项目中的所有 BigQuery 表都纳入估算,可以跳过此部分。

在本部分中,您可以创建过滤条件,以指定要纳入或排除在估算范围之外的特定数据子集。对于纳入估算范围的子集,您还需要指定子集中的表必须满足哪些条件才能纳入估算范围。

如需设置过滤条件和条件,请按以下步骤操作:

  1. 点击添加过滤条件和条件
  2. 过滤条件 部分中,您可以定义一个或多个过滤条件,以指定哪些表在估算范围内。

    至少指定以下一项:

    • 项目 ID 或正则表达式,用于指定一个或多个项目。
    • 数据集 ID 或正则表达式,用于指定一个或多个数据集。
    • 表 ID 或正则表达式,用于指定一个或多个表。

    正则表达式必须遵循 RE2 语法

    例如,如果您希望将数据集中的所有表都纳入过滤条件,请指定该数据集的 ID,并将其他两个字段留空。

    如果您想添加更多过滤条件,请点击添加过滤条件 ,然后重复此步骤。

  3. 如果应将过滤条件定义的数据子集排除在估算范围之外,请关闭将匹配表纳入我的估算中 。 如果您关闭此选项,则本部分其余部分中所述的条件将隐藏。

  4. 可选:在条件 部分中,指定匹配表必须满足哪些条件才能纳入估算范围。如果您跳过此步骤,Sensitive Data Protection 会将与您的 过滤条件匹配的所有 受支持表都纳入估算范围,无论其大小和存在时间如何。

    配置以下选项:

    • 最低条件:如需将小型表或新表排除在估算范围之外, 请设置最小行数或表存在时间。

    • 时间条件:如需排除旧表,请开启时间条件。 然后,选择日期和时间。在所选日期之前创建的任何表都将排除在估算范围之外。

      例如,如果您将时间条件设置为 2022 年 5 月 4 日下午 11:59,Sensitive Data Protection 会将 2022 年 5 月 4 日下午 11:59 之前创建的任何表都排除在估算范围之外。

    • 要分析的表:如需指定要纳入 估算范围的表类型,请选择仅包含指定类型的表。 然后,选择要纳入的表类型。

      如果您未开启此条件,或者未选择任何表类型,Sensitive Data Protection 会将所有受支持的表都纳入估算范围。

    假设您有以下配置:

    • 最低条件

      • 最小行数:10 行
      • 最短时长:24 小时
    • 时间条件

      • 时间戳:2022 年 5 月 4 日下午 11:59
    • 要分析的表

      已选择仅包含指定类型的表 选项。在表类型列表中,仅选择了分析 BigLake 表

    在这种情况下,Sensitive Data Protection 会将 2022 年 5 月 4 日下午 11:59 之前创建的任何表都排除在外。在此时之后创建的表中,Sensitive Data Protection 仅会分析行数为 10 行或存在时间至少为 24 小时的 BigLake 表。

  5. 点击完成

  6. 如果您想添加更多过滤条件和条件,请点击添加过滤条件和条件 ,然后重复上述步骤。

    过滤条件和条件列表中的最后一个项始终是标有默认过滤条件和条件 的项。此默认设置适用于项目中与您创建的任何过滤条件和条件都不匹配的表。

    默认过滤条件和条件
  7. 如果您想调整默认过滤条件和条件,请点击 修改过滤条件和条件,然后 根据需要调整设置。

设置位置以存储估算

  1. 资源位置 列表中,选择您要存储此估算的区域。

    您选择存储估算的位置不会影响要扫描的数据。此外,它也不会影响数据分析结果的存储位置。系统会扫描存储数据的同一个区域(在 BigQuery 中设置)中的数据。如需了解详情,请参阅数据驻留注意事项

  2. 检查设置,然后点击创建

Sensitive Data Protection 会创建估算,并将其添加到估算列表中。然后,它会运行估算。

估算可能需要长达 24 小时才能完成,具体取决于资源中的数据量。在此期间,您可以关闭 Sensitive Data Protection 页面,稍后再回来查看。估算准备就绪后, Google Cloud 控制台中 会显示一条通知。

查看估算

  1. 前往估算列表。

    前往“估算”页面

  2. 点击您要查看的估算。估算包含以下内容:

    • 资源中的表数量,减去您通过过滤条件和条件排除的任何表。
    • 这些表所代表的数据总量。
    • 每月分析此数据量所需的订阅单元数。
    • 初始发现的费用,即找到的表的分析费用估算值。此估算值仅基于当前数据的快照,不考虑您的数据在给定时间段内的增长量。
    • 仅分析存在时间少于 6 个月、12 个月或 24 个月的表的额外费用估算值。提供这些额外估算值是为了向您展示进一步限制数据覆盖范围如何帮助您控制数据分析费用。
    • 假设您每月的 BigQuery 使用量与本月的使用量相同,则分析数据的每月估计费用。
    • 显示 BigQuery 随时间增长情况的图表。
    • 您设置的配置详细信息。

估算图表

每项估算都包含一个图表,用于显示 BigQuery 数据的历史增长情况。您可以使用此信息来估算每月的分析费用。

显示 BigQuery 数据增长情况的图表

后续步骤