无边界湖仓一体的配额和系统限制

本文档列出了适用于 Lakehouse 的配额和系统限制。

  • 配额具有默认值，但您通常可以申请 调整。
  • 系统限制是无法更改的固定值。

Google Cloud 使用配额来帮助确保公平性并减少资源使用和可用性的激增。配额用于限制您的 Google Cloud 项目可使用多少Google Cloud 资源。配额适用于一系列资源类型，包括硬件、软件和网络组件。例如，配额可以限制对某项服务的 API 调用次数、您的项目并发使用的负载均衡器数量或者您可以创建的项目数量。配额可以防止服务过载，从而保护Google Cloud 用户社区。配额还可以帮助您管理自己的 Google Cloud 资源。

Cloud 配额系统执行以下操作：

在大多数情况下，当您尝试消耗的资源超出其配额允许的范围时，系统会阻止对资源的访问，并且您尝试执行的任务会失败。

配额通常在 Google Cloud 项目级别应用。您在一个项目中使用资源不会影响您在另一个项目中的可用配额。在 Google Cloud 项目中，配额在所有应用和 IP 地址间共享。

如需了解详情，请参阅 Cloud 配额概览。

Lakehouse 资源也有 系统限制。 系统限制不能更改。

获取配额和系统限制指标名称

配额和系统限制有两种类型的名称：显示名称和指标名称。显示名称包含空格和大写字母，更便于人类阅读。指标名称更可能是小写形式，并使用下划线而非空格作为分隔符；确切的格式取决于服务。

以下说明介绍了如何使用 Google Cloud 控制台或 Google Cloud CLI 获取配额和系统 限制的指标名称。

控制台

  1. 在 Google Cloud 控制台中，依次前往 身份和访问权限管理 (IAM) 和管理> 配额和系统限制 页面：

    进入“配额和系统限制”

    本页面的表格会显示具有用量或具有调整值的配额和系统限制，以及其他配额的引用条目。引用条目在名称 列的列表末尾的括号中有“default”字样。例如，SetIAM Policy requests per minute per region (default) 是配额 SetIamPolicyRequestsPerMinutePerProject 的引用条目。

  2. 如果您没有看到指标 列，请执行以下步骤。

    1. 点击 列显示选项。
    2. 选择指标 。
    3. 点击确定。表格中会显示指标列。

    指标列显示指标名称。如需过滤结果，请在 过滤条件旁边的字段中输入属性名称或值。

gcloud

如需使用 gcloud CLI 获取服务的指标名称，请运行 quotas info list 命令。如需跳过未列出指标名称的行，请将输出传递给 命令（例如 grep），并将 metric: 作为搜索字词，或者使用 gcloud CLI --format 标志：

gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
    --service=SERVICE_NAME --format="value(metric)"

替换以下内容：

  • PROJECT_ID_OR_NUMBER：项目 ID 或项目编号。
  • SERVICE_NAME：您要查看其配额指标的服务的名称，例如 Compute Engine 的服务名称为 compute.googleapis.com。包含服务名称的 googleapis.com 部分。

申请增加配额

如需调整大多数配额，请使用 Google Cloud 控制台。如需了解详情，请参阅 申请配额调整。

配额

以下配额适用于 Lakehouse：

Lakehouse 运行时目录

以下限制适用于 Lakehouse 运行时目录：

限制 默认值 备注
每天的表修改次数 1,500 次修改

您的项目每天最多可以对每个表执行 1,500 次表修改。 将表数据附加到表或覆盖表数据的加载作业、复制作业或查询作业计为对表的一次修改。此限制无法更改。

DML 语句会被排除，不会计入每天的表修改次数。

流式数据会被排除，不会计入每天的表修改次数。
表元数据更新操作的速率上限 每 10 秒 5 次操作 您的项目每表每 10 秒最多可以执行 5 次表元数据更新操作。此限制适用于所有由以下项执行的表元数据更新操作： 此限制还包括所有加载作业、复制作业和查询作业的总数，这些作业对目标表执行附加或覆盖操作，或者使用 DML DELETE、INSERT、MERGE、TRUNCATE TABLE 或 UPDATE 语句将数据写入表中。请注意，虽然 DML 语句计数会计入此限制，但达到上限时，不受其约束。DML 操作具有专用速率限制。

如果超出此限制，您会收到类似于 Exceeded rate limits: too many table update operations for this table 的错误消息。 这是一个暂时性错误，您可以使用指数退避算法重试。

如需确定计入此限制的操作，您可以检查日志。如需了解如何诊断和解决此错误，请参阅排查配额错误。

每个表的列数上限 1 万列 每个表、查询结果或视图定义最多可以有 1 万列。 其中包括嵌套列和重复列。

跨云数据访问权限

Quota 值
联合目录中的命名空间总数上限 100 个命名空间
联合目录中每个命名空间的表数量上限 每个命名空间 300 个表
联合目录中的表总数上限 10,000 个表
联合目录中的命名空间过滤条件数量上限 16 个命名空间过滤条件

系统限制

下表列出了适用于 Lakehouse 的系统限制以及每个系统限制的值：

系统限制 值
发现扫描支持的每个 Cloud Storage 存储桶中由 Lakehouse 管理的 Apache Iceberg 表的数量上限 每个存储桶 1,000 个表