本文档列出了适用于 Knowledge Catalog(以前称为 Dataplex Universal Catalog)的配额。
Google Cloud 使用配额来帮助确保公平性并减少资源使用和可用性的激增。配额用于限制您的 Google Cloud 项目可使用多少Google Cloud 资源。配额适用于一系列资源类型,包括硬件、软件和网络组件。例如,配额可以限制对某项服务的 API 调用次数、您的项目并发使用的负载均衡器数量或者您可以创建的项目数量。配额可以防止服务过载,从而保护Google Cloud 用户社区。配额还可以帮助您管理自己的 Google Cloud 资源。
Cloud 配额系统执行以下操作:
在大多数情况下,当您尝试消耗的资源超出其配额允许的范围时,系统会阻止对资源的访问,并且您尝试执行的任务会失败。
配额通常在 Google Cloud 项目级别应用。您在一个项目中使用资源不会影响您在另一个项目中的可用配额。在 Google Cloud 项目中,配额在所有应用和 IP 地址间共享。
如需了解详情,请参阅 Cloud 配额概览。
Knowledge Catalog 资源也有系统限制。系统限制不能更改。
Knowledge Catalog 会对特定时间段内的 API 请求数量以及可在项目中创建的资源数量实施配额。配额可保护您免受意外的用量激增和服务过载的影响。详细了解实施配额的原因。
随着您对 Knowledge Catalog 的使用量增加,您的配额需求可能会随之增加。如果配额太低,无法满足您的需求,或者您预计自己的用量即将增加,您可以主动申请增加配额。
了解 API 请求类型
各种 Knowledge Catalog 功能(例如资源管理、元数据、任务和数据扫描)的 API 请求会归类到通用存储分区中,以便管理服务使用情况和保护。
读请求次数
读取请求是指旨在检索有关现有资源、元数据或执行历史记录的信息,而不修改任何配置或状态的操作。这些操作不会发生变化,也不会触发新的处理作业。
读取请求操作包括 Get、List 和 Describe。例如,查看数据扫描的定义或扫描作业的状态就是读取请求。
写请求次数
写入请求包括创建、更新或删除资源定义的所有操作,以及修改安全政策的操作。这些操作会更改环境的状态。
写入请求操作包括 Create、Update、Delete、Cancel 和 SetIamPolicy。例如,配置数据质量扫描或更新现有数据分析扫描都是写入请求。
运行请求
运行请求特指触发预配置资源的有效执行。与写入请求(可能会创建周期性安排)不同,运行请求通常用于按需执行配置的逻辑。
例如,手动启动数据扫描执行就是一项运行请求。
Dataplex API 请求的配额
Dataplex API 会在不同级层实施 Knowledge Catalog 资源管理和搜索请求的配额,无论这些请求源自何处。这包括直接通过 API 调用、客户端库、Google Cloud CLI 和 Google Cloud 控制台发出的请求。
以下配额适用于 Knowledge Catalog 请求:
| 配额 | 默认值 |
|---|---|
| 每个区域每个项目每分钟针对条目和切面进行的读取请求数 | 6000 |
| 每个区域每个项目每分钟针对条目和切面进行的写入请求数 | 1500 |
| 每位用户每个项目每分钟针对切面类型、条目类型和条目组进行的读取请求数 | 100 |
| 每个项目每分钟针对切面类型、条目类型和条目组进行的读取请求数 | 200 |
| 每位用户每个项目每分钟针对切面类型、条目类型和条目组进行的写入请求数 | 10 |
| 每个项目每分钟针对切面类型、条目类型和条目组进行的写入请求数 | 20 |
| 每位用户每个项目每分钟的搜索请求数 | 900 |
| 每个项目每分钟的搜索请求数 | 1200 |
| 每个组织每分钟的搜索请求数 | 2400 |
| 每个组织每天的搜索请求数 | 345600 |
| 每个区域每个项目每分钟针对元数据作业进行的读取请求数 | 400 |
| 每位用户每个区域每个项目每分钟针对元数据作业进行的读取请求数 | 200 |
| 每个区域每个项目每分钟针对元数据作业进行的写入请求数 | 20 |
| 每位用户每个区域每个项目每分钟针对元数据作业进行的写入请求数 | 10 |
| 每个区域每个项目每分钟针对数据扫描进行的读取请求数 | 1200 |
| 每位用户每个区域每个项目每分钟针对数据扫描进行的读取请求数 | 600 |
| 每个区域每个项目每分钟针对数据扫描进行的写入请求数 | 200 |
| 每位用户每个区域每个项目每分钟针对数据扫描进行的写入请求数 | 100 |
| 每个区域每个项目每分钟的数据扫描运行请求数 | 60 |
| 每位用户每个区域每个项目每分钟针对数据扫描的运行请求数 | 30 |
| 每个项目每天在 BigQuery 对象表上针对非结构化数据执行数据分析扫描的总次数 | 140 |
| 每个组织每天由元数据导出作业导出的元数据量 | 10 GB |
|
每个组织每天由元数据导出作业导出的已扫描元数据量 此配额用于评估组织、项目或元数据导出作业范围内的条目组中存在的元数据总量。 |
100 GB |
对于下表中列出的每个 Knowledge Catalog 请求,系统都会在每个项目级层和每个项目每位用户级层实施配额。
| 配额 | 示例 |
|---|---|
| 针对资源管理的读取请求 | 获取数据湖、列出区域 |
| 针对资源管理的写入请求 | 创建数据湖、删除资产 |
| 针对元数据的获取请求 | 获取实体、获取分区 |
| 针对元数据的列出请求 | 列出实体、列出分区 |
| 针对元数据的写入请求 | 更新实体、删除分区 |
| 针对任务和作业资源的读取请求 | 获取任务,列出作业 |
| 针对任务和作业资源的写入请求 | 创建任务、取消作业 |
| 设置 IAM 政策请求 | 设置 IAM 政策 |
Data Lineage API 请求的配额
Data Lineage API 会针对以下方面实施配额:
- 仅返回数据的读取请求
- 编写用于创建或更改数据的写入请求
- 创建 Open Lineage
以下配额适用于数据沿袭请求:
| 配额 | 默认值 |
|---|---|
| 每位用户每个区域每个项目每分钟的读取请求数 | 1000 |
| 每位用户每个区域每个项目每分钟的写入请求数 | 6000 |
| 每位用户每个区域每个项目每分钟的 Open Lineage 请求数 | 3000 |
数据产品 API 请求的配额
Dataplex API 会对数据产品和数据资产的元数据操作和生命周期请求强制执行速率限制。无论请求是源自 Google Cloud 控制台、Google Cloud CLI、客户端库还是直接 API 调用,这些限制都适用。
以下配额适用于数据产品和数据资产请求:
| 配额 | 默认值 |
|---|---|
| 每个区域每个项目每分钟针对数据产品的读取请求数 | 500 |
| 每位用户每个区域每个项目每分钟针对数据产品的读取请求数 | 250 |
| 每个区域每个项目每分钟针对数据产品进行的创建和删除请求数 | 250 |
| 每位用户每个区域每个项目每分钟针对数据产品发出的创建和删除请求数 | 125 |
| 每个项目每分钟的数据产品更新请求数 | 10 |
| 每位用户每个项目每分钟针对数据产品的更新请求数 | 5 |
| 每个区域每个项目每分钟针对数据资产进行的读取请求数 | 500 |
| 每位用户每个区域每个项目每分钟针对数据资产进行的读取请求数 | 250 |
| 每个区域每个项目每分钟针对数据资产进行的写入请求数 | 30 |
| 每位用户每个区域每个项目每分钟针对数据资产进行的写入请求数 | 15 |
资源的配额
以下资源类型的资源配额是在项目级层实施的:数据湖、区域、资产、按需任务、周期性任务。您可以在 Google Cloud 控制台的配额页面上查看知识目录配额的当前使用情况。
申请增加配额
在 Google Cloud 控制台中,进入配额页面。
选择要修改的配额。
点击 更多操作 > 修改配额。
输入新的配额值和请求说明。
点击下一步。
输入详细联系信息。
点击提交请求。
如需调整大多数配额,请使用 Google Cloud 控制台。如需了解详情,请参阅申请配额调整。
配额依赖项
您对 Knowledge Catalog 的使用可能涉及其他 Google Cloud 产品。例如,数据发现需要调用 Cloud Storage 或 BigQuery API 才能与底层资源进行交互。这些产品具有项目级配额,其中包括适用于 Knowledge Catalog 用量的配额。
您可能与 Knowledge Catalog 搭配使用的其他产品的配额页面:
该列表并不详尽。
限制
Knowledge Catalog 具有以下限制:
| 限制 | 值 |
|---|---|
| 条目和切面(包括架构切面)的请求大小 | 2 MB |
| 条目 ID 的长度 | 4000 个字符 |
| 条目中完全限定名称的长度 | 4000 个字符 |
| 条目中条目来源显示名称的长度 | 500 个字符 |
| 条目中条目来源说明的长度 | 2,000 个字符 |
| 条目中条目来源资源的长度 | 4000 个字符 |
| 条目中条目来源系统的长度 | 64 个字符 |
| 条目中条目来源平台的长度 | 64 个字符 |
| 条目中条目来源标签的长度 | 每个键和值最多 128 个字符 |
| 切面(架构切面和数据分析切面除外)中 JSON 内容的大小 | 120 KB |
| 数据分析切面中 JSON 内容的大小 | 1 MB |
| 条目的总大小 | 5 MB |
| 条目中的切面数量上限 | 10000 |
| 条目类型、切面类型和条目组的显示名称长度 | 256 |
| 条目类型、切面类型和条目组的说明长度 | 1024 |
| 切面类型模板中字段名称的长度 | 63 |
| 条目类型中的必需切面类型数量上限 | 20 |
| 切面类型模板中的枚举值数量上限 | 1024 |
| Knowledge Catalog 搜索结果中的项数上限 | 500( Google Cloud 控制台中的仅限关键字搜索模式或使用 API 时的 semanticSearch=false)100(所有其他搜索情况) |
| 每个项目在每个区域的数据扫描次数上限 | 1000 |
| 每个项目在每个区域的数据产品数量上限 | 200 |
| 每个数据产品的数据资产数量上限 | 50 |