本文列出 Knowledge Catalog (舊稱 Dataplex Universal Catalog) 適用的配額。
Google Cloud 使用配額來確保公平性,並減少資源使用量和可用性出現劇烈波動的情況。配額會限制 Google Cloud 專案可使用的Google Cloud 資源數量,配額適用多種資源類型,包括硬體、軟體和網路元件。舉例來說,配額可能會限制能向特定服務發出的 API 呼叫次數、專案可同時使用的負載平衡器數量,或是可建立的專案數量。配額機制可防止服務過載,保障Google Cloud 使用者社群的權益,同時也有助於您管理自己的 Google Cloud 資源。
Cloud Quotas 系統具備以下功能:
如果嘗試使用的資源量超過配額限制,系統通常會阻擋該資源的存取活動,您所執行的工作就會失敗。
配額的計算通常是以 Google Cloud 專案為基準。在某個專案中使用資源,不會影響另一個專案的可用配額。在同一個 Google Cloud 專案內,所有應用程式和 IP 位址會共用配額。
詳情請參閱「Cloud Quotas 總覽」。
Knowledge Catalog 資源也有系統限制。而且無法變更。
Knowledge Catalog 會對特定時間內的 API 要求數量,以及專案中可建立的資源數量,強制執行配額限制。配額可防止用量意外大增和服務超載,進一步瞭解配額強制執行的原因。
隨著 Knowledge Catalog 使用量增加,您可能需要提高配額。如果配額過低,無法滿足需求,或預期用量將增加,可以主動申請提高配額。
瞭解 API 要求類型
各項 Knowledge Catalog 功能 (例如資源管理、中繼資料、工作和資料掃描) 的 API 要求會分類至一般 bucket,以便管理服務用量和保護措施。
讀取要求數
讀取要求是擷取現有資源、中繼資料或執行記錄相關資訊的操作,不會修改任何設定或狀態。這些作業不會改變資料,也不會觸發新的處理工作。
讀取要求作業包括 Get、List 和 Describe。舉例來說,查看資料掃描定義或掃描工作狀態,即為讀取要求。
寫入要求數
寫入要求包括建立、更新或刪除資源定義的所有作業,以及修改安全性政策的作業。這些作業會變更環境狀態。
寫入要求作業包括 Create、Update、Delete、Cancel 和 SetIamPolicy。例如,設定資料品質掃描或更新現有的資料剖析掃描,都屬於寫入要求。
執行要求
執行要求是指觸發預先設定資源的主動執行。與寫入要求 (可能會建立週期性排程) 不同,執行要求通常用於依需求執行設定的邏輯。
舉例來說,手動啟動資料掃描執行作業就是執行要求。
Dataplex API 要求的配額
Dataplex API 會對 Knowledge Catalog 資源管理和搜尋要求強制執行配額,無論來源為何,都會在不同層級執行。包括直接來自 API 呼叫、用戶端程式庫、Google Cloud CLI 和 Google Cloud 控制台的要求。
Knowledge Catalog 要求適用下列配額:
| 配額 | 預設 |
|---|---|
| 每項專案在每個區域每分鐘的項目和切面讀取要求數 | 6,000 |
| 每項專案每分鐘在各區域的項目和切面寫入要求數 | 1,500 |
| 每位使用者每項專案每區域每分鐘的切面類型、項目類型和項目群組讀取要求數 | 100 |
| 每項專案每分鐘在各區域的切面類型、項目類型和項目群組讀取要求數 | 200 |
| 每位使用者每項專案每區域每分鐘的切面類型、項目類型和項目群組寫入要求數 | 10 |
| 每項專案每區域每分鐘的切面類型、項目類型和項目群組寫入要求數 | 20 |
| 每位使用者每項專案每分鐘的搜尋要求數 | 900 |
| 每項專案每分鐘的搜尋要求數 | 1,200 |
| 每個組織每分鐘的搜尋要求數 | 2,400 |
| 每個組織每天的搜尋要求數 | 345,600 |
| 每項專案每區域每分鐘的中繼資料工作讀取要求數 | 400 |
| 每位使用者每項專案每區域每分鐘的中繼資料工作讀取要求數 | 200 |
| 每項專案在每個區域每分鐘的中繼資料工作寫入要求數 | 20 |
| 每位使用者每項專案每區域每分鐘的中繼資料工作寫入要求數 | 10 |
| 每項專案在每個區域每分鐘的資料掃描讀取要求數 | 1,200 |
| 每位使用者每項專案在每個區域每分鐘的資料掃描讀取要求數 | 600 |
| 每項專案在每個區域每分鐘的資料掃描寫入要求數 | 200 |
| 每位使用者每項專案在各區域每分鐘的資料掃描寫入要求數 | 100 |
| 每項專案在每個區域每分鐘執行的資料掃描要求數 | 60 |
| 每位使用者每項專案在各區域每分鐘執行的資料掃描要求數 | 30 |
| 每項專案中,BigQuery 物件資料表非結構化資料的資料剖析掃描作業每日執行總次數 | 140 |
| 中繼資料匯出工作匯出的中繼資料量,以每個組織每天為單位 | 10 GB |
|
每個組織每天由中繼資料匯出工作掃描並匯出的中繼資料量 這項配額會評估中繼資料匯出工作範圍內,組織、專案或項目群組中的中繼資料總量。 |
100 GB |
對於下表列出的每項 Knowledge Catalog 要求,系統會在專案層級和專案使用者層級強制執行配額。
| 配額 | 範例 |
|---|---|
| 資源管理讀取要求 | 取得湖泊、列出儲存區 |
| 資源管理寫入要求 | 建立湖泊、刪除資產 |
| 中繼資料的 GET 要求 | 取得實體、取得分區 |
| 列出中繼資料要求 | 列出實體、列出分區 |
| 中繼資料寫入要求 | 更新實體、刪除分區 |
| 工作和工作資源的讀取要求 | 取得工作、列出工作 |
| 工作和工作資源的寫入要求 | 建立工作、取消工作 |
| 設定 IAM 政策要求 | 設定 IAM 政策 |
Data Lineage API 要求的配額
Data Lineage API 會對下列項目強制執行配額:
- 讀取要求只會傳回資料
- 建立或變更資料的寫入要求
- 建立 Open Lineage
資料歷程要求適用下列配額:
| 配額 | 預設值 |
|---|---|
每項專案在每個區域 (例如 us-central1) 每分鐘的讀取要求 (SearchLinks、BatchSearchLinkProcesses、Get*、List*) 數量 |
2,000 |
每項專案在每個多區域 (us、eu、asia) 每分鐘的讀取要求數 (SearchLinks、BatchSearchLinkProcesses、Get*、List*) |
1,000 |
每分鐘每個專案在各區域 (例如 us-central1) 的寫入要求數 (Create*、Update*、Delete*) |
12,000 |
每項專案每分鐘在每個多區域 (us、eu、asia) 的寫入要求數 (Create*、Update*、Delete*) |
6,000 |
每項專案每分鐘在各區域 (例如 us-central1) 的 OpenLineage 要求數 (ProcessOpenLineageRunEvent) |
2,000 |
每項專案在每個多區域 (us、eu、asia) 每分鐘的 OpenLineage 要求數 (ProcessOpenLineageRunEvent) |
1,000 |
Dataplex API 資料產品要求的配額
Dataplex API 會對資料產品和資料資產的中繼資料作業和生命週期要求,強制執行頻率限制。無論要求是來自 Google Cloud 控制台、Google Cloud CLI、用戶端程式庫,還是直接呼叫 API,都適用這些限制。
下列配額適用於資料產品和資料資產要求:
| 配額 | 預設值 |
|---|---|
| 每項專案每分鐘在各區域的資料產品讀取要求數 | 500 |
| 每位使用者每項專案每區域每分鐘的資料產品讀取要求數 | 250 |
| 每項專案每分鐘在各區域建立及刪除資料產品要求的次數 | 250 |
| 每位使用者每項專案每區域每分鐘的資料產品建立和刪除要求數 | 125 |
| 每項專案每分鐘的資料產品更新要求數 | 10 |
| 每位使用者每項專案每分鐘的資料產品更新要求數 | 5 |
| 每項專案在每個區域每分鐘的資料資產讀取要求數 | 500 |
| 每位使用者每項專案在每個區域每分鐘的資料資產讀取要求數 | 250 |
| 每項專案在每個區域每分鐘的資料資產寫入要求數 | 30 |
| 每位使用者每項專案每分鐘在各區域的資料資產寫入要求數 | 15 |
Knowledge Studio 擴充任務的配額和限制
Dataplex API 會對 Knowledge Studio 擴充工作 (AgentTask 資源) 和工作執行作業 (AgentRun 資源) 實施頻率和資源配額。
Knowledge Studio 擴充工作適用下列配額:
| 配額 | 預設值 |
|---|---|
每項專案在每個區域每分鐘對擴充工作資源 (例如工作的 Get 和執行的 List) 提出的讀取要求數 |
1,200 |
每項專案每區域每分鐘的擴充工作資源 (例如 Create、Update 和 Delete) 寫入要求數 |
60 |
| 每項專案在每個區域每分鐘執行的擴充工作資源要求數 | 20 |
每個專案在各區域的擴充工作 (AgentTask 資源) 數量上限 |
100 |
資源配額
下列資源類型的資源配額會以專案為單位強制執行:湖泊、可用區、資產、隨選工作、週期性工作。您可以在 Google Cloud 控制台的「Quotas」(配額) 頁面,查看目前的 Knowledge Catalog 配額用量。
申請提高配額
前往 Google Cloud 控制台的「Quotas」(配額) 頁面。
選取要修改的配額。
依序點選「更多動作」 > 「編輯配額」。
輸入新的配額值和要求說明。
點選「下一步」。
輸入聯絡資料。
按一下 [提交要求]。
如要調整大部分配額,請使用 Google Cloud 控制台。詳情請參閱「要求調整配額」。
配額依附元件
使用 Knowledge Catalog 時,可能會涉及其他 Google Cloud 產品。例如,資料探索功能需要叫用 Cloud Storage 或 BigQuery API,才能與基礎資源互動。這些產品都有專案層級配額,其中也包括適用於 Knowledge Catalog 用量的配額。
您可能與 Knowledge Catalog 搭配使用的其他產品配額頁面:
請注意,這份清單僅列出部分示例。
限制
Knowledge Catalog 適用下列限制:
| 限制 | 值 |
|---|---|
| 項目和切面 (包括結構定義切面) 的要求大小 | 2 MB |
| 項目 ID 長度 | 4,000 個字元 |
| 項目中完整名稱的長度 | 4,000 個字元 |
| 項目中項目來源顯示名稱的長度 | 500 個字元 |
| 項目中項目來源說明的長度 | 2,000 個字元 |
| 項目中項目來源資源的長度 | 4,000 個字元 |
| 項目中項目來源系統的長度 | 64 個半形字元 |
| 項目中項目來源平台的長度 | 64 個半形字元 |
| 項目中項目來源標籤的長度 | 每個鍵和值最多 128 個字元 |
| 切面中 JSON 內容的大小 (結構定義和資料設定檔切面除外) | 120 KB |
| 資料剖析面向中的 JSON 內容大小 | 1 MB |
| 項目總大小 | 5 MB |
| 項目中的切面數量上限 | 10,000 |
| 項目類型、切面類型和項目群組的顯示名稱長度 | 256 |
| 項目類型、切面類型和項目群組的說明長度 | 1,024 |
| 切面類型範本中的欄位名稱長度 | 63 |
| 項目類型中的必要切面類型數量上限 | 20 |
| 切面類型範本中的列舉值數量上限 | 1,024 |
| Knowledge Catalog 搜尋結果中的項目數量上限 | 500 ( Google Cloud 控制台中的僅限關鍵字搜尋模式,或使用 API 時的 semanticSearch=false)100 (所有其他搜尋案例) |
| 每個專案在各區域的資料掃描作業數量上限 | 1,000 |
| 每個專案在各區域的資料產品數量上限 | 1,000 |
| 每項資料產品的資料資產數量上限 | 50 |
| 每個分類的政策標記數量上限 | 100 |