本文列出 Knowledge Catalog (舊稱 Dataplex Universal Catalog) 適用的配額。
Google Cloud 使用配額來確保公平性,並減少資源使用量和可用性出現劇烈波動的情況。配額會限制 Google Cloud 專案可使用的Google Cloud 資源數量,配額適用多種資源類型,包括硬體、軟體和網路元件。舉例來說,配額可能會限制能向特定服務發出的 API 呼叫次數、專案可同時使用的負載平衡器數量,或是可建立的專案數量。配額機制可防止服務過載,保障Google Cloud 使用者社群的權益,同時也有助於您管理自己的 Google Cloud 資源。
Cloud Quotas 系統具備以下功能:
如果嘗試使用的資源量超過配額限制,系統通常會阻擋該資源的存取活動,您所執行的工作就會失敗。
配額的計算通常是以 Google Cloud 專案為基準。在某個專案中使用資源,不會影響另一個專案的可用配額。在同一個 Google Cloud 專案內,所有應用程式和 IP 位址會共用配額。
詳情請參閱「Cloud Quotas 總覽」。
Knowledge Catalog 資源也有系統限制。而且無法變更。
Knowledge Catalog 會對特定時間內的 API 要求數量,以及專案中可建立的資源數量,強制執行配額限制。配額可防止用量意外大增和服務超載,進一步瞭解配額強制執行的原因。
隨著 Knowledge Catalog 使用量增加,您可能需要提高配額。如果配額過低,無法滿足需求,或預期用量將增加,可以主動申請提高配額。
瞭解 API 要求類型
Knowledge Catalog 各項功能的 API 要求 (例如資源管理、中繼資料、工作和資料掃描) 會分類至一般 bucket,以便管理服務用量和保護措施。
讀取要求數
讀取要求是指擷取現有資源、中繼資料或執行記錄相關資訊的操作,不會修改任何設定或狀態。這些作業不會改變資料,也不會觸發新的處理工作。
讀取要求作業包括 Get、List 和 Describe。例如,查看資料掃描定義或掃描工作狀態,即為讀取要求。
寫入要求數
寫入要求包括建立、更新或刪除資源定義的所有作業,以及修改安全性政策的作業。這些作業會變更環境狀態。
寫入要求作業包括 Create、Update、Delete、Cancel 和 SetIamPolicy。例如,設定資料品質掃描或更新現有資料剖析掃描,都屬於寫入要求。
執行要求
執行要求是指觸發預先設定資源的主動執行。與寫入要求 (可能會建立週期性排程) 不同,執行要求通常用於依需求執行設定的邏輯。
舉例來說,手動啟動資料掃描執行作業就是執行要求。
Dataplex API 要求的配額
Dataplex API 會對 Knowledge Catalog 資源管理和搜尋要求強制執行不同層級的配額,無論來源為何。包括直接來自 API 呼叫、用戶端程式庫、Google Cloud CLI 和 Google Cloud 控制台的要求。
Knowledge Catalog 要求適用下列配額:
| 配額 | 預設 |
|---|---|
| 每項專案在每個區域每分鐘的項目和切面讀取要求數 | 6,000 |
| 每項專案在每個區域每分鐘的項目和切面寫入要求數 | 1,500 |
| 每位使用者每項專案每區域每分鐘的切面類型、項目類型和項目群組讀取要求數 | 100 |
| 每項專案每分鐘在各區域的切面類型、項目類型和項目群組讀取要求數 | 200 |
| 每位使用者每項專案在每個區域每分鐘的切面類型、項目類型和項目群組寫入要求數 | 10 |
| 每項專案每分鐘在各區域的切面類型、項目類型和項目群組寫入要求數 | 20 |
| 每項專案在各區域每分鐘的組織詞彙讀取要求數 | 500 |
| 每位使用者每項專案每區域每分鐘的組織詞彙讀取要求數 | 200 |
| 每項專案每區域每分鐘的組織詞彙寫入要求數 | 250 |
| 每位使用者每項專案每區域每分鐘的組織詞彙寫入要求數 | 100 |
| 每項專案在各區域每分鐘的項目連結讀取要求數 | 1000 |
| 每位使用者每項專案在每個區域每分鐘的項目連結讀取要求數 | 400 |
| 每項專案每分鐘在各區域的項目連結寫入要求數 | 500 |
| 每位使用者每項專案每區域每分鐘的項目連結寫入要求數 | 200 |
| 每位使用者每項專案每分鐘的搜尋要求數 | 900 |
| 每項專案每分鐘的搜尋要求數 | 1,200 |
| 每個組織每分鐘的搜尋要求數 | 2,400 |
| 每個組織每天的搜尋要求數 | 345,600 |
| 每項專案在每個區域每分鐘的中繼資料工作讀取要求數 | 400 |
| 每位使用者每項專案每區域每分鐘的中繼資料工作讀取要求數 | 200 |
| 每項專案在各區域每分鐘的中繼資料工作寫入要求數 | 20 |
| 每位使用者每項專案每區域每分鐘的中繼資料工作寫入要求數 | 10 |
| 每項專案每區域每分鐘的資料掃描讀取要求數 | 1,200 |
| 每位使用者每項專案每分鐘在各區域的資料掃描讀取要求數 | 600 |
| 每項專案在各區域每分鐘的資料掃描寫入要求數 | 200 |
| 每位使用者每項專案每分鐘在各區域的資料掃描寫入要求數 | 100 |
| 每項專案在每個區域每分鐘的資料掃描執行要求數 | 60 |
| 每位使用者每項專案每分鐘在各區域執行的資料掃描要求數 | 30 |
| 每項專案中,BigQuery 物件資料表非結構化資料的資料剖析掃描作業每日執行總次數 | 140 |
| 中繼資料匯出工作匯出的中繼資料量,以每個組織每天為單位 | 10 GB |
|
每個組織每天由中繼資料匯出工作掃描並匯出的中繼資料量 這項配額會評估中繼資料匯出工作範圍內,組織、專案或項目群組中的中繼資料總量。 |
100 GB |
對於下表列出的每項 Knowledge Catalog 要求,系統會在「每項專案」和「每項專案每位使用者」層級強制執行配額。
| 配額 | 範例 |
|---|---|
| 資源管理讀取要求 | 取得湖泊、列出儲存區 |
| 資源管理寫入要求 | 建立湖泊、刪除資產 |
| 中繼資料的 GET 要求 | 取得實體、取得分區 |
| 列出中繼資料要求 | 列出實體、列出分區 |
| 中繼資料寫入要求 | 更新實體、刪除分區 |
| 工作和工作資源的讀取要求 | 取得工作、列出工作 |
| 工作和工作資源的寫入要求 | 建立工作、取消工作 |
| 設定 IAM 政策要求 | 設定 IAM 政策 |
Data Lineage API 要求的配額
Data Lineage API 會對下列項目強制執行配額:
- 只傳回資料的讀取要求
- 建立或變更資料的寫入要求
- 建立 Open Lineage
資料歷程要求適用下列配額:
| 配額 | 預設值 |
|---|---|
每分鐘每個專案在各區域 (例如 us-central1) 的讀取要求 (SearchLinks、BatchSearchLinkProcesses、Get*、List*) 數量 |
2,000 |
每項專案在每個多區域 (us、eu、asia) 每分鐘的讀取要求數 (SearchLinks、BatchSearchLinkProcesses、Get*、List*) |
1,000 |
每分鐘每個專案在各區域 (例如 us-central1) 的寫入要求數 (Create*、Update*、Delete*) |
12,000 |
每項專案在每個多區域 (us、eu、asia) 每分鐘的寫入要求數 (Create*、Update*、Delete*) |
6,000 |
每項專案每區域 (例如 us-central1) 每分鐘的 OpenLineage 要求數 (ProcessOpenLineageRunEvent) |
2,000 |
每項專案在每個多區域 (us、eu、asia) 每分鐘的 OpenLineage 要求數 (ProcessOpenLineageRunEvent) |
1,000 |
Dataplex API 資料產品要求的配額
Dataplex API 會對資料產品和資料資產的中繼資料作業和生命週期要求,強制執行頻率限制。無論要求是來自 Google Cloud 控制台、Google Cloud CLI、用戶端程式庫,還是直接呼叫 API,都適用這些限制。
下列配額適用於資料產品和資料資產要求:
| 配額 | 預設值 |
|---|---|
| 每項專案每分鐘在各區域的資料產品讀取要求數 | 500 |
| 每位使用者每項專案每個區域每分鐘的資料產品讀取要求數 | 250 |
| 每項專案每分鐘在各區域建立及刪除資料產品要求的次數 | 250 |
| 每位使用者每項專案每分鐘在各區域建立及刪除資料產品要求的次數 | 125 |
| 每項專案每分鐘的資料產品更新要求數 | 10 |
| 每位使用者每項專案每分鐘的資料產品更新要求數 | 5 |
| 每項專案在每個區域每分鐘的資料資產讀取要求數 | 500 |
| 每位使用者每項專案每分鐘在各區域的資料資產讀取要求數 | 250 |
| 每項專案在每個區域每分鐘的資料資產寫入要求數 | 30 |
| 每位使用者每項專案每分鐘在各區域的資料資產寫入要求數 | 15 |
Knowledge Studio 擴充工作的配額和限制
Dataplex API 會對 Knowledge Studio 擴充工作 (AgentTask 資源) 和工作執行作業 (AgentRun 資源) 實施頻率和資源配額。
Knowledge Studio 擴充工作適用下列配額:
| 配額 | 預設值 |
|---|---|
每項專案在每個區域每分鐘對擴充工作資源 (例如工作的 Get 和執行的 List) 提出的讀取要求數 |
1,200 |
每項專案在每個區域每分鐘對擴充工作資源 (例如 Create、Update 和 Delete) 的寫入要求數 |
60 |
| 每項專案在每個區域每分鐘執行的擴充工作資源要求數 | 20 |
每個專案在各區域的擴充工作 (AgentTask 資源) 數量上限 |
100 |
資料洞察的配額和限制
資料洞察功能會使用 Data Analytics API with Gemini (geminidataanalytics.googleapis.com) 計算輸入和輸出詞元用量。根據預設,每日權杖配額設為無限制,因此所有洞察掃描作業都能不中斷地執行。
如要控管 Google Cloud 專案的費用,管理員可以監控每日詞元用量,並自訂付費輸入詞元和付費輸出詞元的每日上限。如要進一步瞭解如何監控資料洞察的權杖用量,請參閱「監控資料洞察權杖用量」。
可用的權杖配額
資料洞察適用下列權杖配額:
| 配額 | 服務 | 指標名稱 | 範圍和重設期間 | 預設限制 |
|---|---|---|---|---|
| Knowledge Catalog Insights 每項專案每日付費輸入詞元數量 | Data Analytics API with Gemini
(geminidataanalytics.googleapis.com) |
geminidataanalytics.googleapis.com/cost_control/kc_insights/paid_input_tokens
|
每項專案每天 (系統會在太平洋時間每天凌晨 12 點重設) | 無限制 |
| Knowledge Catalog Insights 每個專案每日付費輸出詞元數量 | Data Analytics API with Gemini
(geminidataanalytics.googleapis.com) |
geminidataanalytics.googleapis.com/cost_control/kc_insights/paid_output_tokens
|
每項專案每天 (系統會在太平洋時間每天凌晨 12 點重設) | 無限制 |
查看及管理每日權杖配額
在 Google Cloud 控制台的 「Quotas & System Limits」(配額與系統限制) 頁面,篩選「Service: Data Analytics API with Gemini」(服務:Data Analytics API with Gemini),即可查看目前的權杖用量、用量圖表,以及設定或重設每日 權杖上限。
如需逐步說明和必要權限,請參閱下列 Cloud Quotas 說明文件:
- 查看用量和圖表:請參閱「查看專案配額」和「查看及匯出配額用量趨勢」。掃描完成後,系統會以非同步方式更新權杖用量,而非即時更新。
- 設定或重設每日上限:請參閱「建立配額覆寫」和「重設配額值」。設定正整數,即可限制專案每日的權杖用量;設為
0,則可立即暫停產生所有新的付費洞察資料;重設配額值,則可還原為無限制的預設值。
資源配額
下列資源類型的資源配額會以專案為單位強制執行:湖泊、可用區、資產、隨選工作、週期性工作。您可以前往 Google Cloud 控制台的「Quotas」(配額) 頁面,查看目前的 Knowledge Catalog 配額用量。
申請提高配額
前往 Google Cloud 控制台的「Quotas」(配額) 頁面。
選取要修改的配額。
依序點選「 更多動作」>「編輯配額」**。
輸入新的配額值和要求說明。
點選「下一步」。
輸入聯絡資料。
按一下 [提交要求]。
如要調整大部分配額,請使用 Google Cloud 控制台。詳情請參閱「要求調整配額」。
配額依附元件
使用 Knowledge Catalog 時,可能會用到其他 Google Cloud 產品。舉例來說,資料探索功能需要叫用 Cloud Storage 或 BigQuery API,才能與基礎資源互動。這些產品都有專案層級配額,其中也包括適用於 Knowledge Catalog 用量的配額。
可能與 Knowledge Catalog 搭配使用的其他產品配額頁面:
請注意,這份清單僅列出部分示例。
限制
Knowledge Catalog 適用下列限制:
| 限制 | 值 |
|---|---|
| 項目和切面 (包括結構定義切面) 的要求大小 | 2 MB |
| 項目 ID 長度 | 4,000 個字元 |
| 項目中完整名稱的長度 | 4,000 個字元 |
| 項目中項目來源顯示名稱的長度 | 500 個半形字元 |
| 項目中項目來源說明的長度 | 2,000 個字元 |
| 項目中項目來源資源的長度 | 4,000 個字元 |
| 項目中項目來源系統的長度 | 64 個半形字元 |
| 項目中項目來源平台的長度 | 64 個半形字元 |
| 項目中項目來源標籤的長度 | 每個鍵和值最多 128 個字元 |
| 切面中 JSON 內容的大小 (結構定義和資料設定檔切面除外) | 120 KB |
| 資料剖析面向中的 JSON 內容大小 | 1 MB |
| 項目總大小 | 5 MB |
| 單一項目中的切面數量上限 | 10,000 |
| 項目類型、切面類型和項目群組的顯示名稱長度 | 256 |
| 項目類型、切面類型和項目群組的說明長度 | 1,024 |
| 切面類型範本中的欄位名稱長度 | 63 |
| 項目類型中的必要切面類型數量上限 | 20 |
| 切面類型範本中的列舉值數量上限 | 1,024 |
| Knowledge Catalog 搜尋結果中的項目數量上限 | 500 ( Google Cloud 控制台中的僅限關鍵字搜尋模式,或使用 API 時的 semanticSearch=false)100 (所有其他搜尋案例) |
| 每個專案在各區域的資料掃描作業數量上限 | 1,000 |
| 每個專案在各區域的資料產品數量上限 | 1,000 |
| 每項資料產品的資料資產數量上限 | 50 |
| 每個分類的政策標記數量上限 | 100 |