配額與限制

本文列出 Knowledge Catalog (舊稱 Dataplex Universal Catalog) 適用的配額。

Google Cloud 使用配額來確保公平性,並減少資源使用量和可用性出現劇烈波動的情況。配額會限制 Google Cloud 專案可使用的Google Cloud 資源數量,配額適用多種資源類型,包括硬體、軟體和網路元件。舉例來說,配額可能會限制能向特定服務發出的 API 呼叫次數、專案可同時使用的負載平衡器數量,或是可建立的專案數量。配額機制可防止服務過載,保障Google Cloud 使用者社群的權益,同時也有助於您管理自己的 Google Cloud 資源。

Cloud Quotas 系統具備以下功能:

如果嘗試使用的資源量超過配額限制,系統通常會阻擋該資源的存取活動,您所執行的工作就會失敗。

配額的計算通常是以 Google Cloud 專案為基準。在某個專案中使用資源,不會影響另一個專案的可用配額。在同一個 Google Cloud 專案內,所有應用程式和 IP 位址會共用配額。

詳情請參閱「Cloud Quotas 總覽」。

Knowledge Catalog 資源也有系統限制。而且無法變更。

Knowledge Catalog 會對特定時間內的 API 要求數量,以及專案中可建立的資源數量,強制執行配額限制。配額可防止用量意外大增和服務超載,進一步瞭解配額強制執行的原因。

隨著 Knowledge Catalog 使用量增加,您可能需要提高配額。如果配額過低,無法滿足需求,或預期用量將增加,可以主動申請提高配額。

瞭解 API 要求類型

各項 Knowledge Catalog 功能 (例如資源管理、中繼資料、工作和資料掃描) 的 API 要求會分類至一般 bucket,以便管理服務用量和保護措施。

讀取要求數

讀取要求是擷取現有資源、中繼資料或執行記錄相關資訊的操作,不會修改任何設定或狀態。這些作業不會改變資料,也不會觸發新的處理工作。

讀取要求作業包括 Get、List 和 Describe。舉例來說,查看資料掃描定義或掃描工作狀態,即為讀取要求。

寫入要求數

寫入要求包括建立、更新或刪除資源定義的所有作業,以及修改安全性政策的作業。這些作業會變更環境狀態。

寫入要求作業包括 Create、Update、Delete、Cancel 和 SetIamPolicy。例如,設定資料品質掃描或更新現有的資料剖析掃描,都屬於寫入要求。

執行要求

執行要求是指觸發預先設定資源的主動執行。與寫入要求 (可能會建立週期性排程) 不同,執行要求通常用於依需求執行設定的邏輯。

舉例來說,手動啟動資料掃描執行作業就是執行要求。

Dataplex API 要求的配額

Dataplex API 會對 Knowledge Catalog 資源管理和搜尋要求強制執行配額,無論來源為何,都會在不同層級執行。包括直接來自 API 呼叫、用戶端程式庫、Google Cloud CLI 和 Google Cloud 控制台的要求。

Knowledge Catalog 要求適用下列配額:

配額 預設
每項專案在每個區域每分鐘的項目和切面讀取要求數 6,000
每項專案每分鐘在各區域的項目和切面寫入要求數 1,500
每位使用者每項專案每區域每分鐘的切面類型、項目類型和項目群組讀取要求數 100
每項專案每分鐘在各區域的切面類型、項目類型和項目群組讀取要求數 200
每位使用者每項專案每區域每分鐘的切面類型、項目類型和項目群組寫入要求數 10
每項專案每區域每分鐘的切面類型、項目類型和項目群組寫入要求數 20
每位使用者每項專案每分鐘的搜尋要求數 900
每項專案每分鐘的搜尋要求數 1,200
每個組織每分鐘的搜尋要求數 2,400
每個組織每天的搜尋要求數 345,600
每項專案每區域每分鐘的中繼資料工作讀取要求數 400
每位使用者每項專案每區域每分鐘的中繼資料工作讀取要求數 200
每項專案在每個區域每分鐘的中繼資料工作寫入要求數 20
每位使用者每項專案每區域每分鐘的中繼資料工作寫入要求數 10
每項專案在每個區域每分鐘的資料掃描讀取要求數 1,200
每位使用者每項專案在每個區域每分鐘的資料掃描讀取要求數 600
每項專案在每個區域每分鐘的資料掃描寫入要求數 200
每位使用者每項專案在各區域每分鐘的資料掃描寫入要求數 100
每項專案在每個區域每分鐘執行的資料掃描要求數 60
每位使用者每項專案在各區域每分鐘執行的資料掃描要求數 30
每項專案中,BigQuery 物件資料表非結構化資料的資料剖析掃描作業每日執行總次數 140
中繼資料匯出工作匯出的中繼資料量,以每個組織每天為單位 10 GB

每個組織每天由中繼資料匯出工作掃描並匯出的中繼資料量

這項配額會評估中繼資料匯出工作範圍內,組織、專案或項目群組中的中繼資料總量。

100 GB

對於下表列出的每項 Knowledge Catalog 要求,系統會在專案層級和專案使用者層級強制執行配額。

配額 範例
資源管理讀取要求 取得湖泊、列出儲存區
資源管理寫入要求 建立湖泊、刪除資產
中繼資料的 GET 要求 取得實體、取得分區
列出中繼資料要求 列出實體、列出分區
中繼資料寫入要求 更新實體、刪除分區
工作和工作資源的讀取要求 取得工作、列出工作
工作和工作資源的寫入要求 建立工作、取消工作
設定 IAM 政策要求 設定 IAM 政策

Data Lineage API 要求的配額

Data Lineage API 會對下列項目強制執行配額:

資料歷程要求適用下列配額:

配額 預設值
每項專案在每個區域 (例如 us-central1) 每分鐘的讀取要求 (SearchLinks、BatchSearchLinkProcesses、Get*、List*) 數量 2,000
每項專案在每個多區域 (us、eu、asia) 每分鐘的讀取要求數 (SearchLinks、BatchSearchLinkProcesses、Get*、List*) 1,000
每分鐘每個專案在各區域 (例如 us-central1) 的寫入要求數 (Create*、Update*、Delete*) 12,000
每項專案每分鐘在每個多區域 (us、eu、asia) 的寫入要求數 (Create*、Update*、Delete*) 6,000
每項專案每分鐘在各區域 (例如 us-central1) 的 OpenLineage 要求數 (ProcessOpenLineageRunEvent) 2,000
每項專案在每個多區域 (us、eu、asia) 每分鐘的 OpenLineage 要求數 (ProcessOpenLineageRunEvent) 1,000

Dataplex API 資料產品要求的配額

Dataplex API 會對資料產品和資料資產的中繼資料作業和生命週期要求,強制執行頻率限制。無論要求是來自 Google Cloud 控制台、Google Cloud CLI、用戶端程式庫,還是直接呼叫 API,都適用這些限制。

下列配額適用於資料產品和資料資產要求:

配額 預設值
每項專案每分鐘在各區域的資料產品讀取要求數 500
每位使用者每項專案每區域每分鐘的資料產品讀取要求數 250
每項專案每分鐘在各區域建立及刪除資料產品要求的次數 250
每位使用者每項專案每區域每分鐘的資料產品建立和刪除要求數 125
每項專案每分鐘的資料產品更新要求數 10
每位使用者每項專案每分鐘的資料產品更新要求數 5
每項專案在每個區域每分鐘的資料資產讀取要求數 500
每位使用者每項專案在每個區域每分鐘的資料資產讀取要求數 250
每項專案在每個區域每分鐘的資料資產寫入要求數 30
每位使用者每項專案每分鐘在各區域的資料資產寫入要求數 15

Knowledge Studio 擴充任務的配額和限制

Dataplex API 會對 Knowledge Studio 擴充工作 (AgentTask 資源) 和工作執行作業 (AgentRun 資源) 實施頻率和資源配額。

Knowledge Studio 擴充工作適用下列配額:

配額 預設值
每項專案在每個區域每分鐘對擴充工作資源 (例如工作的 Get 和執行的 List) 提出的讀取要求數 1,200
每項專案每區域每分鐘的擴充工作資源 (例如 Create、Update 和 Delete) 寫入要求數 60
每項專案在每個區域每分鐘執行的擴充工作資源要求數 20
每個專案在各區域的擴充工作 (AgentTask 資源) 數量上限 100

資源配額

下列資源類型的資源配額會以專案為單位強制執行:湖泊、可用區、資產、隨選工作、週期性工作。您可以在 Google Cloud 控制台的「Quotas」(配額) 頁面,查看目前的 Knowledge Catalog 配額用量。

申請提高配額

  1. 前往 Google Cloud 控制台的「Quotas」(配額) 頁面。

    前往配額頁面

  2. 選取要修改的配額。

  3. 依序點選「更多動作」 > 「編輯配額」。

  4. 輸入新的配額值和要求說明。

  5. 點選「下一步」。

  6. 輸入聯絡資料。

  7. 按一下 [提交要求]。

如要調整大部分配額,請使用 Google Cloud 控制台。詳情請參閱「要求調整配額」。

配額依附元件

使用 Knowledge Catalog 時,可能會涉及其他 Google Cloud 產品。例如,資料探索功能需要叫用 Cloud Storage 或 BigQuery API,才能與基礎資源互動。這些產品都有專案層級配額,其中也包括適用於 Knowledge Catalog 用量的配額。

您可能與 Knowledge Catalog 搭配使用的其他產品配額頁面:

請注意,這份清單僅列出部分示例。

限制

Knowledge Catalog 適用下列限制:

限制 值
項目和切面 (包括結構定義切面) 的要求大小 2 MB
項目 ID 長度 4,000 個字元
項目中完整名稱的長度 4,000 個字元
項目中項目來源顯示名稱的長度 500 個字元
項目中項目來源說明的長度 2,000 個字元
項目中項目來源資源的長度 4,000 個字元
項目中項目來源系統的長度 64 個半形字元
項目中項目來源平台的長度 64 個半形字元
項目中項目來源標籤的長度 每個鍵和值最多 128 個字元
切面中 JSON 內容的大小 (結構定義和資料設定檔切面除外) 120 KB
資料剖析面向中的 JSON 內容大小 1 MB
項目總大小 5 MB
項目中的切面數量上限 10,000
項目類型、切面類型和項目群組的顯示名稱長度 256
項目類型、切面類型和項目群組的說明長度 1,024
切面類型範本中的欄位名稱長度 63
項目類型中的必要切面類型數量上限 20
切面類型範本中的列舉值數量上限 1,024
Knowledge Catalog 搜尋結果中的項目數量上限 500 ( Google Cloud 控制台中的僅限關鍵字搜尋模式,或使用 API 時的 semanticSearch=false)

100 (所有其他搜尋案例)
每個專案在各區域的資料掃描作業數量上限 1,000
每個專案在各區域的資料產品數量上限 1,000
每項資料產品的資料資產數量上限 50
每個分類的政策標記數量上限 100