配額與限制

本文列出 Knowledge Catalog (舊稱 Dataplex Universal Catalog) 適用的配額

Google Cloud 使用配額來確保公平性,並減少資源使用量和可用性出現劇烈波動的情況。配額會限制 Google Cloud 專案可使用的Google Cloud 資源數量,且適用多種資源類型,包括軟硬體和網路元件。舉例來說,配額可能會限制能向特定服務發出的 API 呼叫次數、專案可同時使用的負載平衡器數量,或是可建立的專案數量。配額機制可防止服務過載,保障Google Cloud 使用者社群的權益,同時也有助於您管理自己的 Google Cloud 資源。

Cloud Quotas 系統具備以下功能:

如果嘗試使用的資源量超過配額限制,系統通常會阻擋該資源的存取活動,您所執行的工作就會失敗。

配額的計算通常是以 Google Cloud 專案為基準。在某個專案中使用資源,不會影響另一個專案的可用配額。在同一個 Google Cloud 專案內,所有應用程式和 IP 位址會共用配額。

詳情請參閱「Cloud Quotas 總覽」。

Knowledge Catalog 資源也有「系統限制」, 而且無法變更。

Knowledge Catalog 會對特定時間內的 API 要求數量,以及專案中可建立的資源數量強制設定配額。配額可防止用量意外暴增,以及服務過載。進一步瞭解配額強制執行的原因

隨著您使用 Knowledge Catalog 的次數增加,配額需求可能會隨之提高。 如果配額太低,不敷使用,或預期用量會攀升,可以主動申請提高配額

瞭解 API 要求類型

各種 Knowledge Catalog 功能的 API 要求 (例如資源管理、中繼資料、工作和資料掃描) 會歸類到一般儲存區,以管理服務用量和保護措施。

讀取要求數

讀取要求是專門用來擷取現有資源、中繼資料或執行記錄相關資訊的作業,不會修改任何設定或狀態。這些作業不會變動資料,也不會觸發新的處理作業。

讀取要求作業包括 GetListDescribe。舉例來說,查看資料掃描的定義或掃描工作的狀態,就是讀取要求。

寫入要求數

寫入要求包括建立、更新或刪除資源定義的所有作業,以及修改安全性政策的作業。這些作業會變更環境的狀態。

寫入要求作業包括 CreateUpdateDeleteCancelSetIamPolicy。舉例來說,設定資料品質掃描作業或更新現有的資料剖析掃描作業,都屬於寫入要求。

執行要求

執行要求是指觸發預先設定資源的實際執行作業。與寫入要求 (可能會建立週期性排程) 不同,執行要求通常用於隨選執行設定的邏輯。

舉例來說,手動啟動資料掃描執行作業就是執行要求。

Dataplex API 要求配額

無論來源為何,Dataplex API 都會對不同層級的 Knowledge Catalog 資源管理和搜尋要求強制執行配額。包括直接透過 API 呼叫、用戶端程式庫、Google Cloud CLI 和 Google Cloud 控制台發出的要求。

下列配額適用於 Knowledge Catalog 要求:

配額 預設
每個專案、每個區域每分鐘的項目和層面讀取要求數 6000
每個專案、每個區域每分鐘的項目和層面寫入要求數 1500
每位使用者每項專案每分鐘的切面類型、項目類型和項目群組讀取要求數 100
每項專案每分鐘的切面類型、項目類型和項目群組讀取要求數 200
每位使用者每項專案每分鐘的切面類型、項目類型和項目群組寫入要求數 10
每項專案每分鐘的切面類型、項目類型和項目群組寫入要求數 20
每位使用者每項專案每分鐘的搜尋要求數 900
每項專案每分鐘的搜尋要求數 1200
每分鐘每個機構的搜尋要求數 2400
每個機構的每日搜尋要求數 345600
每個專案、每個區域每分鐘的中繼資料作業讀取要求數 400
每位使用者每項專案每分鐘每個地區的中繼資料工作讀取要求數 200
每個專案、每個區域每分鐘的中繼資料工作寫入要求數 20
每位使用者每項專案每分鐘每個地區的中繼資料工作寫入要求數 10
每個專案、每個區域每分鐘的資料掃描讀取要求數 1200
每位使用者每項專案每分鐘每個區域的資料掃描讀取要求數 600
每個專案、每個區域每分鐘的資料掃描寫入要求數 200
每位使用者每項專案每分鐘每個區域的資料掃描寫入要求數 100
每個專案、每個區域每分鐘的資料掃描執行要求數 60
每位使用者每項專案每分鐘每個區域的資料掃描執行要求數 30
每天每個機構透過中繼資料匯出工作匯出的中繼資料量 10 GB

中繼資料匯出工作每天為每個機構掃描並匯出的中繼資料量

這項配額會評估機構、專案或項目群組中,中繼資料匯出工作範圍內的中繼資料總量。

100 GB

下表列出的每項 Knowledge Catalog 要求,都會在每個專案和每個專案每位使用者層級強制執行配額。

配額 範例
資源管理的讀取要求 取得湖泊、列出儲存區
資源管理的寫入要求 建立湖泊、刪除資產
取得中繼資料要求 取得實體、取得分割區
列出中繼資料要求 列出實體、列出分割區
中繼資料的寫入要求 更新實體、刪除分區
讀取工作和作業資源的要求 取得工作、列出工作
工作和作業資源的寫入要求 建立工作、取消工作
設定 IAM 政策要求 設定 IAM 政策

Data Lineage API 要求配額

Data Lineage API 會對下列項目強制執行配額:

  • 僅傳回資料的讀取要求
  • 撰寫建立或變更資料的要求
  • 建立 Open Lineage

資料沿襲要求適用下列配額規定:

配額 預設值
每位使用者每項專案每分鐘在每個地區的讀取要求數 1000
每位使用者每項專案每分鐘在每個區域的寫入要求數 6000
每位使用者每項專案每分鐘每個區域的 Open Lineage 要求數 3000

資源配額

系統會針對下列資源類型,在專案層級強制執行資源配額:湖泊、區域、資產、隨選工作、週期性工作。如要查看目前的 Knowledge Catalog 配額用量,請前往 Google Cloud 控制台的「配額」頁面。

申請提高配額

  1. 前往 Google Cloud 控制台的「Quotas」(配額) 頁面。

    前往配額頁面

  2. 選取要修改的配額。

  3. 依序點選「更多動作」>「編輯配額」

  4. 輸入新的配額值和要求說明。

  5. 點選「下一步」

  6. 輸入聯絡資料。

  7. 按一下 [提交要求]

如要調整大部分配額,請使用 Google Cloud 控制台。詳情請參閱「要求調整配額」。

配額依附元件

您可能將 Knowledge Catalog 用於其他 Google Cloud 產品。 舉例來說,資料探索需要叫用 Cloud Storage 和/或 BigQuery API,才能與基礎資源互動。這些產品都有專案層級配額,其中也包括適用於 Knowledge Catalog 使用情況的配額。

您可能會與 Knowledge Catalog 一併使用的其他產品配額頁面:

請注意,這份清單僅列出部分示例。

限制

以下限制適用於 Knowledge Catalog:

限制
項目和層面 (包括結構定義層面) 的要求大小 2 MB
項目 ID 長度 4,000 個字元
項目中完整名稱的長度 4,000 個字元
項目中項目來源顯示名稱的長度 500 個字元
項目中進入來源說明的長度 2000 個半形字元
項目中項目來源資源的長度 4,000 個字元
項目中項目來源系統的長度 64 個半形字元
項目中項目來源平台的長度 64 個半形字元
項目中項目來源標籤的長度 每個鍵和值最多 128 個字元
某個層面 (結構定義和資料剖析檔層面除外) 的 JSON 內容大小 120 KB
資料剖析檔層面中 JSON 內容的大小 1 MB
項目總大小 5 MB
項目中的層面數量上限 10,000
項目類型、層面類型和項目群組的顯示名稱長度 256
項目類型、切面類型和項目群組的說明長度 1024
切面類型範本中的欄位名稱長度 63
項目類型中必要切面類型的數量上限 20
面向類型範本中的列舉值數量上限 1024
Knowledge Catalog 搜尋結果中的項目數量上限 500 ( Google Cloud 控制台中的僅限關鍵字搜尋模式或semanticSearch=false使用 API 時)

100 (所有其他搜尋案例)
每個專案在每個區域的資料掃描次數上限 1000
每個專案在每個區域的資料產品數量上限 50
每個資料產品的資料資產數量上限 10