配額與限制

本文列出 Dataplex Universal Catalog 適用的配額

Google Cloud 使用配額來確保公平性,並減少資源使用量和可用性出現劇烈波動的情況。配額會限制 Google Cloud 專案可使用的Google Cloud 資源數量,且適用多種資源類型,包括軟硬體和網路元件。舉例來說,配額可能會限制能向特定服務發出的 API 呼叫次數、專案可同時使用的負載平衡器數量,或是可建立的專案數量。配額機制可防止服務過載,保障Google Cloud 使用者社群的權益,同時也有助於您管理自己的 Google Cloud 資源。

Cloud Quotas 系統具備以下功能:

如果嘗試使用的資源量超過配額限制,系統通常會阻擋該資源的存取活動,您所執行的工作就會失敗。

配額的計算通常是以 Google Cloud 專案為基準。在某個專案中使用資源,不會影響另一個專案的可用配額。在同一個 Google Cloud 專案內,所有應用程式和 IP 位址會共用配額。

詳情請參閱「Cloud Quotas 總覽」。

Dataplex Universal Catalog 資源也有「系統限制」, 而且無法變更。

Dataplex Universal Catalog 會對特定時間內的 API 要求數量,以及專案中可建立的資源數量強制執行配額。配額可防止用量意外暴增,以及服務過載。進一步瞭解配額強制執行的原因

您越常使用 Dataplex Universal Catalog,可能就需要更多配額。 如果配額太低,不敷使用,或預期用量會攀升,可以主動申請提高配額

Dataplex API 要求配額

Dataplex API 會針對不同層級的 Dataplex Universal Catalog 資源管理和搜尋要求強制執行配額,無論這些要求來自何處。包括直接透過 API 呼叫、用戶端程式庫、Google Cloud CLI 和 Google Cloud 控制台發出的要求。

Dataplex Universal Catalog 要求適用下列配額規定:

配額 預設
每個專案、每個區域每分鐘的項目和層面讀取要求數 6000
每個專案、每個區域每分鐘的項目和層面寫入要求數 1500
每個專案、每位使用者每分鐘的切面類型、項目類型和項目群組讀取要求數 100
每項專案每分鐘的切面類型、項目類型和項目群組讀取要求數 200
每位使用者每分鐘每個專案的切面類型、項目類型和項目群組寫入要求數 10
每項專案每分鐘的切面類型、項目類型和項目群組寫入要求數 20
每位使用者每項專案每分鐘的搜尋要求數 900
每項專案每分鐘的搜尋要求數 1200
每分鐘每個機構的搜尋要求數 2400
每個機構的每日搜尋要求數 345600
每個專案、每個地區每分鐘的中繼資料作業讀取要求數 400
每位使用者每分鐘每個地區每個專案的中繼資料工作讀取要求數 200
每個專案、每個區域每分鐘的中繼資料工作寫入要求數 20
每位使用者每分鐘在每個地區的每個專案中,對中繼資料工作提出的寫入要求數 10
每天每個機構透過中繼資料匯出工作匯出的中繼資料量 10 GB

中繼資料匯出工作每天為每個機構掃描並匯出的中繼資料量

這項配額會評估機構、專案或項目群組中,中繼資料匯出工作範圍內的中繼資料總量。

100 GB

下表列出的每項 Dataplex Universal Catalog 要求,都會在每項專案和每項專案每位使用者層級強制執行配額。

配額 範例
資源管理的讀取要求 取得湖泊、列出儲存區
資源管理的寫入要求 建立湖泊、刪除資產
取得中繼資料要求 取得實體、取得分割區
列出中繼資料要求 列出實體、列出分割區
中繼資料的寫入要求 更新實體、刪除分區
讀取工作和作業資源的要求 取得工作、列出工作
工作和作業資源的寫入要求 建立工作、取消工作
設定 IAM 政策要求 設定 IAM 政策

Data Lineage API 要求配額

Data Lineage API 會對下列項目強制執行配額:

  • 僅傳回資料的讀取要求
  • 撰寫建立或變更資料的要求
  • 建立 Open Lineage

資料沿襲要求適用下列配額規定:

配額 預設值
每位使用者每分鐘在每個區域的每項專案讀取要求數 1000
每個專案、每位使用者、每個地區每分鐘的寫入要求數 6000
每位使用者每項專案每分鐘在每個區域的 Open Lineage 要求數 3000

資源配額

系統會針對下列資源類型,在專案層級強制執行資源配額:湖泊、區域、資產、隨選工作、週期性工作。如要查看 Dataplex Universal Catalog 配額的目前使用情況,請前往 Google Cloud 控制台的「配額」頁面。

申請提高配額

  1. 前往 Google Cloud 控制台的「Quotas」(配額) 頁面。

    前往配額頁面

  2. 選取要修改的配額。

  3. 依序點選「更多動作」>「編輯配額」

  4. 輸入新的配額值和要求說明。

  5. 點選「下一步」

  6. 輸入聯絡資料。

  7. 按一下 [提交要求]

如要調整大部分配額,請使用 Google Cloud 控制台。詳情請參閱「要求調整配額」。

配額依附元件

您使用 Dataplex Universal Catalog 時,可能也會用到其他 Google Cloud 產品。 舉例來說,資料探索需要叫用 Cloud Storage 和/或 BigQuery API,才能與基礎資源互動。這些產品都有專案層級配額,其中也包括適用於 Dataplex Universal Catalog 使用情況的配額。

您可能會與 Dataplex Universal Catalog 一併使用的其他產品配額頁面:

請注意,這份清單僅列出部分示例。

限制

下列限制適用於 Dataplex Universal Catalog:

限制
項目和層面 (包括結構定義層面) 的要求大小 2 MB
項目 ID 長度 4,000 個字元
項目中完整名稱的長度 4,000 個字元
項目中項目來源顯示名稱的長度 500 個字元
項目中進入來源說明的長度 2000 個半形字元
項目中項目來源資源的長度 4,000 個字元
項目中項目來源系統的長度 64 個半形字元
項目中項目來源平台的長度 64 個半形字元
項目中項目來源標籤的長度 每個鍵和值最多 128 個字元
某個層面 (結構定義層面除外) 的 JSON 內容大小 120 KB
項目總大小 5 MB
項目中的層面數量上限 10,000
項目類型、層面類型和項目群組的顯示名稱長度 256
項目類型、切面類型和項目群組的說明長度 1024
切面類型範本中的欄位名稱長度 63
項目類型中必要切面類型的數量上限 20
面向類型範本中的列舉值數量上限 1024
Dataplex Universal Catalog 搜尋結果中的項目數量上限 500