本文列出 Dataplex Universal Catalog 適用的配額。
Google Cloud 使用配額來確保公平性,並減少資源使用量和可用性出現劇烈波動的情況。配額會限制 Google Cloud 專案可使用的Google Cloud 資源數量,且適用多種資源類型,包括軟硬體和網路元件。舉例來說,配額可能會限制能向特定服務發出的 API 呼叫次數、專案可同時使用的負載平衡器數量,或是可建立的專案數量。配額機制可防止服務過載,保障Google Cloud 使用者社群的權益,同時也有助於您管理自己的 Google Cloud 資源。
Cloud Quotas 系統具備以下功能:
如果嘗試使用的資源量超過配額限制,系統通常會阻擋該資源的存取活動,您所執行的工作就會失敗。
配額的計算通常是以 Google Cloud 專案為基準。在某個專案中使用資源,不會影響另一個專案的可用配額。在同一個 Google Cloud 專案內,所有應用程式和 IP 位址會共用配額。
詳情請參閱「Cloud Quotas 總覽」。
Dataplex Universal Catalog 資源也有「系統限制」, 而且無法變更。
Dataplex Universal Catalog 會對特定時間內的 API 要求數量,以及專案中可建立的資源數量強制執行配額。配額可防止用量意外暴增,以及服務過載。進一步瞭解配額強制執行的原因。
您越常使用 Dataplex Universal Catalog,可能就需要更多配額。 如果配額太低,不敷使用,或預期用量會攀升,可以主動申請提高配額。
Dataplex API 要求配額
Dataplex API 會針對不同層級的 Dataplex Universal Catalog 資源管理和搜尋要求強制執行配額,無論這些要求來自何處。包括直接透過 API 呼叫、用戶端程式庫、Google Cloud CLI 和 Google Cloud 控制台發出的要求。
Dataplex Universal Catalog 要求適用下列配額規定:
| 配額 | 預設 |
|---|---|
| 每個專案、每個區域每分鐘的項目和層面讀取要求數 | 6000 |
| 每個專案、每個區域每分鐘的項目和層面寫入要求數 | 1500 |
| 每個專案、每位使用者每分鐘的切面類型、項目類型和項目群組讀取要求數 | 100 |
| 每項專案每分鐘的切面類型、項目類型和項目群組讀取要求數 | 200 |
| 每位使用者每分鐘每個專案的切面類型、項目類型和項目群組寫入要求數 | 10 |
| 每項專案每分鐘的切面類型、項目類型和項目群組寫入要求數 | 20 |
| 每位使用者每項專案每分鐘的搜尋要求數 | 900 |
| 每項專案每分鐘的搜尋要求數 | 1200 |
| 每分鐘每個機構的搜尋要求數 | 2400 |
| 每個機構的每日搜尋要求數 | 345600 |
| 每個專案、每個地區每分鐘的中繼資料作業讀取要求數 | 400 |
| 每位使用者每分鐘每個地區每個專案的中繼資料工作讀取要求數 | 200 |
| 每個專案、每個區域每分鐘的中繼資料工作寫入要求數 | 20 |
| 每位使用者每分鐘在每個地區的每個專案中,對中繼資料工作提出的寫入要求數 | 10 |
| 每天每個機構透過中繼資料匯出工作匯出的中繼資料量 | 10 GB |
|
中繼資料匯出工作每天為每個機構掃描並匯出的中繼資料量 這項配額會評估機構、專案或項目群組中,中繼資料匯出工作範圍內的中繼資料總量。 |
100 GB |
下表列出的每項 Dataplex Universal Catalog 要求,都會在每項專案和每項專案每位使用者層級強制執行配額。
| 配額 | 範例 |
|---|---|
| 資源管理的讀取要求 | 取得湖泊、列出儲存區 |
| 資源管理的寫入要求 | 建立湖泊、刪除資產 |
| 取得中繼資料要求 | 取得實體、取得分割區 |
| 列出中繼資料要求 | 列出實體、列出分割區 |
| 中繼資料的寫入要求 | 更新實體、刪除分區 |
| 讀取工作和作業資源的要求 | 取得工作、列出工作 |
| 工作和作業資源的寫入要求 | 建立工作、取消工作 |
| 設定 IAM 政策要求 | 設定 IAM 政策 |
Data Lineage API 要求配額
Data Lineage API 會對下列項目強制執行配額:
- 僅傳回資料的讀取要求
- 撰寫建立或變更資料的要求
- 建立 Open Lineage
資料沿襲要求適用下列配額規定:
| 配額 | 預設值 |
|---|---|
| 每位使用者每分鐘在每個區域的每項專案讀取要求數 | 1000 |
| 每個專案、每位使用者、每個地區每分鐘的寫入要求數 | 6000 |
| 每位使用者每項專案每分鐘在每個區域的 Open Lineage 要求數 | 3000 |
資源配額
系統會針對下列資源類型,在專案層級強制執行資源配額:湖泊、區域、資產、隨選工作、週期性工作。如要查看 Dataplex Universal Catalog 配額的目前使用情況,請前往 Google Cloud 控制台的「配額」頁面。
申請提高配額
前往 Google Cloud 控制台的「Quotas」(配額) 頁面。
選取要修改的配額。
依序點選「更多動作」>「編輯配額」。
輸入新的配額值和要求說明。
點選「下一步」。
輸入聯絡資料。
按一下 [提交要求]。
如要調整大部分配額,請使用 Google Cloud 控制台。詳情請參閱「要求調整配額」。
配額依附元件
您使用 Dataplex Universal Catalog 時,可能也會用到其他 Google Cloud 產品。 舉例來說,資料探索需要叫用 Cloud Storage 和/或 BigQuery API,才能與基礎資源互動。這些產品都有專案層級配額,其中也包括適用於 Dataplex Universal Catalog 使用情況的配額。
您可能會與 Dataplex Universal Catalog 一併使用的其他產品配額頁面:
請注意,這份清單僅列出部分示例。
限制
下列限制適用於 Dataplex Universal Catalog:
| 限制 | 值 |
|---|---|
| 項目和層面 (包括結構定義層面) 的要求大小 | 2 MB |
| 項目 ID 長度 | 4,000 個字元 |
| 項目中完整名稱的長度 | 4,000 個字元 |
| 項目中項目來源顯示名稱的長度 | 500 個字元 |
| 項目中進入來源說明的長度 | 2000 個半形字元 |
| 項目中項目來源資源的長度 | 4,000 個字元 |
| 項目中項目來源系統的長度 | 64 個半形字元 |
| 項目中項目來源平台的長度 | 64 個半形字元 |
| 項目中項目來源標籤的長度 | 每個鍵和值最多 128 個字元 |
| 某個層面 (結構定義層面除外) 的 JSON 內容大小 | 120 KB |
| 項目總大小 | 5 MB |
| 項目中的層面數量上限 | 10,000 |
| 項目類型、層面類型和項目群組的顯示名稱長度 | 256 |
| 項目類型、切面類型和項目群組的說明長度 | 1024 |
| 切面類型範本中的欄位名稱長度 | 63 |
| 項目類型中必要切面類型的數量上限 | 20 |
| 面向類型範本中的列舉值數量上限 | 1024 |
| Dataplex Universal Catalog 搜尋結果中的項目數量上限 | 500 |