配額與限制

這份文件列出 Knowledge Catalog (舊稱 Dataplex Universal Catalog) 適用的配額。

Google Cloud 使用配額來確保公平性,並減少資源使用量和可用性出現劇烈波動的情況。配額會限制 Google Cloud 專案可使用的Google Cloud 資源數量,且適用多種資源類型,包括軟硬體和網路元件。舉例來說,配額可能會限制能向特定服務發出的 API 呼叫次數、專案可同時使用的負載平衡器數量,或是可建立的專案數量。配額機制可防止服務過載,保障Google Cloud 使用者社群的權益,同時也有助於您管理自己的 Google Cloud 資源。

Cloud Quotas 系統具備以下功能:

如果嘗試使用的資源量超過配額限制,系統通常會阻擋該資源的存取活動,您所執行的工作就會失敗。

配額的計算通常是以 Google Cloud 專案為基準。在某個專案中使用資源,不會影響另一個專案的可用配額。在同一個 Google Cloud 專案內,所有應用程式和 IP 位址會共用配額。

詳情請參閱「Cloud Quotas 總覽」。

Knowledge Catalog 資源也有「系統限制」, 而且無法變更。

Knowledge Catalog 會對特定時間範圍內的 API 要求數量,以及專案中可建立的資源數量強制執行配額。配額可避免用量突然暴增,以及服務過載的情況,進一步瞭解配額強制執行的原因。

隨著您使用 Knowledge Catalog 的次數增加,配額需求可能會隨之提高。 如果配額太低而無法滿足需求,或是預期用量即將增加,可以主動申請提高配額。

瞭解 API 要求類型

各種 Knowledge Catalog 功能 (例如資源管理、中繼資料、工作和資料掃描) 的 API 要求會歸入一般類別,以管理服務用量和保護措施。

讀取要求數

讀取要求是專門用來擷取現有資源、中繼資料或執行記錄相關資訊的作業,不會修改任何設定或狀態。這些作業不會變動資料,也不會觸發新的處理作業。

讀取要求作業包括 Get、List 和 Describe。舉例來說,查看資料掃描的定義或掃描工作的狀態,就是讀取要求。

寫入要求數

寫入要求包括建立、更新或刪除資源定義的所有作業,以及修改安全性政策的作業。這些作業會變更環境的狀態。

寫入要求作業包括 Create、Update、Delete、Cancel 和 SetIamPolicy。舉例來說,設定資料品質掃描或更新現有的資料剖析掃描,都屬於寫入要求。

執行要求

執行要求是指觸發預先設定資源的有效執行作業。與寫入要求 (可能會建立週期性排程) 不同,執行要求通常用於隨選執行設定的邏輯。

舉例來說,手動啟動資料掃描執行作業就是執行要求。

Dataplex API 要求的配額

無論來源為何,Dataplex API 都會對不同層級的 Knowledge Catalog 資源管理和搜尋要求強制執行配額。包括直接透過 API 呼叫、用戶端程式庫、Google Cloud CLI 和 Google Cloud 控制台提出的要求。

下列配額適用於 Knowledge Catalog 請求:

配額 預設
每項專案每分鐘每個區域的項目和層面讀取要求數 6000
每項專案每分鐘每個區域的項目和層面寫入要求 1500
每位使用者每項專案每分鐘的切面類型、項目類型和項目群組讀取要求數 100
每項專案每分鐘的切面類型、項目類型和項目群組讀取要求數 200
每位使用者每項專案每分鐘的切面類型、項目類型和項目群組寫入要求數 10
每項專案每分鐘的切面類型、項目類型和項目群組寫入要求數 20
每位使用者每項專案每分鐘的搜尋要求數 900
每項專案每分鐘的搜尋要求數 1200
每個機構每分鐘的搜尋要求數 2400
每個機構的每日搜尋要求數 345600
每項專案每分鐘每個區域的中繼資料工作讀取要求數 400
每位使用者每項專案每分鐘在每個區域的中繼資料工作讀取要求數 200
每項專案每分鐘每個區域的中繼資料工作寫入要求數 20
每位使用者每項專案每分鐘每個區域的中繼資料工作寫入要求數 10
每項專案每分鐘每個區域的資料掃描讀取要求數 1200
每位使用者每項專案每分鐘每個區域的資料掃描讀取要求數 600
每項專案每分鐘每個區域的資料掃描寫入要求數 200
每位使用者每項專案每分鐘每個區域的資料掃描寫入要求數 100
每項專案每分鐘可對每個區域執行資料掃描要求 60
每位使用者每項專案每分鐘每個區域的資料掃描要求數 30
每個專案每天對 BigQuery 物件資料表中的非結構化資料執行資料剖析掃描的總次數 140
每天每個機構透過中繼資料匯出作業匯出的中繼資料量 10 GB

中繼資料匯出作業每天為每個機構掃描並匯出的中繼資料量

這項配額會評估機構、專案或中繼資料匯出工作範圍內的項目群組中,現有的中繼資料總量。

100 GB

下表列出的每項 Knowledge Catalog 要求,都會在每個專案和每個專案的每個使用者層級強制執行配額。

配額 範例
讀取資源管理要求 取得湖泊、列出儲存區
資源管理作業的寫入要求 建立湖泊、刪除資產
取得中繼資料要求 取得實體、取得分割區
列出中繼資料要求 列出實體、列出分割區
中繼資料的寫入要求 更新實體、刪除分割區
讀取工作和作業資源的要求 取得工作、列出工作
撰寫工作和作業資源的要求 建立工作、取消工作
設定 IAM 政策要求 設定 IAM 政策

Data Lineage API 要求的配額

Data Lineage API 會對下列項目強制執行配額:

  • 僅傳回資料的讀取要求
  • 編寫建立或變更資料的要求
  • 建立 Open Lineage

下列配額適用於資料歷程要求:

配額 預設值
每位使用者每項專案每分鐘每個區域的讀取要求數 1000
每位使用者每項專案每分鐘每個區域的寫入要求數 6000
每位使用者每項專案每分鐘在每個區域的 Open Lineage 要求數 3000

Products API 要求的配額

Dataplex API 會對資料產品和資料資產的中繼資料作業和生命週期要求,強制執行頻率限制。無論要求是來自 Google Cloud 控制台、Google Cloud CLI、用戶端程式庫或直接 API 呼叫,都會受到這些限制。

下列配額適用於資料產品和資料資產要求:

配額 預設值
每項專案每分鐘每個區域的資料產品讀取要求數 500
每位使用者每項專案每分鐘每個區域的資料產品讀取要求數 250
每項專案每分鐘每個區域的資料產品建立和刪除要求 250
每位使用者每項專案每分鐘每個區域的資料產品建立和刪除要求數 125
每項專案每分鐘的資料產品更新要求數 10
每位使用者每項專案每分鐘的資料產品更新要求數 5
每項專案每分鐘每個區域的資料資產讀取要求數 500
每位使用者每項專案每分鐘每個區域的資料資產讀取要求數 250
每項專案每分鐘每個區域的資料資產寫入要求數 30
每位使用者每項專案每分鐘每個區域的資料資產寫入要求數 15

資源配額

系統會針對下列資源類型,在每個專案層級強制執行資源配額:湖泊、區域、資產、隨選工作、週期性工作。如要查看目前的 Knowledge Catalog 配額用量,請前往 Google Cloud 控制台的「配額」頁面。

申請提高配額

  1. 前往 Google Cloud 控制台的「Quotas」(配額) 頁面。

    前往配額頁面

  2. 選取要修改的配額。

  3. 依序點選「更多動作」>「編輯配額」。

  4. 輸入新的配額值和要求說明。

  5. 點選「下一步」。

  6. 輸入聯絡資料。

  7. 按一下 [提交要求]。

如要調整大部分配額,請使用 Google Cloud 控制台。詳情請參閱「要求調整配額」。

配額依附元件

使用 Knowledge Catalog 時,可能需要用到其他 Google Cloud 產品。 舉例來說,資料探索需要叫用 Cloud Storage 或 BigQuery API,才能與基礎資源互動。這些產品都有專案層級配額,其中也包括適用於 Knowledge Catalog 用量的配額。

您可能與 Knowledge Catalog 一併使用的其他產品配額頁面:

請注意,這份清單中僅列出部分示例。

限制

Knowledge Catalog 設有以下限制:

限制 值
項目和層面 (包括結構定義層面) 的要求大小 2 MB
項目 ID 長度 4,000 個字元
項目中完整名稱的長度 4,000 個字元
項目中項目來源顯示名稱的長度 500 個字元
項目中項目來源說明的長度 2000 個半形字元
項目中項目來源資源的長度 4,000 個字元
項目來源系統中的項目長度 64 個半形字元
項目來源平台在項目中的長度 64 個半形字元
項目中項目來源標籤的長度 每個鍵和值最多 128 個字元
某個層面 (結構定義和資料設定檔層面除外) 的 JSON 內容大小 120 KB
資料設定檔層面中 JSON 內容的大小 1 MB
項目總大小 5 MB
單一項目中的層面數量上限 10,000
項目類型、切面類型和項目群組的顯示名稱長度 256
項目類型、切面類型和項目群組的說明長度 1024
切面類型範本中的欄位名稱長度 63
項目類型中必要切面類型的數量上限 20
切面類型範本中的列舉值數量上限 1024
Knowledge Catalog 搜尋結果中的項目數量上限 500 ( Google Cloud 控制台中的僅限關鍵字搜尋模式或使用 API 時semanticSearch=false)

100 (所有其他搜尋案例)
每個專案在每個區域的資料掃描次數上限 1000
每個專案在每個區域的資料產品數量上限 200
每個資料產品的資料資產數量上限 50
每個分類的政策標記數量上限 100