無邊界 Lakehouse 的配額和系統限制

這份文件列出 Lakehouse 適用的配額和系統限制。

  • 「配額」有預設值，但通常可以申請調整。
  • 「系統限制」是固定值，無法變更。

Google Cloud 使用配額來確保公平性，並減少資源使用量和可用性出現劇烈波動的情況。配額會限制 Google Cloud 專案可使用的Google Cloud 資源數量，且適用多種資源類型，包括軟硬體和網路元件。舉例來說，配額可能會限制能向特定服務發出的 API 呼叫次數、專案可同時使用的負載平衡器數量，或是可建立的專案數量。配額機制可防止服務過載，保障Google Cloud 使用者社群的權益，同時也有助於您管理自己的 Google Cloud 資源。

Cloud Quotas 系統具備以下功能：

如果嘗試使用的資源量超過配額限制，系統通常會阻擋該資源的存取活動，您所執行的工作就會失敗。

配額的計算通常是以 Google Cloud 專案為基準。在某個專案中使用資源，不會影響另一個專案的可用配額。在同一個 Google Cloud 專案內，所有應用程式和 IP 位址會共用配額。

詳情請參閱「Cloud Quotas 總覽」。

Lakehouse 資源也有「系統限制」，而且無法變更。

取得配額和系統限制指標名稱

配額和系統限制有兩種名稱：顯示名稱和指標名稱。顯示名稱包含空格和大小寫，方便使用者閱讀。指標名稱通常會採用小寫格式，並以底線分隔，而非空格；確切格式取決於服務。

下列操作說明將示範如何使用 Google Cloud 控制台或 Google Cloud CLI，取得配額和系統限制的指標名稱。

控制台

  1. 在 Google Cloud 控制台，依序前往 「Identity and Access Management (IAM) & Admin」(身分與存取權管理 (IAM) 與管理) > 「Quotas & System Limits」(配額與系統限制) 頁面：

    前往「配額與系統限制」頁面

    本頁面的表格會顯示用量或調整過值的配額和系統限制，以及其他配額的參考項目。參考項目在「名稱」欄的結尾會以括號標示「預設」一詞。舉例來說，SetIAM Policy requests per minute per region (default) 是配額 SetIamPolicyRequestsPerMinutePerProject 的參照項目。

  2. 如果沒有看到「指標」欄，請按照下列步驟操作。

    1. 按一下「資料欄顯示選項」。
    2. 選取「指標」。
    3. 按一下 [確定]。表格中會顯示「指標」欄。

    「指標」欄會顯示指標名稱。如要篩選結果，請在「篩選」 旁的欄位中輸入屬性名稱或值。

gcloud

如要使用 gcloud CLI 取得服務的指標名稱，請執行 quotas info list 指令。如要略過未列出指標名稱的行，請將輸出內容傳遞至 grep 等指令，並以 metric: 做為搜尋字詞，或使用 gcloud CLI --format 標記：

gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
    --service=SERVICE_NAME --format="value(metric)"

更改下列內容：

  • PROJECT_ID_OR_NUMBER：專案 ID 或專案編號。
  • SERVICE_NAME：您要查看配額指標的服務名稱，例如 Compute Engine 的服務名稱為 compute.googleapis.com。請加入服務名稱的 googleapis.com 部分。

申請提高配額

如要調整大部分配額，請使用 Google Cloud 控制台。詳情請參閱「要求調整配額」。

配額

Lakehouse 適用下列配額規定：

Lakehouse 執行階段目錄

Lakehouse 執行階段目錄有以下限制：

限制 預設 附註
每日資料表修改次數 1,500 項修改

每個專案每天最多可修改每個資料表 1,500 次。 載入工作、複製工作或 查詢工作，只要附加或覆寫資料表資料，都算是一次資料表修改作業。這個限制無法變更。

DML 陳述式不計入每日資料表修改次數。

系統會排除串流資料，且不會計入每日資料表修改次數。
每個資料表的資料表中繼資料更新作業頻率上限 每 10 秒 5 項作業 每個資料表每 10 秒最多可進行五項資料表中繼資料更新作業。這項限制適用於下列項目執行的所有資料表中繼資料更新作業： 這項限制也包括下列所有工作：將資料附加至目的地資料表、覆寫目的地資料表，或是使用 DML DELETE、INSERT、MERGE、TRUNCATE TABLE 或 UPDATE 陳述式將資料寫入資料表。請注意，雖然 DML 陳述式會計入這項限制，但達到限制後不會受到限制。DML 作業有專屬的速率限制。

如果超過這項限制，系統會顯示類似 Exceeded rate limits: too many table update operations for this table的錯誤訊息。 這是暫時性錯誤，您可以透過指數輪詢重試。

如要找出計入這項限制的作業，可以 檢查記錄檔。如要瞭解如何診斷及解決這項錯誤，請參閱「排解配額錯誤」。

每個資料表的欄數上限 10,000 個資料欄 每個資料表、查詢結果或檢視表定義最多可有 10,000 個資料欄。包括巢狀和重複資料欄。

跨雲端資料存取

配額 值
聯盟目錄中的命名空間總數上限 100 個命名空間
聯邦目錄中每個命名空間的資料表數量上限 每個命名空間 300 個資料表
聯邦目錄中的資料表總數上限 10,000 個表格
聯盟目錄中的命名空間篩選器數量上限 16 個命名空間篩選器

系統限制

下表列出適用於 Lakehouse 的系統限制，以及各項系統限制的值：

系統限制 值
探索掃描支援的每個 Cloud Storage bucket，Lakehouse 管理的 Apache Iceberg 資料表數量上限 每個 bucket 1,000 個資料表