無邊界 Lakehouse 的配額和系統限制

Borderless Lakehouse 資源設有可設定的配額和固定的系統限制，有助於控管資源消耗量及維持服務穩定性。「配額」設定基準分配量，您可以要求提高配額或使用配額調整工具來調整，而「系統限制」則是固定的作業門檻，無法變更。

如要瞭解配額在 Google Cloud 專案層級的運作方式，以及如何追蹤用量，請參閱「Cloud Quotas 總覽」。

取得配額和系統限制指標名稱

配額和系統限制有兩種名稱：顯示名稱和指標名稱。顯示名稱含有空格和大寫字母，方便使用者閱讀。指標名稱通常會使用小寫字母，並以底線 (而非空格) 分隔，確切格式取決於服務。

下列操作說明說明如何使用 Google Cloud 控制台或 Google Cloud CLI，取得配額和系統限制的指標名稱。

控制台

  1. 在 Google Cloud 控制台，依序前往 「Identity and Access Management (IAM) & Admin」(身分與存取權管理 (IAM) 與管理) > 「Quotas & System Limits」(配額與系統限制) 頁面：

    前往「Quotas & System Limits」(配額與系統限制)

    本頁面的表格會顯示有使用量或調整值的配額和系統限制，以及其他配額的參考項目。參考項目的「Name」欄結尾會顯示「default」字樣。例如，SetIAM Policy requests per minute per region (default) 是配額 SetIamPolicyRequestsPerMinutePerProject 的參考項目。

  2. 如果沒有看到「指標」欄，請按照下列步驟操作。

    1. 按一下「資料欄顯示選項」圖示 。
    2. 選取「公制」。
    3. 按一下 [確定]。表格中會顯示「指標」欄。

    「指標」欄會顯示指標名稱。如要篩選結果，請在「 Filter」(篩選器) 旁的欄位中輸入屬性名稱或值。

gcloud

如要使用 gcloud CLI 取得服務的指標名稱，請執行 quotas info list 指令。如要略過未列出指標名稱的行，請將輸出內容傳遞至 grep 等指令，並以 metric: 做為搜尋字詞，或使用 gcloud CLI --format 旗標：

gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
    --service=SERVICE_NAME --format="value(metric)"

更改下列內容：

  • PROJECT_ID_OR_NUMBER：專案 ID 或專案編號。
  • SERVICE_NAME：要查看配額指標的服務名稱，例如 Compute Engine 的服務名稱為 compute.googleapis.com。請務必加入服務名稱的 googleapis.com 部分。

申請提高配額

如要調整大部分配額，請使用 Google Cloud 控制台。詳情請參閱「要求調整配額」。

如果無法在 Google Cloud 控制台調整配額，請傳送電子郵件至 biglake-help@google.com。

配額

Lakehouse 的配額如下：

Lakehouse 執行階段目錄

Lakehouse 執行階段目錄適用下列配額：

限制 預設 附註
每天的資料表修改次數 1,500 項修改

每項專案每天最多可對每個資料表進行 1,500 次修改。 附加或覆寫資料表資料的載入工作、複製工作或 查詢工作，會計為對資料表進行一次修改。這個限制無法變更。

DML 陳述式不計入每日資料表修改次數。

串流資料不計入每日資料表修改次數。
每個資料表的資料表中繼資料更新作業頻率上限 每 10 秒 5 項作業 每項專案每 10 秒最多可對每個資料表執行五項資料表中繼資料更新作業。這項限制適用於所有資料表中繼資料更新作業，包括： 這項限制也包含所有載入工作、複製工作和查詢工作的總和，這些工作會附加或覆寫目的地資料表，或使用 DML DELETE、INSERT、MERGE、TRUNCATE TABLE 或 UPDATE 陳述式將資料寫入資料表。請注意，雖然 DML 陳述式會計入這項限制，但達到限制時不會受到限制。DML 作業有專屬頻率限制。

如果超過這項限制，您會收到類似 Exceeded rate limits: too many table update operations for this table 的錯誤訊息。這是暫時性錯誤，您可以採用指數輪詢重試策略。

如要找出計入這項限制的作業，請 檢查記錄。如要瞭解如何診斷及解決這項錯誤，請參閱「排解配額錯誤」。
每個資料表的資料欄數量上限 10,000 欄 每個資料表、查詢結果或檢視表定義最多可有 10,000 個資料欄。包括巢狀和重複的資料欄。

跨雲端資料存取

配額 值
聯合目錄中的命名空間總數上限 100 個命名空間
聯合目錄中每個命名空間的資料表數量上限 每個命名空間 300 個資料表
聯合目錄中的命名空間篩選器數量上限 16 個命名空間篩選器

系統限制

Lakehouse 適用下列系統限制：

Lakehouse 執行階段目錄

Lakehouse 執行階段目錄有下列系統限制：

系統限制 值
探索掃描支援的每個 Cloud Storage bucket 中，由 Lakehouse 管理的 Apache Iceberg 資料表數量上限 每個 bucket 1,000 個資料表