無邊界 Lakehouse 的配額和系統限制

Borderless Lakehouse 資源設有可設定的配額和固定的系統限制,有助於控管資源消耗量及維持服務穩定性。「配額」設定基準分配量,您可以要求提高配額或使用配額調整工具來調整配額,而「系統限制」則是固定的作業門檻,無法變更。

如要瞭解配額在 Google Cloud 專案層級的運作方式,以及如何追蹤用量,請參閱「Cloud Quotas 總覽」。

取得配額和系統限制指標名稱

配額和系統限制有兩種名稱:顯示名稱和指標名稱。顯示名稱包含空格和大小寫,方便使用者閱讀。指標名稱通常會使用小寫,並以底線 (而非空格) 分隔,確切格式取決於服務。

下列操作說明說明如何使用 Google Cloud 控制台或 Google Cloud CLI,取得配額和系統限制的指標名稱。

控制台

  1. 在 Google Cloud 控制台,依序前往 「Identity and Access Management (IAM) & Admin」(身分與存取權管理 (IAM) 與管理) > 「Quotas & System Limits」(配額與系統限制) 頁面:

    前往「Quotas & System Limits」(配額與系統限制)

    本頁面的表格會顯示有使用量或調整值的配額和系統限制,以及其他配額的參考項目。參考項目的「Name」(名稱) 欄結尾會顯示「default」字樣。例如,SetIAM Policy requests per minute per region (default) 是配額 SetIamPolicyRequestsPerMinutePerProject 的參考項目。

  2. 如果沒有看到「指標」欄,請按照下列步驟操作。

    1. 按一下「資料欄顯示選項」。
    2. 選取「公制」。
    3. 按一下 [確定]。表格中會顯示「指標」欄。

    「Metric」欄會顯示指標名稱。如要篩選結果,請在「 Filter」(篩選器) 旁的欄位中輸入屬性名稱或值。

gcloud

如要使用 gcloud CLI 取得服務的指標名稱,請執行 quotas info list 指令。如要略過未列出指標名稱的行,請將輸出內容傳遞至 grep 等指令,並以 metric: 做為搜尋字詞,或使用 gcloud CLI --format 旗標:

gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
    --service=SERVICE_NAME --format="value(metric)"

更改下列內容:

  • PROJECT_ID_OR_NUMBER:專案 ID 或專案編號。
  • SERVICE_NAME:要查看配額指標的服務名稱,例如 Compute Engine 的服務名稱為 compute.googleapis.com。請務必加入服務名稱的 googleapis.com 部分。

申請提高配額

如要調整大部分配額,請使用 Google Cloud 控制台。詳情請參閱「要求調整配額」。

配額

Lakehouse 的配額如下:

Lakehouse 執行階段目錄

Lakehouse 執行階段目錄有下列限制:

限制 預設 附註
每天的資料表修改次數 1,500 項修改

每項專案每天最多可對每個資料表進行 1,500 次修改。 附加或覆寫資料表資料的載入工作、複製工作或 查詢工作,會計為對資料表進行一次修改。這個限制無法變更。

DML 陳述式不包含在內,不會計入每日資料表修改次數。

串流資料不計入每日資料表修改次數。

每個資料表的資料表中繼資料更新作業頻率上限 每 10 秒 5 項作業 每項專案每 10 秒最多可對每個資料表執行五項資料表中繼資料更新作業。這項限制適用於所有資料表中繼資料更新作業,包括: 這項限制也包含所有載入工作、複製工作和查詢工作的總和,這些工作會附加或覆寫目的地資料表,或使用 DML DELETE、INSERT、MERGE、TRUNCATE TABLE 或 UPDATE 陳述式將資料寫入資料表。請注意,雖然 DML 陳述式會計入這項限制,但達到限制時不會受到影響。DML 作業有專屬頻率限制。

如果超過這項限制,就會收到 Exceeded rate limits: too many table update operations for this table 等錯誤訊息。這是暫時性錯誤,您可以採用指數輪詢重試策略。

如要找出計入這項限制的作業,請 檢查記錄。如要瞭解如何診斷及解決這項錯誤,請參閱「排解配額錯誤」。

每個資料表的資料欄數量上限 10,000 欄 每個資料表、查詢結果或檢視表定義最多可有 10,000 欄。包括巢狀和重複的資料欄。

跨雲端資料存取

配額 值
聯合目錄中的命名空間總數上限 100 個命名空間
聯合目錄中每個命名空間的資料表數量上限 每個命名空間 300 個資料表
聯合目錄中的資料表總數上限 10,000 個資料表
聯合目錄中的命名空間篩選器數量上限 16 個命名空間篩選器

系統限制

下表列出 Lakehouse 的系統限制,以及各項限制的值:

系統限制 值
探索掃描支援的每個 Cloud Storage bucket 中,由 Lakehouse 管理的 Apache Iceberg 資料表數量上限 每個 bucket 1,000 個資料表