Borderless Lakehouse 資源設有可設定的配額和固定的系統限制,有助於控管資源消耗量及維持服務穩定性。「配額」設定基準分配量,您可以要求提高配額或使用配額調整工具來調整配額,而「系統限制」則是固定的作業門檻,無法變更。
如要瞭解配額在 Google Cloud 專案層級的運作方式,以及如何追蹤用量,請參閱「Cloud Quotas 總覽」。
取得配額和系統限制指標名稱
配額和系統限制有兩種名稱:顯示名稱和指標名稱。顯示名稱包含空格和大小寫,方便使用者閱讀。指標名稱通常會使用小寫,並以底線 (而非空格) 分隔,確切格式取決於服務。
下列操作說明說明如何使用 Google Cloud 控制台或 Google Cloud CLI,取得配額和系統限制的指標名稱。
控制台
在 Google Cloud 控制台,依序前往 「Identity and Access Management (IAM) & Admin」(身分與存取權管理 (IAM) 與管理) > 「Quotas & System Limits」(配額與系統限制) 頁面:
前往「Quotas & System Limits」(配額與系統限制)
本頁面的表格會顯示有使用量或調整值的配額和系統限制,以及其他配額的參考項目。參考項目的「Name」(名稱) 欄結尾會顯示「default」字樣。例如,
SetIAM Policy requests per minute per region (default)是配額SetIamPolicyRequestsPerMinutePerProject的參考項目。如果沒有看到「指標」欄,請按照下列步驟操作。
- 按一下「資料欄顯示選項」。
- 選取「公制」。
- 按一下 [確定]。表格中會顯示「指標」欄。
「Metric」欄會顯示指標名稱。如要篩選結果,請在「 Filter」(篩選器) 旁的欄位中輸入屬性名稱或值。
gcloud
如要使用 gcloud CLI 取得服務的指標名稱,請執行 quotas info list 指令。如要略過未列出指標名稱的行,請將輸出內容傳遞至 grep 等指令,並以 metric: 做為搜尋字詞,或使用 gcloud CLI --format 旗標:
gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
--service=SERVICE_NAME --format="value(metric)"
更改下列內容:
PROJECT_ID_OR_NUMBER:專案 ID 或專案編號。SERVICE_NAME:要查看配額指標的服務名稱,例如 Compute Engine 的服務名稱為compute.googleapis.com。請務必加入服務名稱的googleapis.com部分。
申請提高配額
如要調整大部分配額,請使用 Google Cloud 控制台。詳情請參閱「要求調整配額」。
配額
Lakehouse 的配額如下:
Lakehouse 執行階段目錄
Lakehouse 執行階段目錄有下列限制:
| 限制 | 預設 | 附註 |
|---|---|---|
| 每天的資料表修改次數 | 1,500 項修改 | 每項專案每天最多可對每個資料表進行 1,500 次修改。 附加或覆寫資料表資料的載入工作、複製工作或 查詢工作,會計為對資料表進行一次修改。這個限制無法變更。 DML 陳述式不包含在內,不會計入每日資料表修改次數。 串流資料不計入每日資料表修改次數。 |
| 每個資料表的資料表中繼資料更新作業頻率上限 | 每 10 秒 5 項作業 |
每項專案每 10 秒最多可對每個資料表執行五項資料表中繼資料更新作業。這項限制適用於所有資料表中繼資料更新作業,包括:
DELETE、INSERT、MERGE、TRUNCATE TABLE 或 UPDATE 陳述式將資料寫入資料表。請注意,雖然 DML 陳述式會計入這項限制,但達到限制時不會受到影響。DML 作業有專屬頻率限制。
如果超過這項限制,就會收到 |
| 每個資料表的資料欄數量上限 | 10,000 欄 | 每個資料表、查詢結果或檢視表定義最多可有 10,000 欄。包括巢狀和重複的資料欄。 |
跨雲端資料存取
| 配額 | 值 |
|---|---|
| 聯合目錄中的命名空間總數上限 | 100 個命名空間 |
| 聯合目錄中每個命名空間的資料表數量上限 | 每個命名空間 300 個資料表 |
| 聯合目錄中的資料表總數上限 | 10,000 個資料表 |
| 聯合目錄中的命名空間篩選器數量上限 | 16 個命名空間篩選器 |
系統限制
下表列出 Lakehouse 的系統限制,以及各項限制的值:
| 系統限制 | 值 |
|---|---|
| 探索掃描支援的每個 Cloud Storage bucket 中,由 Lakehouse 管理的 Apache Iceberg 資料表數量上限 | 每個 bucket 1,000 個資料表 |