Borderless Lakehouse リソースには、リソース消費を制御し、サービスの安定性を維持するために、構成可能な割り当てと固定のシステム上限があります。割り当ては、引き上げをリクエストするか、割り当て調整を使用して調整できるベースライン割り当てを設定します。一方、システム上限は、変更できない固定の運用しきい値です。
Google Cloud プロジェクト レベルでの割り当ての仕組みと、使用量を追跡する方法については、Cloud Quotas の概要をご覧ください。
割り当てとシステム上限の指標名を取得する
割り当てとシステム上限には、表示名と指標名の 2 種類の名前があります。表示名には、人間が読みやすいようにスペースと大文字が含まれています。指標名は小文字で、スペースの代わりにアンダースコアで区切られる傾向があります。正確な形式はサービスによって異なります。
次の手順では、 Google Cloud コンソールまたは Google Cloud CLI を使用して、割り当てとシステム上限の指標名を取得する方法について説明します。
コンソール
Google Cloud コンソールで、[Identity and Access Management（IAM）と管理] > [割り当てとシステム上限] ページに移動します。
このページの表には、使用量または調整値がある割り当ておよびシステム上限と、その他の割り当ての参照エントリが表示されます。参照エントリには、[名前] 列のリストの末尾に「default」という単語がかっこで囲まれて表示されます。たとえば、
SetIAM Policy requests per minute per region (default)は割り当てSetIamPolicyRequestsPerMinutePerProjectの参照エントリです。[指標] 列が表示されない場合は、次の操作を行います。
- [ 列表示オプション] をクリックします。
- [指標] を選択します。
- [OK] をクリックします。[指標] 列が表に表示されます。
[指標] 列に指標名が表示されます。結果をフィルタするには、[ フィルタ] の横のフィールドにプロパティ名または値を入力します。
gcloud
gcloud CLI を使用してサービスの指標名を取得するには、quotas info list コマンドを実行します。指標名がリストされていない行をスキップするには、grep などのコマンドに出力を渡し、metric: を検索キーワードとして指定するか、gcloud CLI の --format フラグを使用します。
gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
--service=SERVICE_NAME --format="value(metric)"
次のように置き換えます。
PROJECT_ID_OR_NUMBER: プロジェクト ID またはプロジェクト番号。SERVICE_NAME: 割り当て指標を表示するサービスの名前。たとえば、Compute Engine のサービス名はcompute.googleapis.comです。サービス名のgoogleapis.com部分を含めます。
割り当ての増加をリクエストする
通常、割り当てを調整するには Google Cloud コンソールを使用します。詳細については、割り当ての調整をリクエストするをご覧ください。
割り当て
Lakehouse には次の割り当てが適用されます。
Lakehouse ランタイム カタログ
Lakehouse ランタイム カタログには、次の上限が適用されます。
| 上限 | デフォルト | 注 |
|---|---|---|
| 1 日あたりのテーブル変更 | 1,500 件の変更 | プロジェクトでは、1 日あたりテーブルごとに最大 1,500 件のテーブル変更を行うことができます。 テーブルデータを追加または上書きする読み込みジョブ、コピージョブ、クエリジョブは、テーブルに対する 1 回の変更としてカウントされます。この上限を変更することはできません。 DML ステートメントは除外されるため、1 日あたりのテーブル変更の数にカウントされません。 ストリーミング データは除外されるため、1 日あたりのテーブル変更の数にカウントされません。 |
| テーブルあたりのテーブル メタデータ更新オペレーションの最大レート | 10 秒あたり 5 個のオペレーション |
プロジェクトで、テーブルごとに 10 秒あたり最大 5 個のテーブル メタデータ更新オペレーションを実行できます。この上限は、以下によって実行されるすべてのテーブル メタデータ更新オペレーションに適用されます。
DELETE、INSERT、MERGE、TRUNCATE TABLE または UPDATE ステートメントを使用してテーブルにデータを書き込む、読み込みジョブ、コピージョブ、クエリジョブすべてを合わせた合計も含まれます。DML ステートメントはこの上限までカウントされますが、上限に達しても、その対象にはなりません。DML オペレーションには、専用のレート制限があります。
この上限を超えると、 この上限にカウントされるオペレーションは、ログで確認できます。このエラーの診断と解決については、割り当てエラーのトラブルシューティングをご覧ください。 |
| テーブルあたりの最大列数 | 10,000 列 | テーブル、クエリ結果、ビュー定義に、それぞれ最大 10,000 列を含めることができます。これには、ネストされた列と繰り返し列が含まれます。 |
クロスクラウド データアクセス
| 割り当て | 値 |
|---|---|
| 連携カタログ内の名前空間の最大合計数 | 100 個の名前空間 |
| 連携カタログ内の名前空間あたりの最大テーブル数 | 名前空間あたり 300 個のテーブル |
| 連携カタログ内のテーブルの最大合計数 | 10,000 個のテーブル |
| 連携カタログ内の名前空間フィルタの最大数 | 16 個の名前空間フィルタ |
システム制限
次の表に、Lakehouse に適用されるシステムの上限と、各システムの上限の値を示します。
| システムの上限 | 値 |
|---|---|
| 検出スキャンでサポートされる Cloud Storage バケットあたりの Lakehouse で管理される Apache Iceberg テーブルの最大数 | バケットあたり 1,000 個のテーブル |