このドキュメントでは、Lakehouse に適用される割り当てとシステムの上限について説明します。
- 割り当てにはデフォルト値がありますが、通常は調整をリクエストできます。
- システムの上限は固定値で、変更できません。
Google Cloud では、割り当てを使用して公平性を確保し、リソースの使用量と可用性の急増を抑えます。割り当ては、 Google Cloud プロジェクトで使用できるGoogle Cloud リソースの量を制限します。割り当ては、ハードウェア、ソフトウェア、ネットワーク コンポーネントなど、さまざまなリソースタイプに適用されます。たとえば、割り当てによって、サービスへの API 呼び出しの数、プロジェクトで同時に使用されるロードバランサの数、作成可能なプロジェクトの数を制限できます。割り当てを適用することで、サービスの過負荷を防ぎ、Google Cloud ユーザーのコミュニティを保護します。割り当ては、自組織で使用している Google Cloud リソースの管理にも役立ちます。
Cloud Quotas システムは次のことを行います。
- Google Cloud のプロダクトとサービスの消費量をモニタリングする
- これらのリソースの消費量を制限する
- 割り当て値の変更をリクエストし、割り当ての調整を自動化する手段を提供する
ほとんどの場合、割り当ての許容量を超えるリソースを消費しようとすると、システムによってリソースへのアクセスがブロックされ、実行しようとしているタスクは失敗します。
割り当ては通常、 Google Cloud プロジェクト レベルで適用されます。あるプロジェクトでリソースを使用しても、別のプロジェクトで使用可能な割り当てに影響することはありません。 Google Cloud プロジェクト内では、すべてのアプリケーションと IP アドレスで割り当てが共有されます。
詳細については、Cloud Quotas の概要をご覧ください。
Lakehouse リソースにはシステムの上限もあります。システムの上限は変更できません。
割り当てとシステム上限の指標名を取得する
割り当てとシステム上限には、表示名と指標名の 2 種類の名前があります。表示名には、人間が読みやすいようにスペースと大文字が含まれています。指標名は小文字で、スペースの代わりにアンダースコアで区切られる傾向があります。正確な形式はサービスによって異なります。
次の手順では、 Google Cloud コンソールまたは Google Cloud CLI を使用して、割り当てとシステム上限の指標名を取得する方法について説明します。
コンソール
Google Cloud コンソールで、[Identity and Access Management（IAM）と管理>割り当てとシステム上限] ページに移動します。
このページの表には、使用量または調整値がある割り当ておよびシステム上限と、その他の割り当ての参照エントリが表示されます。参照エントリには、[名前] 列のリストの末尾に「default」という単語がかっこで囲まれて表示されます。たとえば、
SetIAM Policy requests per minute per region (default)は割り当てSetIamPolicyRequestsPerMinutePerProjectの参照エントリです。[指標] 列が表示されない場合は、次の操作を行います。
- [列表示オプション] をクリックします。
- [指標] を選択します。
- [OK] をクリックします。[指標] 列が表に表示されます。
[指標] 列に指標名が表示されます。結果をフィルタするには、[ フィルタ] の横のフィールドにプロパティ名または値を入力します。
gcloud
gcloud CLI を使用してサービスの指標名を取得するには、quotas info list コマンドを実行します。指標名がリストされていない行をスキップするには、grep などのコマンドに出力を渡し、metric: を検索キーワードとして指定するか、gcloud CLI の --format フラグを使用します。
gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
--service=SERVICE_NAME --format="value(metric)"
次のように置き換えます。
PROJECT_ID_OR_NUMBER: プロジェクト ID またはプロジェクト番号。SERVICE_NAME: 割り当て指標を表示するサービスの名前。たとえば、Compute Engine のサービス名はcompute.googleapis.comです。サービス名のgoogleapis.com部分を含めます。
割り当ての増加をリクエストする
通常、割り当てを調整するには Google Cloud コンソールを使用します。詳細については、割り当ての調整をリクエストするをご覧ください。
割り当て
Lakehouse には次の割り当てが適用されます。
Lakehouse ランタイム カタログ
Lakehouse ランタイム カタログには次の上限が適用されます。
| 上限 | デフォルト | 注 |
|---|---|---|
| 1 日あたりのテーブル変更 | 1,500 件の変更 | プロジェクトでは、1 日あたりテーブルごとに最大 1,500 件のテーブル変更を行うことができます。 テーブルデータを追加または上書きする読み込みジョブ、コピージョブ、クエリジョブは、テーブルに対する 1 回の変更としてカウントされます。この上限を変更することはできません。 DML ステートメントは除外されるため、1 日あたりのテーブル変更の数にカウントされません。 ストリーミング データは除外されるため、1 日あたりのテーブル変更の数にカウントされません。 |
| テーブルあたりのテーブル メタデータ更新オペレーションの最大レート | 10 秒あたり 5 個のオペレーション |
プロジェクトで、テーブルごとに 10 秒あたり最大 5 個のテーブル メタデータ更新オペレーションを実行できます。この上限は、以下によって実行されるすべてのテーブル メタデータ更新オペレーションに適用されます。
DELETE、INSERT、MERGE、TRUNCATE TABLE または UPDATE ステートメントを使用してテーブルにデータを書き込む、読み込みジョブ、コピージョブ、クエリジョブすべてを合わせた合計も含まれます。DML ステートメントはこの上限までカウントされますが、上限に達しても、その対象にはなりません。DML オペレーションには、専用のレート制限があります。
この上限を超えると、 この上限にカウントされるオペレーションは、ログで確認できます。このエラーの診断と解決については、割り当てエラーのトラブルシューティングをご覧ください。 |
| テーブルあたりの最大列数 | 10,000 列 | テーブル、クエリ結果、ビュー定義に、それぞれ最大 10,000 列を含めることができます。これには、ネストされた列と繰り返し列が含まれます。 |
クロスクラウド データアクセス
| 割り当て | 値 |
|---|---|
| フェデレーション カタログ内の Namespace の最大合計数 | 100 個の名前空間 |
| 連携カタログの Namespace あたりのテーブルの最大数 | 名前空間あたり 300 個のテーブル |
| 連携カタログ内のテーブルの最大合計数 | 10,000 個のテーブル |
| フェデレーション カタログ内の名前空間フィルタの最大数 | 16 個の Namespace フィルタ |
システム制限
次の表に、Lakehouse に適用されるシステムの上限と、各システムの上限の値を示します。
| システムの上限 | 値 |
|---|---|
| 検出スキャンでサポートされる Cloud Storage バケットあたりの Lakehouse で管理される Apache Iceberg テーブルの最大数 | バケットあたり 1,000 個のテーブル |