このドキュメントでは、 Dataform の割り当てと上限について説明します。
- 割り当てにはデフォルト値がありますが、通常は 調整をリクエストできます。
- システムの上限は固定値で、変更できません。
Google Cloud では、割り当てを使用して公平性を確保し、リソースの使用量と可用性の急増を抑えます。割り当ては、 Google Cloud プロジェクトで使用できるGoogle Cloud リソースの量を制限します。割り当ては、ハードウェア、ソフトウェア、ネットワーク コンポーネントなど、さまざまなリソースタイプに適用されます。たとえば、割り当てによって、サービスへの API 呼び出しの数、プロジェクトで同時に使用されるロードバランサの数、作成可能なプロジェクトの数を制限できます。割り当てを適用することで、サービスの過負荷を防ぎ、Google Cloud ユーザーのコミュニティを保護します。割り当ては、自組織で使用している Google Cloud リソースの管理にも役立ちます。
Cloud Quotas システムは次のことを行います。
- Google Cloud のプロダクトとサービスの消費量をモニタリングする
- これらのリソースの消費量を制限する
- 割り当て値の変更をリクエストし、割り当ての調整を自動化する手段を提供する
ほとんどの場合、割り当ての許容量を超えるリソースを消費しようとすると、システムによってリソースへのアクセスがブロックされ、実行しようとしているタスクは失敗します。
割り当ては通常、 Google Cloud プロジェクト レベルで適用されます。あるプロジェクトでリソースを使用しても、別のプロジェクトで使用可能な割り当てに影響することはありません。 Google Cloud プロジェクト内では、すべてのアプリケーションと IP アドレスで割り当てが共有されます。
詳細については、 Cloud Quotas の概要をご覧ください。
Vision リソースにはシステムの上限もあります。 システムの上限は変更できません。
割り当ての補充
毎日の割り当ては、レート制限動作をガイドするという意図を反映して、一日中一定の間隔で補充されます。割り当てを使い切った場合の分断が長時間にならないようにするためにも、断続的な更新が行われます。通常、割り当ては 1 日に 1 回全体的に補充されるのではなく、数分で割り当てが補充され利用可能になります。
割り当ての増加をリクエストする
ほどんどの場合、割り当ての増減を行うには Google Cloud コンソールを使用します。 詳細については、 割り当ての調整をリクエストするをご覧ください。
割り当て使用量の上限
特定のリソースの使用量をデフォルトの割り当て量よりも少なく指定して制限する方法については、使用量の上限を設定するをご覧ください。
必要な権限
コンソールで Dataform の割り当てを表示および更新するには、 の割り当てと同じ権限が必要です。Google Cloud Google Cloud詳細については、 割り当ての権限をご覧ください。
トラブルシューティング
Dataform の割り当てと上限に関連するエラーのトラブルシューティングについては、トラブルシューティングをご覧ください。
Dataform の割り当て
Dataform には次の API 割り当てがあります。
| 割り当て | 上限 |
|---|---|
| プロジェクトのリージョンごとのリクエストの合計数 | 6000/minute/project/region |
| プロジェクトのリージョンごとのコンパイル リクエスト数 | 120/minute/project/region |
| 1 リージョン、1 プロジェクトあたりのファイル アクセス リクエスト数 | 120/minute/project/region |
| プロジェクトのリージョンごとのパッケージ インストール リクエスト数 | 120/minute/project/region |
| プロジェクトのリージョンごとのフォルダ移動リクエスト数 | 6/minute/project/region |
| プロジェクトのリージョンごとのファイル移動リクエスト数 | 60/minute/project/region |
| プロジェクトのリージョンごとのフォルダツリー削除リクエスト数 | 20/minute/project/region |
| リージョンのプロジェクトごとのワークフロー呼び出しリクエスト数 | 60/minute/project/region |
| 実行ごとのワークフロー アクション数 | 5000 |
Dataform で使用されるサービスの割り当て
Dataform は他の Google Cloud サービスを使用します。これらのサービスにはプロジェクト レベルの割り当てがあり、Dataform を使用する場合に適用されます。
Dataform は、独自の割り当て上限がある次の Google Cloud サービスを 使用します。
Dataform コンパイルのリソースの上限
Dataform では、コンパイル リソースに次の使用量上限が適用されます。
| 使用量上限 | 値 |
|---|---|
| リポジトリ コンパイルあたりのアクションの最大数 | 5000 |
| コンパイル済みグラフ内のアクションあたりの依存関係の最大数 | 50 |
| アクションのコンパイル済みグラフのシリアル化された合計最大データサイズ | 20 MB |
| コンパイル プロセスの最大 CPU 時間 | 8 秒 |
| コンパイル プロセスの最大経過時間 | 30 秒 |
| コンパイル プロセスの最大 RSS 使用量 | 200 MB |
| NPM 依存関係の最大サイズ | 200 MB |
| CMEK 暗号化リポジトリの最大サイズ | 512 MB |
| CMEK 暗号化リポジトリ内のワークスペースの最大サイズ | 512 MB |
また、Dataform では、コンパイル中の CPU とメモリの使用量に上限が設定されています。 コードのコンパイル時にこれらの上限を超えると、コンパイルが失敗し、Dataform はコンパイル エラーをスローします。
リポジトリのコンパイル リソースの使用量を見積もるには、 リポジトリのコンパイル リソースの使用量を見積もるをご覧ください。
リポジトリが使用量上限を超える原因としては、次のことが考えられます。
- リポジトリ コードの無限ループ バグ。
- リポジトリ コードのメモリリーク バグ。
- リポジトリ サイズが大きい（ワークフロー ノードの数が約 1, 000 個を超える）。
- 同時実行クエリの数が多い。
Dataform のリポジトリ サイズの詳細については、リポジトリ サイズの概要をご覧ください。