Managed Service for Apache Spark の割り当て

このページでは、プロジェクトとリージョンのレベルで適用される Managed Service for Apache Spark API 割り当ての上限を示します。割り当ては 60 秒(1 分)ごとにリセットされます。

割り当てとリソースの可用性の 問題を回避するためのクラスタ最適化戦略については、 リソースの可用性とゾーン戦略をご覧ください。

次の表に、プロジェクトあたりの固有およびデフォルトの Managed Service for Apache Spark API 割り当てタイプ、割り当て上限、適用先のメソッドを示します。

割り当てのタイプ 上限 該当する API メソッド
AutoscalingOperationRequestsPerMinutePerProjectPerRegion 400 CreateAutoscalingPolicy、GetAutoscalingPolicy、ListAutoscalingPolicies、UpdateAutoscalingPolicy、DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 CreateCluster、DeleteCluster、UpdateCluster、StopCluster、StartCluster、DiagnoseCluster、RepairCluster
NodeGroupOperationRequestsPerMinutePerProjectPerRegion 600 CreateNodeGroup、DeleteNodeGroup、ResizeNodeGroup、RepairNodeGroup、UpdateLabelsNodeGroup、StartNodeGroup、StopNodeGroup
GetJobRequestsPerMinutePerProjectPerRegion 7,500 GetJob
JobOperationRequestsPerMinutePerProjectPerRegion 400 SubmitJob、UpdateJob、CancelJob、DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion 400 CreateWorkflowTemplate、InstantiateWorkflowTemplate、InstantiateInlineWorkflowTemplate、UpdateWorkflowTemplate、DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion 7,500 他のすべてのオペレーション(主に Get オペレーション)

次の表に、プロジェクト レベルとリージョン レベルでのアクティブなオペレーションとジョブの合計数に関する追加の上限を示します。

割り当てのタイプ 上限 説明
ActiveOperationsPerProjectPerRegion 5000 単一のリージョン データベース内の単一プロジェクトにあるすべてのタイプの同時アクティブ オペレーションの合計数の上限
ActiveJobsPerProjectPerRegion 5000 単一のリージョン データベース内の単一プロジェクトにある NON_TERMINAL 状態のアクティブなジョブの合計数の上限

その他の Google Cloud の割り当て

Managed Service for Apache Spark クラスタは、他の Google Cloud プロダクトを使用します。これらのプロダクトにはプロジェクト レベルの割り当てがあり、これには Managed Service for Apache Spark の使用に適用される割り当てが含まれます。Managed Service for Apache Spark を使用するには、Compute Engine や Cloud Storage などの一部のサービスが必須です。他のサービス( BigQueryBigtable など)は、 必要に応じて Managed Service for Apache Spark を使用できます。

必要なクラスタ サービス

割り当て上限が適用される次のサービスは、Managed Service for Apache Spark クラスタの作成に必要です。

Compute Engine

Managed Service for Apache Spark クラスタは、Compute Engine 仮想マシンを使用します。Compute Engine の割り当ては、リージョン上限とグローバル上限に分けられます。これらの上限は、作成したクラスタに適用されます。たとえば、1 つの n1-standard-4 -m ノードと 2 つの n1-standard-4 -w ノードを含むクラスタの作成では、12 個の仮想 CPU(4 * 3)が使用されます。このクラスタの使用量は、リージョン割り当て上限である 24 個の仮想 CPU に対してカウントされます。

デフォルト クラスタのリソース

デフォルト設定で Managed Service for Apache Spark クラスタを作成する場合、次の Compute Engine リソースが使用されます。

リソース 使用方法
仮想 CPU 12
仮想マシン(VM)インスタンス 3
永続ディスク 1,500 GB

Cloud Logging

Managed Service for Apache Spark では、ドライバ出力とクラスタログが Cloud Logging に保存されます。 Logging の割り当て は、Managed Service for Apache Spark クラスタに適用されます。

オプションのクラスタ サービス

Managed Service for Apache Spark クラスタでは、割り当て上限がある次のサービスをオプションで使用できます。

BigQuery

BigQuery に対してデータを読み書きする場合、BigQuery の割り当てが適用されます。

Bigtable

Bigtable に対してデータを読み書きする場合、Bigtable の割り当てが適用されます。

リソースの可用性とゾーン戦略

リソースの可用性を高め、リソース不足を軽減するために、次の戦略を検討してください。

  • 自動ゾーン プレースメント: クラスタを作成するときに、 自動ゾーン プレースメントを使用します。これにより、Managed Service for Apache Spark は指定したリージョン内で最適なゾーンを選択できるため、クラスタの作成が成功する可能性が高まります。

  • リージョン割り当て: リージョン全体の容量がリクエストに対して十分でない場合、自動ゾーン プレースメントでも割り当てが不足する可能性があるため、リージョン Compute Engine 割り当てが十分であることを確認します。

  • マシンタイプの柔軟性: 特定のマシンタイプでリソース不足が続く場合は、クラスタに別のマシンタイプを使用します。