Managed Service for Apache Spark クラスタを作成するときに、クラスタのロケーションとして Compute Engine リージョンを指定します。そのリージョン内のゾーンを指定することも、ゾーンを省略して、指定したリージョンで Managed Service for Apache Spark の自動ゾーン機能によりゾーンを選択することもできます。クラスタのすべてのノードは、選択したゾーンにデプロイされます。
クラスタ リージョンに除外されていないゾーンが 2 つ以上含まれている場合は、自動ゾーンの選択条件からゾーンを除外できます。詳細については、 自動ゾーンプレースメントを使用するをご覧ください。
自動ゾーンとリソースの予約
自動ゾーンでは、リソースの予約によって、ゾーン内でのクラスタの作成に次のように優先順位が付けられます。
自動ゾーンは、リクエストされたクラスタ リソースを予約済みリソースで完全に満たすだけでなく、ゾーン内にオンデマンド リソースがある場合は、必要に応じて予約済みリソースとオンデマンド リソースを消費して、そのゾーンにクラスタを作成します
自動ゾーンでは、ゾーン内の CPU コア(
vCPU)予約の合計に従って、ゾーンを選択する優先順位が付けられます。例: クラスタ作成リクエストで、20
n2-standard-2と 1n2-standard-64が指定されています(40 + 64vCPUsをリクエスト)。自動ゾーンでは、ゾーンで使用可能な vCPU の予約の合計に従って、次のゾーンが優先されます。zone-cで利用可能な予約: 3n2-standard-2と 1n2-standard-64(70vCPUs)zone-bで利用可能な予約: 1n2-standard-64(64vCPUs)zone-aで利用可能な予約: 25n2-standard-2(50vCPUs)これらのゾーンのそれぞれが、クラスタ リクエストを満たすのに十分な追加のオンデマンド
vCPUと他のリソースを持つ場合、自動ゾーンはクラスタ作成用にzone-cを選択します。
リクエストされたクラスタ リソースをゾーン内の予約済みリソースとオンデマンド リソースで完全に満たすことができない場合、自動ゾーンは、オンデマンド リソースを使用して、リクエストを満たせる可能性が最も高いゾーンにクラスタを作成します。
自動ゾーン プレースメントを使用する
Google Cloud コンソール
自動ゾーン プレースメントを使用するクラスタを作成するには:
- コンソールで、[クラスタを作成] ページを開きます。 Google Cloud
- [クラスタを定義] セクションで、リージョン を選択します。
- [ゾーン] フィールドで、[任意] を選択します。
ゾーンを除外する: コンソールでは、自動ゾーン プレースメントから除外するゾーンの指定は対象外です。 Google Cloud この機能は、Google Cloud CLI と REST API で使用できます。
gcloud CLI
自動ゾーン プレースメントを使用する Managed Service for Apache Spark クラスタを作成するには、
gcloud dataproc clusters create
コマンドを使用します。--region フラグにリージョンを設定します。次に、
--zone フラグを省略するか、--zone フラグを
空の文字列(--zone="")に設定します。
--auto-zone-exclude-zones フラグを使用して、ゾーンのカンマ区切りのリスト
を指定できます。自動ゾーン選択では、指定したリージョンからゾーンが選択されますが、リストされたゾーンは選択条件から除外されます。クラスタ
リージョンには、除外されていないゾーンが 2 つ以上存在する必要があります。
例:
自動ゾーンの基本的な使用方法:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ other args ...
除外されたゾーンを含む自動ゾーン:
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --auto-zone-exclude-zones=ZONE_1,ZONE_2 \ other args ...
REST API
自動ゾーン プレースメントを使用する Managed Service for Apache Spark クラスタを作成するには、
gceClusterConfig.zoneUri
フィールドを空のままにした JSON clusters.create
API リクエストを作成します。REST エンドポイント
https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters に、リージョン名を挿入します。Managed Service for Apache Spark の自動ゾーンにより、指定したリージョン内でクラスタ用のゾーンが選択されます。
特定のゾーンを除外するには、 gceClusterConfig.autoZoneExcludeZoneUris フィールドに、除外するゾーン名のリストを入力します。 クラスタ リージョンには、除外されていないゾーンが 2 つ以上存在する必要があります。
自動ゾーン プレースメントで短いリソース名を使用: 自動ゾーン プレースメント REST API クラスタ作成リクエストで machineTypeUri や acceleratorTypeUri などのリソース URI を指定する場合は、 ゾーンを指定しない短いリソース名を使用します。たとえば、 "n1-standard-2" や "nvidia-tesla-t4" です。