自動ゾーン プレースメント

Managed Service for Apache Spark クラスタを作成するときに、クラスタのロケーションとして Compute Engine リージョンを指定します。そのリージョン内のゾーンを指定することも、ゾーンを省略して、指定したリージョンで Managed Service for Apache Spark の自動ゾーン機能によりゾーンを選択することもできます。クラスタのすべてのノードは、選択したゾーンにデプロイされます。

クラスタ リージョンに除外されていないゾーンが 2 つ以上含まれている場合は、自動ゾーンの選択条件からゾーンを除外できます。詳細については、 自動ゾーンプレースメントを使用するをご覧ください。

自動ゾーンとリソースの予約

自動ゾーンでは、リソースの予約によって、ゾーン内でのクラスタの作成に次のように優先順位が付けられます。

  • 自動ゾーンは、リクエストされたクラスタ リソースを予約済みリソースで完全に満たすだけでなく、ゾーン内にオンデマンド リソースがある場合は、必要に応じて予約済みリソースとオンデマンド リソースを消費して、そのゾーンにクラスタを作成します

  • 自動ゾーンでは、ゾーン内の CPU コア(vCPU)予約の合計に従って、ゾーンを選択する優先順位が付けられます。

    例: クラスタ作成リクエストで、20 n2-standard-2 と 1 n2-standard-64 が指定されています(40 + 64 vCPUs をリクエスト)。自動ゾーンでは、ゾーンで使用可能な vCPU の予約の合計に従って、次のゾーンが優先されます。

    1. zone-c で利用可能な予約: 3 n2-standard-2 と 1 n2-standard-64(70 vCPUs
    2. zone-b で利用可能な予約: 1 n2-standard-64(64 vCPUs
    3. zone-a で利用可能な予約: 25 n2-standard-2(50 vCPUs

      これらのゾーンのそれぞれが、クラスタ リクエストを満たすのに十分な追加のオンデマンド vCPU と他のリソースを持つ場合、自動ゾーンはクラスタ作成用に zone-c を選択します。

  • リクエストされたクラスタ リソースをゾーン内の予約済みリソースとオンデマンド リソースで完全に満たすことができない場合、自動ゾーンは、オンデマンド リソースを使用して、リクエストを満たせる可能性が最も高いゾーンにクラスタを作成します。

自動ゾーン プレースメントを使用する

Google Cloud コンソール

自動ゾーン プレースメントを使用するクラスタを作成するには:

  1. コンソールで、[クラスタを作成] ページを開きます。 Google Cloud
  2. [クラスタを定義] セクションで、リージョン を選択します。
  3. [ゾーン] フィールドで、[任意] を選択します。

ゾーンを除外する: コンソールでは、自動ゾーン プレースメントから除外するゾーンの指定は対象外です。 Google Cloud この機能は、Google Cloud CLI と REST API で使用できます。

gcloud CLI

自動ゾーン プレースメントを使用する Managed Service for Apache Spark クラスタを作成するには、 gcloud dataproc clusters create コマンドを使用します。--region フラグにリージョンを設定します。次に、 --zone フラグを省略するか、--zone フラグを 空の文字列(--zone="")に設定します。

`--zone` フラグを使用する代わりに、 --auto-zone-exclude-zones フラグを使用して、ゾーンのカンマ区切りのリスト を指定できます。自動ゾーン選択では、指定したリージョンからゾーンが選択されますが、リストされたゾーンは選択条件から除外されます。クラスタ リージョンには、除外されていないゾーンが 2 つ以上存在する必要があります。

例:

自動ゾーンの基本的な使用方法:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    other args ...

除外されたゾーンを含む自動ゾーン:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --auto-zone-exclude-zones=ZONE_1,ZONE_2 \
    other args ...

REST API

自動ゾーン プレースメントを使用する Managed Service for Apache Spark クラスタを作成するには、 gceClusterConfig.zoneUri フィールドを空のままにした JSON clusters.create API リクエストを作成します。REST エンドポイント https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters に、リージョン名を挿入します。Managed Service for Apache Spark の自動ゾーンにより、指定したリージョン内でクラスタ用のゾーンが選択されます。

特定のゾーンを除外するには、 gceClusterConfig.autoZoneExcludeZoneUris フィールドに、除外するゾーン名のリストを入力します。 クラスタ リージョンには、除外されていないゾーンが 2 つ以上存在する必要があります。

自動ゾーン プレースメントで短いリソース名を使用: 自動ゾーン プレースメント REST API クラスタ作成リクエストで machineTypeUriacceleratorTypeUri などのリソース URI を指定する場合は、 ゾーンを指定しない短いリソース名を使用します。たとえば、 "n1-standard-2" や "nvidia-tesla-t4" です。