Memprioritaskan jenis VM dengan VM fleksibel

VM Fleksibel adalah fitur Managed Service untuk Apache Spark yang memungkinkan Anda menentukan daftar jenis VM yang diprioritaskan untuk node master, primer, dan sekunder Managed Service untuk Apache Spark saat Anda membuat cluster Managed Service untuk Apache Spark.

Mengapa menggunakan VM fleksibel?

Masalah: Jika jenis VM tidak tersedia saat Anda mengirimkan permintaan pembuatan cluster, permintaan akan gagal, dan Anda harus memperbarui permintaan, skrip, atau kode untuk menentukan jenis VM "terbaik berikutnya". Proses permintaan ulang ini dapat melibatkan beberapa iterasi hingga Anda menentukan jenis VM yang tersedia.

Solusi: Fitur VM fleksibel Managed Service untuk Apache Spark membantu permintaan pembuatan cluster Anda berhasil dengan memilih jenis VM master, primer, dan sekunder dari daftar VM yang diberi peringkat, lalu menelusuri zona dalam region cluster yang Anda tentukan dengan ketersediaan jenis VM yang tercantum.

Batasan

  • Cluster yang menggunakan VM fleksibel tidak dapat di hentikan.
  • Node master di cluster Ketersediaan tinggi tidak dapat menggunakan VM fleksibel, tetapi node pekerja cluster HA dapat menggunakan VM fleksibel.

Terminologi

  • Jenis VM: Keluarga, kapasitas memori, dan jumlah core CPU dari instance VM. Managed Service untuk Apache Spark mendukung penggunaan jenis VM yang telah ditetapkan dan kustom.
  • Node master dan pekerja primer: Secara default, cluster Managed Service untuk Apache Spark memiliki satu node master dan dua node pekerja primer.
  • Node pekerja sekunder: Pekerja sekunder tidak menyimpan data dan hanya berfungsi sebagai node pemrosesan. Anda dapat menggunakan pekerja sekunder untuk menskalakan komputasi tanpa menskalakan penyimpanan. Jenis pekerja sekunder VM fleksibel default adalah VM Spot, yang merupakan jenis preemptible.

Penggunaan

  • VM Fleksibel tersedia di Managed Service untuk Apache Spark pada Managed Service untuk Apache Spark 2.0.74+, 2.1.76+, 2.2.42+, dan versi image yang lebih baru.
  • Anda dapat menentukan hingga lima daftar jenis VM yang diberi peringkat, dengan maksimal 10 jenis VM dalam satu daftar.

  • Anda dapat menyertakan VM Fleksibel dalam template alur kerja untuk memberikan ketahanan terhadap ketidaktersediaan resource saat cluster dibuat dari template.

    Rekomendasi: Aktifkan penempatan autozone Managed Service untuk Apache Spark, yang memungkinkan Managed Service untuk Apache Spark memilih zona dengan kapasitas untuk menyediakan VM yang diminta.

  • Secara default, node cluster harus menggunakan satu jenis disk. Anda dapat menggunakan penggantian disk untuk menentukan jenis disk yang berbeda untuk jenis mesin yang berbeda yang ditentukan untuk node cluster VM Fleksibel.

  • Meskipun Anda dapat menentukan rasio CPU ke memori yang berbeda untuk jenis worker VM primer dan sekunder dalam cluster, hal ini dapat menyebabkan penurunan performa karena rasio CPU ke memori terkecil digunakan sebagai unit container terkecil.

  • Jika permintaan pembuatan cluster Anda menyertakan kebijakan penskalaan otomatis, VM fleksibel dapat berasal dari keluarga VM yang berbeda, tetapi harus memiliki jumlah memori dan core yang sama.

  • Saat menyediakan VM fleksibel, Managed Service untuk Apache Spark menggunakan reservasi yang tersedia "yang cocok", tetapi bukan reservasi "tertentu" (lihat Menggunakan instance yang dicadangkan). Jenis mesin yang cocok dengan reservasi akan dipilih terlebih dahulu dalam peringkat, diikuti oleh jenis VM dengan jumlah CPU terbesar.

  • Managed Service untuk Apache Spark menerapkan Google Cloud kuota ke penyediaan VM fleksibel.

  • Jika Anda mengupdate cluster yang dibuat menggunakan VM fleksibel, Managed Service untuk Apache Spark akan memilih dan menambahkan pekerja dari daftar VM fleksibel yang Anda berikan saat membuat cluster.

Cara meminta VM fleksibel

Anda dapat menentukan hingga lima daftar jenis VM yang diberi peringkat, dengan maksimal 10 jenis VM dalam satu daftar. Daftar dengan peringkat terendah memiliki prioritas tertinggi. Secara default, daftar VM fleksibel memiliki peringkat 0. Dalam daftar, Managed Service untuk Apache Spark memprioritaskan jenis VM dengan reservasi yang tidak digunakan, diikuti oleh ukuran VM terbesar. Jenis VM dalam daftar dengan jumlah CPU yang sama diperlakukan sama.

Anda dapat meminta VM fleksibel saat membuat cluster Managed Service untuk Apache Spark menggunakan Google Cloud konsol, Google Cloud CLI, atau Dataproc API.

Konsol

Untuk membuat cluster dengan VM fleksibel, lakukan hal berikut:

  1. Buka halaman Create cluster.
  2. Klik Additional configuration untuk meluaskan bagian tersebut.
  3. Edit Primary workers atau Secondary workers. Di bagian Add worker types, tentukan VM tambahan yang diberi peringkat.

gcloud

Gunakan gcloud dataproc clusters create perintah dengan master-instance-selection, worker-instance-selection dan secondary-worker-instance-selection flag untuk menentukan daftar VM fleksibel yang diberi peringkat untuk pekerja master, primer, dan sekunder.

Contoh berikut meminta jenis VM master, primer, dan sekunder dengan prioritas berikut:

  • Menyediakan VM e2-standard-8 jika tersedia (peringkat 0); jika mesin e2-standard-8 tidak tersedia, sediakan VM n2-standard-8 (peringkat 1).

Karena jenis pekerja sekunder tidak ditentukan, VM sekunder Spot preemptible akan disediakan.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --zone="" \
    --master-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --master-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --num-workers=10 \
    --worker-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --worker-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}' \
    --num-secondary-workers=4 \
    --secondary-worker-instance-selection='{"machineTypes":["e2-standard-8"],"rank":0}' \
    --secondary-worker-instance-selection='{"machineTypes":["n2-standard-8"],"rank":1}'

Catatan:

  • --zone="": Menetapkan flag ini ke nilai kosong akan mengaktifkan penempatan autozone, yang memungkinkan Managed Service untuk Apache Spark memilih zona yang memiliki jenis VM yang diminta dan tersedia untuk digunakan. Nilai flag ini akan mengganti pilihan zona yang ditentukan dalam gcloud config list default Anda.

API

Gunakan instanceFlexibilityPolicy.instanceSelectionList sebagai bagian dari permintaan clusters.create Dataproc API untuk menentukan daftar machineTypes yang diberi peringkat untuk pekerja master, primer, dan sekunder.

Contoh: Cuplikan JSON berikut dari clusters.create isi permintaan menentukan jenis mesin master (masterConfig), pekerja primer (workerConfig), dan pekerja sekunder (secondaryWorkerConfig) dengan peringkat 0 dan peringkat 1.

{
  "projectId": "PROJECT_ID",
  "clusterName": "CLUSTER_NAME",
  "config": {
    "gceClusterConfig": {
      "zoneUri": ""
    },
    "masterConfig": {
      "numInstances": 1,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    },
    "workerConfig": {
      "numInstances": 10,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    },
    "secondaryWorkerConfig": {
      "numInstances": 4,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    }
  }
}

Penggantian disk

Anda dapat menentukan penggantian disk untuk setiap jenis mesin (pemilihan instance) dalam spesifikasi VM fleksibel. Hal ini memungkinkan Anda menyesuaikan disk boot, mengganti SSD lokal, dan melampirkan disk tambahan untuk jenis mesin tertentu.

Opsi dan aturan penggantian disk

Opsi konfigurasi penggantian disk:

  • Konfigurasi disk dasar: Konfigurasi disk yang ditentukan untuk node cluster, misalnya, menentukan ukuran boot disk untuk pekerja primer menggunakan flag --worker-boot-disk-size gcloud CLI atau kolom workerConfig.diskConfig.bootDiskSizeGb Dataproc API.
  • Penggantian disk pemilihan instance: Konfigurasi disk untuk jenis mesin yang ditentukan untuk node cluster.

Aturan konfigurasi penggantian disk:

  • Konfigurasi disk dasar: Jika tidak ada pemilihan instance untuk node cluster yang menyertakan penggantian diskConfig, Anda dapat menentukan konfigurasi disk dasar untuk node tersebut. Konfigurasi disk dasar ini diterapkan ke semua pemilihan instance untuk node.

  • Konfigurasi disk pemilihan instance: Jika pemilihan instance untuk node cluster menyertakan penggantian diskConfig, semua pemilihan instance dalam grup node harus menyertakan diskConfig (jika Anda juga menentukan konfigurasi disk dasar untuk node, akan terjadi error validasi).

  • Kompatibilitas jenis mesin: Semua jenis mesin dalam satu InstanceSelection harus kompatibel dengan diskConfig yang ditentukan. Misalnya, Anda tidak dapat mengelompokkan jenis mesin e2-standard-4, yang tidak mendukung hyperdisk, dengan jenis mesin n4-standard-4, yang memerlukan hyperdisk, dalam pemilihan instance yang sama karena diskConfig tidak dapat memenuhi kedua jenis mesin.

  • Dukungan SSD lokal: Jika Anda mengonfigurasi SSD lokal (numLocalSsds > 0) dalam konfigurasi penggantian disk, semua jenis mesin dalam pemilihan instance harus mendukung SSD lokal.

  • Kolom konfigurasi penggantian disk wajib diisi:

    • Jika Anda menentukan diskConfig untuk pemilihan instance, bootDiskType wajib diisi.
    • Jika Anda menentukan attachedDiskConfigs, diskType dan diskSizeGb wajib diisi untuk setiap disk terlampir.

Contoh konfigurasi penggantian disk

Contoh berikut menentukan opsi konfigurasi penggantian disk berikut untuk node cluster berikut:

  • Node master: Menggunakan disk boot default.
  • Pekerja primer: Menggunakan disk yang disesuaikan per pemilihan instance: misalnya n4-standard-4 menggunakan hyperdisk-balanced, sedangkan n2-standard-4 menggunakan pd-standard.
  • Pekerja sekunder: Menggunakan konfigurasi disk dasar kustom: pd-ssd dengan 200 GB, yang diterapkan ke semua pemilihan instance.

Dataproc API

Gunakan kolom diskConfig dalam instanceFlexibilityPolicy.instanceSelectionList dalam permintaan clusters.create Dataproc API.

Contoh isi permintaan JSON:

{
  "projectId": "PROJECT_ID",
  "clusterName": "CLUSTER_NAME",
  "config": {
    "gceClusterConfig": {
      "zoneUri": ""
    },
    "masterConfig": {
      "numInstances": 1,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    },
    "workerConfig": {
      "numInstances": 10,
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["n4-standard-4"],
            "rank": 0,
            "diskConfig": {
              "bootDiskType": "hyperdisk-balanced",
              "bootDiskSizeGb": 100,
              "bootDiskProvisionedIops": 6000,
              "bootDiskProvisionedThroughput": 400,
              "attachedDiskConfigs": [
                {
                  "diskType": "HYPERDISK_THROUGHPUT",
                  "diskSizeGb": 2048
                }
              ]
            }
          },
          {
            "machineTypes": ["n2-standard-4"],
            "rank": 0,
            "diskConfig": {
              "bootDiskType": "pd-standard",
              "bootDiskSizeGb": 400
            }
          }
        ]
      }
    },
    "secondaryWorkerConfig": {
      "numInstances": 4,
      "diskConfig": {
        "bootDiskType": "pd-ssd",
        "bootDiskSizeGb": 200
      },
      "instanceFlexibilityPolicy": {
        "instanceSelectionList": [
          {
            "machineTypes": ["e2-standard-8"],
            "rank": 0
          },
          {
            "machineTypes": ["n2-standard-8"],
            "rank": 1
          }
        ]
      }
    }
  }
}

Mengganti properti VM Fleksibel

Managed Service untuk Apache Spark menetapkan properti di tingkat cluster. Saat membuat cluster yang menggunakan VM fleksibel, Anda dapat mengganti properti yang dibuat sistem untuk jenis VM Fleksibel pekerja primer dan sekunder.

gcloud

Untuk mengganti properti saat membuat cluster, gunakan flag --properties dengan sintaksis berikut:

--properties="$ROLE:$MACHINE_TYPE:$COMPONENT_PREFIX:$COMPONENT_PROPERTY=$VALUE"
  • ROLE dapat berupa primary_worker atau secondary_worker.
  • Pisahkan beberapa properti dengan koma.

Perintah gcloud dataproc clusters create berikut mengganti jumlah vCPU yang dialokasikan YARN untuk NodeManager pada pekerja sekunder. Contoh ini menetapkan nilai yarn.nodemanager.resource.cpu-vcores di yarn-site.xml ke 6 untuk semua VM pekerja sekunder e2-standard-8 dan n2-standard-8.

gcloud dataproc clusters create CLUSTER_NAME \
    --num-workers=10 \
    --num-secondary-workers=4 \
    --worker-machine-types="type=e2-standard-8,rank=0" \
    --worker-machine-types="type=n2-standard-8,rank=1" \
    --master-machine-types="type=e2-standard-8,rank=0" \
    --master-machine-types="type=n2-standard-8,rank=1" \
    --secondary-worker-machine-types="type=e2-standard-8,rank=0" \
    --secondary-worker-machine-types="type=n2-standard-8,rank=1" \
    --region=us-central1 \
    --zone="" \
    --properties="secondary_worker:e2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores=6,secondary_worker:n2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores=6"

API

Untuk mengganti properti, tentukan properti tersebut di kolom properties objek SoftwareConfig dalam permintaan pembuatan cluster Anda.

Gunakan sintaksis berikut untuk kunci properti:

ROLE:MACHINE_TYPE:COMPONENT_PREFIX:COMPONENT_PROPERTY
  • ROLE dapat berupa primary_worker atau secondary_worker.

Objek SoftwareConfig berikut mengganti jumlah vCPU yang dialokasikan YARN untuk NodeManager pada pekerja sekunder. Contoh ini menetapkan nilai yarn.nodemanager.resource.cpu-vcores ke 6 untuk semua VM pekerja sekunder e2-standard-8 dan n2-standard-8.

{
  "imageVersion":"2.2.42",
  "properties": {
    "secondary_worker:e2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores" : "6",
    "secondary_worker:n2-standard-8:yarn:yarn.nodemanager.resource.cpu-vcores" : "6"
  }
}

Langkah berikutnya