Cluster node tenant tunggal

Cluster Managed Service untuk Apache Spark dapat dibuat di Compute Engine sole-tenant node. Sole-tenant node adalah server Compute Engine yang dikhususkan untuk menghosting VM project Anda saja. Membuat cluster Managed Service untuk Apache Spark di sole-tenant node akan menjaga VM cluster tetap terpisah secara fisik dari VM di project lain. Cluster berfungsi sebagai cluster Managed Service untuk Apache Spark standar, tetapi dengan isolasi hardware tambahan untuk mengatasi masalah keamanan dan kepatuhan.

Cluster sole-tenant node Managed Service untuk Apache Spark dibuat dalam grup sole-tenant node yang ditentukan pengguna. Instance master, worker, dan worker sekunder setiap cluster akan dibuat dalam grup sole-tenant node ini.

Perhatian: Managed Service untuk Apache Spark secara default menggunakan preemptible VM untuk worker sekunder, yang tidak didukung oleh sole-tenant node Compute Engine. Jika Anda berencana menggunakan worker sekunder dengan cluster sole-tenant, dengan menambahkannya secara manual atau menggunakan kebijakan penskalaan otomatis yang menskalakan worker sekunder, Anda harus menetapkan jenis worker sekunder ke non-preemptible.

Langkah pertama

1. Lihat Sebelum memulai.

2. Buat template sole-tenant node.

3. Buat grup sole-tenant node.

   • Gunakan grup node penskalaan otomatis jika Anda akan membuat cluster penskalaan otomatis di grup sole-tenant node.

     Rekomendasi penskalaan otomatis grup node:

     • Pastikan max-nodes grup node cukup untuk maxInstances cluster yang akan Anda buat di grup sole-tenant node.
     • Gunakan kebijakan pemeliharaan grup node default atau migrate-within-node-group; VM mungkin tidak tersedia hingga satu jam dengan kebijakan restart-in-place.

Membuat cluster sole-tenant

• Sebelum membuat cluster sole-tenant, lihat batasan VM sole-tenant node.

• Jika Anda membuat cluster penskalaan otomatis di grup sole-tenant node, sebaiknya grup node juga menggunakan penskalaan otomatis (lihat Rekomendasi penskalaan otomatis grup node).

Perintah gcloud

Untuk membuat cluster sole-tenant, teruskan flag --node-group ke gcloud dataproc clusters create perintah.

Catatan flag:

• --region (wajib): Harus cocok dengan region grup sole-tenant.
• --node-group (wajib): Anda dapat menentukan nama grup sole-tenant node ("node-group-name") atau URI resource grup sole-tenant node ("projects/project-id/zones/zone/nodeGroups/node-group-name").
• --zone (wajib): Zona cluster harus cocok dengan zona grup sole-tenant node.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone=zone \
    --node-group=node group resource name or URI \
    ... other args
  

REST API

Buat cluster sole-tenant menggunakan permintaan clusters.create yang menentukan NodeGroupAffinity.nodeGroupUri dari grup sole-tenant node.

Catatan: zona cluster yang ditentukan di kolom zoneUri harus cocok dengan zona grup sole-tenant node.

Cara mudah untuk memeriksa dan membuat isi JSON permintaan cluster Managed Service untuk Apache Spark API adalah dengan membuka halaman konsol Managed Service untuk Apache Spark Create a cluster Google Cloud mengisi kolom yang berlaku di halaman tersebut, lalu mengklik tombol Equivalent REST di bagian bawah panel kiri untuk melihat permintaan POST dengan isi permintaan JSON yang telah diisi.

Konsol

Saat ini, pembuatan cluster Managed Service untuk Apache Spark sole-tenant tidak didukung di Google Cloud konsol.