SSD lokal Managed Service for Apache Spark

Untuk melengkapi boot disk, Anda dapat menghubungkan Solid State Drive (SSD lokal) ke node master, pekerja utama, dan pekerja sekunder di cluster Anda. Saat SSD lokal disediakan ke cluster, data HDFS dan data awal, seperti output shuffle, akan menggunakan SSD lokal, bukan disk persisten booting.

  • SSD lokal dapat memberikan waktu baca dan tulis yang lebih cepat daripada disk persisten (lihat Performa SSD Lokal).
  • Ukuran 375 GB setiap SSD lokal bersifat tetap, tetapi Anda dapat melampirkan beberapa SSD lokal untuk meningkatkan penyimpanan SSD (lihat Tentang SSD Lokal).
  • Setiap SSD lokal dipasang ke /mnt/<id> di node cluster Managed Service untuk Apache Spark.
  • SSD lokal menggunakan ext4 sebagai sistem file default.

Menggunakan SSD lokal

Konsol

Buat cluster dan lampirkan SSD lokal ke node master, pekerja utama, dan pekerja sekunder dari panel Konfigurasi node di halaman Buat cluster Managed Service untuk Apache Spark di Google Cloud konsol.

Perintah gcloud

Gunakan perintah gcloud dataproc clusters create dengan flag --num-master-local-ssds, --num-workers-local-ssds, dan --num-secondary-worker-local-ssds untuk melampirkan SSD lokal ke node master, pekerja utama, dan pekerja sekunder cluster.

SSD lokal dapat dilampirkan ke VM Managed Service untuk Apache Spark menggunakan antarmuka SCSI (Small Computer System Interface) atau NVME (Non-Volatile Memory Express) (lihat performa SSD lokal). Antarmuka SSD lokal VM cluster Managed Service untuk Apache Spark default adalah antarmuka SCSI. Gunakan perintah gcloud dataproc clusters create dengan flag --master-local-ssd-interface, --worker-local-ssd-interface, dan --secondary-worker-local-ssd-interface untuk menentukan antarmuka SSD lokal untuk node master, pekerja utama, dan pekerja sekunder.

Contoh:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

REST API

Tetapkan kolom numLocalSsds di masterConfig, workerConfig, dan secondaryWorkerConfig InstanceGroupConfig dalam permintaan API cluster.create untuk melampirkan SSD lokal ke node master, pekerja utama, dan pekerja sekunder cluster.

SSD lokal dapat dilampirkan ke VM Managed Service untuk Apache Spark menggunakan antarmuka SCSI (Small Computer System Interface) atau NVME (Non-Volatile Memory Express) (lihat performa SSD lokal). Antarmuka SSD lokal VM cluster Managed Service untuk Apache Spark default adalah antarmuka SCSI. Tetapkan kolom localSsdInterface di masterConfig, workerConfig, dan secondaryWorkerConfig InstanceGroupConfig dalam permintaan API cluster.create untuk menentukan antarmuka "SCSI" atau "NVME" guna melampirkan SSD lokal ke node master, worker utama, dan worker sekunder cluster.