Penyimpanan cache cluster

Caching cluster Managed Service untuk Apache Spark memungkinkan Anda mempercepat eksekusi tugas dengan menyimpan data Cloud Storage yang sering diakses secara lokal di node cluster. Cache lokal ini mengurangi latensi baca dan meminimalkan permintaan Cloud Storage API untuk workload berulang.

Saat Anda mengaktifkan caching cluster Managed Service untuk Apache Spark, cluster akan meng-cache data Cloud Storage yang sering diakses oleh tugas Spark Anda.

Manfaat

• Peningkatan performa: Caching dapat meningkatkan performa tugas dengan mengurangi jumlah waktu yang dihabiskan untuk mengambil data dari penyimpanan.
• Mengurangi biaya penyimpanan: Karena data panas di-cache di disk lokal, panggilan API yang dilakukan ke penyimpanan untuk mengambil data menjadi lebih sedikit.
• Penerapan tugas Spark: Jika caching cluster diaktifkan di cluster, caching ini akan berlaku untuk semua tugas Spark yang dijalankan di cluster, baik yang dikirim ke Managed Service untuk Apache Spark maupun yang dijalankan secara independen di cluster.

Batasan dan persyaratan

• Caching hanya berlaku untuk tugas Managed Service untuk Apache Spark.
• Hanya data Cloud Storage yang di-cache.
• Caching hanya berlaku untuk cluster yang memenuhi persyaratan berikut:
  • Cluster memiliki satu master dan n worker (Cluster Ketersediaan Tinggi (HA) dan node tunggal tidak didukung).
  • Fitur ini tersedia di versi image Managed Service untuk Apache Spark 2.0.72+, 2.1.20+, dan 2.2.0+.
  • Setiap node cluster harus memiliki SSD lokal yang terpasang dengan antarmuka NVME (Non-Volatile Memory Express) (Persistent Disk (PD) tidak didukung). Data hanya di-cache di SSD lokal NVME.
  • Cluster menggunakan akun layanan VM default untuk autentikasi. Akun layanan VM kustom tidak didukung.

Mengaktifkan caching cluster

Anda dapat mengaktifkan caching cluster saat membuat cluster Managed Service untuk Apache Spark menggunakan konsol Google Cloud , Google Cloud CLI, atau Dataproc API.

KonsolGoogle Cloud

1. Buka halaman Google Cloud Create cluster di konsol.
2. Klik Additional configuration untuk meluaskan bagian tersebut.
3. Edit Penyesuaian & Lainnya.
4. Di panel yang terbuka, di bagian Cluster properties, klik + Add properties.
5. Pilih dataproc di daftar Prefix, lalu tambahkan kunci dataproc.cluster.caching.enabled dan nilai true.

gcloud CLI

Jalankan perintah gcloud dataproc clusters create secara lokal di jendela terminal atau di Cloud Shell menggunakan properti cluster dataproc:dataproc.cluster.caching.enabled=true.

Contoh:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties dataproc:dataproc.cluster.caching.enabled=true \
    --num-master-local-ssds=2 \
    --master-local-ssd-interface=NVME \
    --num-worker-local-ssds=2 \
    --worker-local-ssd-interface=NVME \
    other args ...
  

REST API

Tetapkan SoftwareConfig.properties untuk menyertakan properti cluster "dataproc:dataproc.cluster.caching.enabled": "true" sebagai bagian dari permintaan clusters.create.