Mode Ketersediaan Tinggi

Saat membuat cluster Dataproc, Anda dapat menempatkan cluster ke mode Ketersediaan Tinggi (HA) Hadoop dengan menentukan jumlah instance master dalam cluster. Jumlah master hanya dapat ditentukan pada saat pembuatan cluster.

Saat ini, Dataproc mendukung dua konfigurasi master:

• 1 master (default, non-HA)
• 3 master (HA Hadoop)

Perbandingan mode default dan Ketersediaan Tinggi Hadoop

Disebabkan kompleksitas dan biaya mode HA lebih tinggi, gunakan mode default kecuali kasus penggunaan Anda memerlukan mode HA.

• Kegagalan Compute Engine: Dalam kasus yang jarang terjadi ketika Compute Engine mengalami kegagalan tak terduga, instance Dataproc akan mengalami reboot mesin. Konfigurasi master tunggal default untuk Dataproc dirancang guna memulihkan dan melanjutkan pemrosesan tugas baru dalam kasus tersebut, tetapi tugas yang sedang berjalan pasti akan gagal dan perlu dicoba kembali, dan HDFS tidak dapat diakses hingga NameNode tunggal pulih sepenuhnya setelah reboot. Dalam mode HA, Ketersediaan Tinggi HDFS dan Ketersediaan Tinggi YARN dikonfigurasi agar operasi YARN dan HDFS berjalan tanpa gangguan meskipun ada kegagalan/reboot node tunggal.

• Penghentian driver tugas: Driver/program utama tugas yang Anda jalankan dapat menjadi potensi titik tunggal kegagalan jika ketepatan tugas Anda bergantung pada driver program yang berjalan dengan sukses. Tugas yang dikirimkan melalui Dataproc Jobs API tidak termasuk dalam kategori "ketersediaan tinggi", dan akan tetap dihentikan jika node master yang menjalankan program driver tugass terkait mengalami kegagalan. Agar tiap tugas tetap tangguh terhadap kegagalan node tunggal saat menggunakan cluster Cloud Dataproc HA, tugas harus 1) berjalan tanpa program driver sinkron atau 2) menjalankan program driver itu sendiri di dalam container YARN dan dirancang untuk menangani mulai ulang program driver. Baca bagian Meluncurkan Spark di YARN untuk mengetahui contoh cara program driver yang dapat dimulai ulang dapat berjalan di dalam container YARN untuk fault tolerance.

• Kegagalan zona: Seperti halnya semua cluster Dataproc, seluruh node dalam cluster Ketersediaan Tinggi berada di zona yang sama. Jika di suatu zona terjadi kegagalan yang memengaruhi semua node, kegagalan tersebut tidak akan dimitigasi.

Nama Instance

Master default diberi nama cluster-name-m; master HA diberi nama cluster-name-m-0, cluster-name-m-1, cluster-name-m-2.

Apache ZooKeeper

Di cluster Dataproc HA, komponen Zookeeper diinstal secara otomatis di node master cluster. Semua master berpartisipasi dalam cluster ZooKeeper, yang memungkinkan failover otomatis untuk layanan Hadoop lainnya.

HDFS

Di cluster Dataproc standar:

• cluster-name-m menjalankan:
  • NameNode
  • Secondary NameNode

Di cluster Dataproc dengan Ketersediaan Tinggi:

• cluster-name-m-0 dan cluster-name-m-1 menjalankan:
  • NameNode
  • ZKFailoverController
• Semua master menjalankan JournalNode
• Tidak ada Secondary NameNode

Untuk mengetahui informasi lebih lanjut tentang komponen, baca dokumentasi Ketersediaan Tinggi HDFS.

YARN

Di cluster Dataproc standar, cluster-name-m menjalankan ResourceManager.

Di cluster Dataproc Ketersediaan Tinggi, semua master menjalankan ResourceManager.

Untuk mengetahui informasi lebih lanjut tentang komponen, baca dokumentasi Ketersediaan Tinggi YARN.

Membuat cluster dengan Ketersediaan Tinggi

Perintah gcloud

Penyiapan gcloud CLI: Anda harus menyiapkan dan mengonfigurasi gcloud CLI untuk menggunakan Google Cloud CLI.

Untuk membuat cluster HA dengan gcloud dataproc clusters create, jalankan perintah berikut:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-masters=3 \
    ... other args

REST API

Untuk membuat cluster HA, gunakan clusters.create API, dengan menetapkan masterConfig.numInstances ke 3.

Cara mudah untuk membangun isi JSON pada permintaan pembuatan cluster HA adalah dengan membuat permintaan dari halaman Create a cluster Dataproc di konsolGoogle Cloud . Pilih Ketersediaan Tinggi (3 master, N workers) di bagian jenis Cluster pada panel Set up cluster, lalu klik tombol Equivalent REST di bagian bawah panel kiri. Berikut adalah cuplikan contoh output JSON yang dihasilkan oleh konsol untuk permintaan pembuatan cluster HA:

...
masterConfig": {
  "numInstances": 3,
  "machineTypeUri": "n1-standard-4",
  "diskConfig": {
    "bootDiskSizeGb": 500,
    "numLocalSsds": 0
  }
}
...

Konsol

Untuk membuat cluster HA, pilih Ketersediaan Tinggi (3 master, N workers) di bagian jenis Cluster pada panel Set up cluster di halaman Create a cluster Dataproc.