Versi image Managed Service untuk Apache Spark menjalankan layanan berikut pada node cluster.
Semua node
Layanan berikut berjalan di semua node dalam cluster.
| Jenis node | Layanan | Versi image | Deskripsi |
|---|---|---|---|
| Semua node | google-dataproc-agent | semua | Menerima tugas dari Managed Service untuk Apache Spark dan meluncurkan driver tugas |
| google-fluentd | semua | Mengumpulkan dan mengirim log ke Logging |
Cluster standar
Layanan berikut berjalan di cluster standar.
| Jenis node | Layanan | Versi image | Deskripsi |
|---|---|---|---|
| Master | hadoop-hdfs-namenode | semua | Mengelola sistem file HDFS |
| hadoop-hdfs-secondarynamenode | semua | Melakukan checkpoint pada NameNode | |
| hadoop-mapreduce-historyserver | semua | Menyajikan informasi histori aplikasi mapreduce | |
| hadoop-yarn-resourcemanager | semua | Menjadwalkan dan mengelola aplikasi YARN | |
| hadoop-yarn-timelineserver | 1.3+ | Menyajikan informasi histori aplikasi YARN | |
| hive-metastore | semua | Mengelola metadata tabel Hive. Secara default, menggunakan database mariadb (versi image < 1.5) atau mysql (versi image 1.5+) lokal di node master sebagai penyimpanan metadata tabel Hive.
Penggunaan database default tidak direkomendasikan karena database ini terkait dengan siklus proses cluster. Sebagai gantinya, gunakan salah satu dari berikut ini sebagai
database metastore Hive (dalam urutan rekomendasi):
|
|
| hive-server2 | semua | Menyajikan kueri yang diterima dari klien (terutama kueri shell beeline) terhadap Hive | |
| mariadb | < 1,5 | Database relasional yang digunakan sebagai database pokok default untuk metastore Hive di image Managed Service untuk Apache Spark < 1.5 | |
| mysql | 1,5+ | Database relasional yang digunakan sebagai database pokok default untuk metastore Hive dalam image Managed Service untuk Apache Spark 1.5+ | |
| nfs-kernel-server | < 1,3 | NFS adalah Network File System. | |
| spark-history-server | semua | Menyajikan informasi histori aplikasi Spark | |
| Semua Pekerja | hadoop-yarn-nodemanager | semua | Meluncurkan dan mengelola container YARN |
| Khusus Primary Worker | hadoop-hdfs-datanode | semua | Menyimpan blok HDFS |
Cluster HA
Dalam cluster Ketersediaan Tinggi (HA) Managed Service untuk Apache Spark, layanan yang berbeda berjalan di node master yang berbeda, seperti yang ditunjukkan di bawah. Layanan worker node cluster HA sama dengan yang tercantum untuk cluster standar.
| Jenis node | Layanan | Versi image | Deskripsi |
|---|---|---|---|
| Semua master | hadoop-hdfs-journalnode | semua | Quorum node jurnal mengelola log edit modifikasi namespace HDFS. Jika terjadi failover, NameNode Standby akan membaca log edit dan mengambil kontrol dari NameNode Aktif. |
| hadoop-yarn-resourcemanager | semua | Menjadwalkan dan mengelola aplikasi YARN | |
| hive-metastore | semua | Mengelola metadata tabel Hive. Secara default, menggunakan database mariadb (versi image < 1.5) atau mysql (versi image 1.5+) lokal di node master sebagai penyimpanan metadata tabel Hive.
Penggunaan database default tidak direkomendasikan karena database ini terkait dengan siklus proses cluster. Sebagai gantinya, gunakan salah satu dari berikut ini sebagai
database metastore Hive (dalam urutan rekomendasi):
|
|
| hive-server2 | semua | Menyajikan kueri yang diterima dari klien (terutama kueri shell beeline) terhadap Hive | |
| zookeeper-server | semua | Quorum ZooKeeper digunakan untuk koordinasi terdistribusi. Dalam cluster Ketersediaan Tinggi (HA), ZooKeeper digunakan untuk pemilihan pemimpin NameNode HDFS dan resource manager YARN. | |
| Hanya master 0 dan 1 | hadoop-hdfs-namenode | semua | Mengelola sistem file HDFS |
| hadoop-hdfs-zkfc | semua | ZKFC adalah proses ZKFailoverController, yang berjalan
dengan HDFS NameNode. ZKFC memantau kondisi NameNode, dan mengelola pemilihan
pemimpin melalui ZooKeeper jika terjadi failover. |
|
| Hanya Master 0 | hadoop-mapreduce-historyserver | semua | Menyajikan informasi histori aplikasi mapreduce |
| hadoop-yarn-timelineserver | 1.3+ | Menyajikan informasi histori aplikasi YARN | |
| mariadb | < 1,5 | Database relasional yang digunakan sebagai database pokok default untuk metastore Hive di image Managed Service untuk Apache Spark < 1.5 | |
| mysql | 1,5+ | Database relasional yang digunakan sebagai database pokok default untuk metastore Hive dalam image Managed Service untuk Apache Spark 1.5+ | |
| nfs-kernel-server | < 1,3 | NFS adalah Network File System. | |
| spark-history-server | semua | Menyajikan informasi histori aplikasi Spark |