Komponen Managed Service untuk Apache Spark

Dokumen ini memberikan ringkasan berbagai jenis komponen yang tersedia di cluster Managed Service untuk Apache Spark. Memahami komponen ini sangat penting untuk mengonfigurasi cluster Anda agar menyertakan alat dan layanan yang diperlukan untuk workload big data Anda. Komponen Managed Service untuk Apache Spark dikategorikan sebagai komponen yang diinstal, opsional, atau tindakan inisialisasi.

Jenis komponen

Cluster Managed Service untuk Apache Spark memiliki jenis komponen berikut:

• Komponen yang diinstal: Komponen yang diinstal dalam image dan diaktifkan saat cluster dibuat.

• Komponen opsional: Komponen yang Anda pilih untuk diinstal dan digunakan di cluster saat Anda membuat cluster. Managed Service untuk Apache Spark menginstal dan mengaktifkan komponen opsional bergantung pada versi image cluster sebagai berikut:

  • 2.2 dan versi image sebelumnya: Komponen opsional diinstal secara otomatis. Komponen opsional yang dipilih diaktifkan dan komponen opsional yang tidak dipilih akan di-uninstal saat pembuatan cluster.

  • Versi image 2.3 dan yang lebih baru: Semua komponen opsional diinstal selama pembuatan cluster, kecuali komponen opsional Jupyter, Iceberg, dan Delta Lake, yang sudah diinstal sebelumnya di versi image 2.3 dan yang lebih baru. Komponen opsional yang telah diinstal sebelumnya dihapus dari cluster versi gambar 2.3 atau yang lebih baru jika tidak diaktifkan saat cluster dibuat. Untuk mengetahui informasi selengkapnya, lihat Versi rilis Managed Service untuk Apache Spark 2.3.x.

    Untuk menghindari peningkatan waktu mulai cluster versi image 2.3 dan yang lebih baru, buat image kustom dengan komponen opsional yang telah diinstal sebelumnya. Anda dapat melakukannya dengan menjalankan generate_custom_image.py dengan tanda --optional-components.

• Komponen tindakan inisialisasi: Komponen yang diinstal pada cluster sebagai bagian dari tindakan inisialisasi yang Anda tentukan saat membuat cluster.

Komponen opsional diinstal pada cluster sebelum tindakan inisialisasi dijalankan di cluster.

Halaman versi image Managed Service untuk Apache Spark mencantumkan komponen dan jenis komponen yang tersedia dalam rilis image Managed Service untuk Apache Spark terbaru.

Komponen opsional memiliki keuntungan berikut dibandingkan tindakan inisialisasi yang digunakan untuk menginstal komponen:

• Komponen opsional diuji agar kompatibel dengan versi Managed Service untuk Apache Spark tertentu.
• Komponen opsional diaktifkan dengan parameter pembuatan cluster; tindakan inisialisasi memerlukan skrip.

Komponen opsional yang tersedia

Komponen opsional	Nama komponen dalam perintah Google Cloud CLI dan permintaan API	Versi Gambar	Tahap Rilis
Delta Lake	DELTA	2.2.46 dan yang lebih baru	GA
Docker	DOCKER	1.5 dan yang lebih baru	GA
Flink	FLINK	1.5 dan yang lebih baru	GA
HBase	HBASE	1.5 dan yang lebih baru (tidak tersedia di 2.1 dan yang lebih baru)	Tidak digunakan lagi
Hive WebHCat	HIVE_WEBHCAT	1.3 dan yang lebih baru	GA
Hudi	HUDI	1.5 dan yang lebih baru	GA
Iceberg	ICEBERG	2.2 dan yang lebih baru	GA
Jupyter Notebook	JUPYTER	1.3 dan yang lebih baru	GA
Pig	PIG	1.5^* dan yang lebih baru	GA
Presto	PRESTO	1.3 dan yang lebih baru (tidak tersedia di 2.1 dan yang lebih baru)	GA
Ranger	RANGER	1.3 dan yang lebih baru	GA
Solr	SOLR	1.3 dan yang lebih baru	GA
Trino	TRINO	2.1 dan yang lebih baru	GA
Notebook Zeppelin	ZEPPELIN	1.3 dan yang lebih baru	GA
ZooKeeper	ZOOKEEPER	1.0 dan yang lebih baru	GA

Catatan:

• Apache Pig adalah komponen opsional dalam versi image 2.3 dan yang lebih baru. Aplikasi ini telah diinstal sebelumnya di 2.2 dan versi image yang lebih lama.

Lihat Antarmuka web cluster untuk menghubungkan ke antarmuka Web komponen yang berjalan di cluster. Lihat juga Component Gateway Managed Service untuk Apache Spark, yang memungkinkan Anda terhubung ke antarmuka web komponen inti dan opsional Managed Service untuk Apache Spark, termasuk UI YARN, HDFS, Jupyter, dan Zeppelin, tanpa memerlukan penggunaan tunnel SSH atau modifikasi aturan firewall untuk mengizinkan traffic masuk.

Menambahkan komponen opsional

Catatan: Contoh penggunaan berikut berlaku untuk komponen Ketersediaan Umum (GA).

KonsolGoogle Cloud

1. Di konsol Google Cloud , buka halaman Create cluster.
2. Klik Konfigurasi tambahan untuk meluaskan bagian tersebut.
3. Edit Komponen opsional.
4. Di panel yang terbuka, centang kotak untuk komponen opsional yang ingin Anda instal di cluster, lalu klik Simpan.

gcloud CLI

Untuk membuat cluster Managed Service untuk Apache Spark dan menginstal satu atau beberapa komponen opsional di cluster, gunakan perintah gcloud beta dataproc clusters create cluster-name dengan tanda --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

REST API

Komponen opsional dapat ditentukan melalui Dataproc API menggunakan SoftwareConfig.Component sebagai bagian dari permintaan clusters.create.