Komponen Zeppelin opsional Managed Service untuk Apache Spark

Anda dapat menginstal komponen tambahan seperti Zeppelin saat membuat cluster Managed Service untuk Apache Spark menggunakan fitur Komponen opsional. Halaman ini menjelaskan komponen Zeppelin.

Komponen Zeppelin Notebook adalah notebook berbasis Web untuk analisis data interaktif. UI Web Zeppelin tersedia di port 8080 pada node master pertama cluster.

Secara default, notebook disimpan di Cloud Storage di bucket staging Managed Service untuk Apache Spark, yang ditentukan oleh pengguna atau dibuat otomatis saat cluster dibuat. Lokasinya dapat diubah pada waktu pembuatan cluster melalui properti zeppelin:zeppelin.notebook.gcs.dir.

• Zeppelin dapat dikonfigurasi dengan menyediakan zeppelin dan zeppelin-env properti cluster yang diawali dengan .
  • Untuk mengurangi risiko eksekusi kode jarak jauh melalui API server notebook yang tidak aman, setelan properti cluster default zeppelin:zeppelin.server.addr untuk versi image 1.3+ adalah 127.0.0.1, yang membatasi koneksi ke localhost saat Gateway Komponen diaktifkan.

Menginstal komponen

Instal komponen saat Anda membuat cluster Managed Service untuk Apache Spark. Komponen dapat ditambahkan ke cluster yang dibuat dengan Managed Service untuk Apache Spark versi 1.3 dan yang lebih baru.

Lihat Versi Dataproc yang didukung untuk mengetahui versi komponen yang disertakan dalam setiap rilis image Managed Service untuk Apache Spark.

Perintah gcloud

Untuk membuat cluster Managed Service untuk Apache Spark yang menyertakan komponen Zeppelin, gunakan gcloud dataproc clusters create cluster-name perintah dengan flag --optional-components.

Saat membuat cluster (versi image 1.3.29 atau yang lebih baru), gunakan perintah gcloud dataproc clusters create dengan --enable-component-gateway flag, seperti yang ditunjukkan di bawah, untuk mengaktifkan koneksi ke UI Web notebook Zeppelin menggunakan Gateway Komponen.

gcloud dataproc clusters create cluster-name \
    --optional-components=ZEPPELIN \
    --region=region \
    --enable-component-gateway \
    ... other flags

REST API

Komponen Zeppelin dapat ditentukan melalui Managed Service untuk Apache Spark API menggunakan SoftwareConfig.Component sebagai bagian dari permintaan clusters.create.

Dengan menggunakan Managed Service untuk Apache Spark v1 API, tetapkan properti EndpointConfig.enableHttpPortAccess ke true sebagai bagian dari permintaan clusters.create untuk mengaktifkan koneksi ke UI Web notebook Zeppelin menggunakan Gateway Komponen.

Konsol

1. Aktifkan komponen dan gateway komponen.
   • Di Google Cloud konsol, buka halaman Managed Service untuk Apache Spark Buat cluster. Panel Set up cluster dipilih.
   • Di bagian Komponen:
     • Di bagian Komponen opsional, pilih Zeppelin dan komponen opsional lainnya untuk diinstal di cluster Anda.
     • Di bagian Gateway Komponen, pilih Aktifkan gateway komponen (lihat Melihat dan Mengakses URL Gateway Komponen).

Membuka notebook Zeppelin

Lihat Melihat dan Mengakses URL Gateway Komponen untuk mengklik link Gateway Komponen di Google Cloud konsol guna membuka UI notebook Zeppelin yang berjalan di node master cluster di browser lokal Anda.