Komponen Solr opsional Managed Service untuk Apache Spark

Anda dapat menginstal komponen tambahan seperti Solr saat membuat cluster Managed Service untuk Apache Spark menggunakan fitur Komponen opsional. Halaman ini menjelaskan komponen Solr.

Komponen Apache Solr adalah platform penelusuran perusahaan yang bersifat open source. Server Solr dan UI Web tersedia di port 8983 pada node master cluster.

Mempertahankan file Solr: Secara default, Solr menulis dan membaca file log transaksi dan indeks diHDFS. Untuk mempertahankan file Solr, gunakan jalur Cloud Storage sebagai direktori utama Solr dengan menetapkan properti clusterdataproc:solr.gcs.path saat Anda menginstal komponen.

Menginstal komponen

Instal komponen saat Anda membuat cluster Managed Service untuk Apache Spark. Komponen dapat ditambahkan ke cluster yang dibuat dengan Managed Service untuk Apache Spark versi 1.3 dan yang lebih baru.

Lihat Versi Managed Service untuk Apache Spark yang didukung untuk mengetahui versi komponen yang disertakan dalam setiap rilis image Managed Service untuk Apache Spark.

Perintah gcloud

Untuk membuat cluster Managed Service untuk Apache Spark yang menyertakan komponen Solr, gunakan gcloud dataproc clusters create cluster-name perintah dengan flag --optional-components. Contoh perintah di bawah menggunakan flag properties opsional untuk menetapkan jalur Cloud Storage sebagai direktori utama Solr.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags
Tambahkan properti cluster ke perintah gcloud dataproc clusters create untuk menetapkan bucket Cloud Storage tempat dokumen Solr akan disimpan (direktori utama Solr).--properties="dataproc:solr.gcs.path=gs://bucket-name/"

REST API

Komponen Solr dapat ditentukan melalui Managed Service untuk Apache Spark API menggunakan SoftwareConfig.Component sebagai bagian dari permintaan clusters.create.

Konsol

  1. Aktifkan komponen dan gateway komponen.
    • Di Google Cloud konsol, buka halaman Managed Service untuk Apache Spark Buat cluster. Panel Set up cluster dipilih.
    • Di bagian Komponen:
      • Di bagian Komponen opsional, pilih Solr dan komponen opsional lainnya untuk diinstal di cluster Anda.
      • Di bagian Gateway Komponen, pilih Aktifkan gateway komponen (lihat Melihat dan Mengakses URL Gateway Komponen).