Membuat dan mengamankan cluster metastore Hive

Ringkasan

Saat Anda membuat cluster Managed Service untuk Apache Spark, aplikasi Apache Hive dan komponennya, termasuk Hive metastore, diinstal di cluster, dan sandi default ditetapkan dalam file hive-site.xml yang berada di node master cluster.

Sebaiknya tentukan sandi metastore Hive Anda sendiri untuk mencapai tujuan berikut:

  • Sebagai langkah keamanan terbaik untuk memastikan Anda mengontrol akses ke metastore Hive lokal dengan memberikan sandi Anda sendiri

  • Untuk menentukan sandi yang diketahui yang mengontrol akses ke metastore Hive eksternal yang digunakan dengan database eksternal yang dibagikan di antara berbagai cluster

Menetapkan sandi metastore Hive

Jalankan perintah Google Cloud CLI Managed Service for Apache Spark clusters create berikut untuk membuat cluster Managed Service untuk Apache Spark dan menentukan sandi metastore Hive.

gcloud dataproc clusters create cluster-name
 --properties="hive:javax.jdo.option.ConnectionPassword=HIVE_METASTORE_PASSWORD"

Catatan:

  • Lihat Membuat kunci untuk membuat kunci di Cloud Key Management Service.
  • Sandi metastore Hive hanya disimpan di node master cluster, bukan di node worker.

Untuk mengetahui informasi tambahan tentang mengamankan cluster Managed Service untuk Apache Spark, lihat Praktik terbaik keamanan Managed Service untuk Apache Spark.

Skenario yang Tidak Didukung

Managed Service untuk Apache Spark tidak mendukung skenario metastore Hive berikut, terlepas dari apakah Anda menggunakan sandi metastore Hive default atau yang disediakan pengguna:

  • Anda menggunakan klien metastore tersemat di driver Spark yang berjalan dalam mode cluster, sehingga worker node memerlukan sandi Hive. Skenario ini dapat menyebabkan masalah konektivitas dengan database metastore karena koneksi tidak dilakukan melalui proses HiveMetaStore yang berjalan di node master Managed Service untuk Apache Spark.

  • Anda menonaktifkan metastore Hive dan hive-server2 untuk menggunakan database MySQL Anda sendiri. Dalam skenario ini, properti spark.hadoop.javax.jdo.option.ConnectionURL=jdbc:mysql://CLUSTER_NAME-m/metastore tidak berpengaruh.