Crea e proteggi un cluster metastore Hive

Panoramica

Quando crei un cluster Managed Service for Apache Spark, l'applicazione Apache Hive e i suoi componenti, incluso il metastore Hive, vengono installati sul cluster e viene impostata una password predefinita nel file hive-site.xml che si trova sul nodo master del cluster.

Per raggiungere i seguenti obiettivi, ti consigliamo di specificare la tua password del metastore Hive:

  • Come misura di sicurezza basata sulle best practice per garantire il controllo dell'accesso al metastore Hive locale fornendo la tua password

  • Per specificare una password nota che controlla l'accesso ai metastore Hive esterni utilizzati con database esterni condivisi tra cluster diversi

Imposta la password del metastore Hive

Esegui il seguente comando Google Cloud CLI Managed Service for Apache Spark clusters create per creare un cluster Managed Service for Apache Spark e specifica una password del metastore Hive.

gcloud dataproc clusters create cluster-name
 --properties="hive:javax.jdo.option.ConnectionPassword=HIVE_METASTORE_PASSWORD"

Note:

  • Consulta Crea una chiave per creare una chiave in Cloud Key Management Service.
  • La password del metastore Hive viene archiviata solo sui nodi master del cluster, non sui nodi worker.

Per ulteriori informazioni sulla protezione dei cluster Managed Service for Apache Spark, consulta Best practice per la sicurezza di Managed Service for Apache Spark.

Scenari non supportati

Managed Service for Apache Spark non supporta i seguenti scenari di metastore Hive, indipendentemente dal fatto che utilizzi la password del metastore Hive predefinita o fornita dall'utente:

  • Utilizzi un client metastore incorporato nel driver Spark in esecuzione in modalità cluster, in modo che i nodi worker richiedano le password Hive. Questo scenario può causare problemi di connettività con il database del metastore, poiché la connessione non viene stabilita tramite il processo HiveMetaStore in esecuzione sul nodo master di Managed Service for Apache Spark.

  • Disattivi il metastore Hive e hive-server2 per utilizzare il tuo database MySQL. In questo scenario, la proprietà spark.hadoop.javax.jdo.option.ConnectionURL=jdbc:mysql://CLUSTER_NAME-m/metastore non ha alcun effetto.