"Managed Service for Apache Spark" è il nuovo nome del prodotto precedentemente noto come "Dataproc on Compute Engine" (deployment del cluster) e "Google Cloud Serverless for Apache Spark" (deployment serverless).

Esegui il backup e ripristina uno schema Ranger

Questa pagina mostra come eseguire il backup e il ripristino di uno schema Ranger su cluster Managed Service for Apache Spark con Ranger.

Prima di iniziare

Crea un bucket, se necessario. Devi avere accesso a un bucket Cloud Storage, che utilizzerai per archiviare e ripristinare uno schema Ranger.

Per creare un bucket:
1. Nella console Google Cloud , vai alla pagina Bucket in Cloud Storage.
  Vai a Bucket
2. Fai clic su Crea.
3. Nella pagina Crea un bucket, inserisci le informazioni del bucket. Per andare al passaggio successivo, fai clic su Continua.
  1. Nella sezione Inizia, segui questi passaggi:
    - Inserisci un nome univoco globale che soddisfi i requisiti per la denominazione dei bucket.
    - Per aggiungere un'etichetta bucket, espandi la sezione Etichette (), fai clic su Aggiungi etichetta e specifica un key e un value per l'etichetta.
  2. Nella sezione Scegli dove archiviare i tuoi dati, segui questi passaggi:
    1. Seleziona un Tipo di località.
    2. Scegli una posizione in cui i dati del bucket vengono archiviati in modo permanente dal menu a discesa Tipo di località.
      - Se selezioni il tipo di località a due regioni, puoi anche scegliere di attivare la replica turbo utilizzando la casella di controllo pertinente.
    3. Per configurare la replica tra bucket, seleziona Aggiungi una replica tra bucket mediante Storage Transfer Service e segui questi passaggi:
      Configura la replica tra bucket
      
      Nel menu Bucket, seleziona un bucket.
      
      Nella sezione Impostazioni di replica, fai clic su Configura per configurare le impostazioni per il job di replica.
      
      Viene visualizzato il riquadro Configura replica tra bucket.
      
      Per filtrare gli oggetti da replicare in base al prefisso del nome dell'oggetto, inserisci un prefisso da cui includere o escludere gli oggetti, quindi fai clic su Aggiungi un prefisso.
      
      Per impostare una classe di archiviazione per gli oggetti replicati, seleziona una classe di archiviazione dal menu Classe di archiviazione. Se salti questo passaggio, gli oggetti replicati utilizzeranno per impostazione predefinita la classe di archiviazione del bucket di destinazione.
      
      Fai clic su Fine.
  3. Nella sezione Scegli come archiviare i tuoi dati, segui questi passaggi:
    1. Seleziona una classe di archiviazione predefinita per il bucket o Autoclass per la gestione automatica della classe di archiviazione dei dati del bucket.
    2. Per attivare lo spazio dei nomi gerarchico, nella sezione Ottimizza l'archiviazione per workload con uso intensivo dei dati, seleziona Abilita uno spazio dei nomi gerarchico in questo bucket.
      Nota: non puoi abilitare lo spazio dei nomi gerarchico nei bucket esistenti.
  4. Nella sezione Scegli come controllare l'accesso agli oggetti, seleziona se il bucket applica o meno la prevenzione dell'accesso pubblico e seleziona un metodo di controllo dell'accesso per gli oggetti del bucket.
    Nota:non puoi modificare l'impostazione Impedisci l'accesso pubblico se questa impostazione viene applicata a un criterio dell'organizzazione.
  5. Nella sezione Scegli come proteggere i dati degli oggetti, segui questi passaggi:
    - Seleziona una delle opzioni in Protezione dei dati che vuoi impostare per il bucket.
      - Per attivare l'eliminazione temporanea, fai clic sulla casella di controllo Criterio di eliminazione temporanea (per il recupero dei dati) e specifica il numero di giorni per cui vuoi conservare gli oggetti dopo l'eliminazione.
      - Per impostare il controllo delle versioni degli oggetti, seleziona la casella di controllo Controllo delle versioni degli oggetti (per il controllo delle versioni) e specifica il numero massimo di versioni per oggetto e il numero di giorni dopo i quali scadono le versioni non correnti.
      - Per abilitare il criterio di conservazione su oggetti e bucket, seleziona la casella di controllo Conservazione (per la conformità), quindi procedi nel seguente modo:
        
        Per attivare il blocco della conservazione degli oggetti, fai clic sulla casella di controllo Abilita conservazione degli oggetti.
        
        Per attivare Bucket Lock, fai clic sulla casella di controllo Imposta criterio di conservazione del bucket e scegli un'unità di tempo e una durata per il periodo di conservazione.
    - Per scegliere come verranno criptati i dati degli oggetti, espandi la sezione Crittografia dei dati () e seleziona un metodo di crittografia dei dati.
4. Fai clic su Crea.

Eseguire il backup di uno schema Ranger

Utilizza SSH per connetterti al nodo master Managed Service for Apache Spark del cluster con lo schema Ranger. Esegui i comandi in questa sezione nella sessione del terminale SSH in esecuzione sul nodo master.
Imposta le variabili di ambiente.
```
BUCKET_NAME=bucket name \
  MYSQL_PASSWORD=MySQL password
  SCHEMA_FILE=schema filename
```
Sostituisci quanto segue:
- MySQL password: puoi aprire /etc/mysql/my.cnf sul nodo master del cluster per copiare la password MySQL.
- bucket name: il nome del bucket Cloud Storage da utilizzare per archiviare lo schema Ranger.
- schema filename: specifica un nome file, senza l'estensione del nome file .sql. Lo schema Ranger viene salvato in questo file sul nodo master, quindi salvato in bucket name in Cloud Storage .

Interrompi i servizi Hive.

sudo systemctl stop hive-metastore.service
sudo systemctl stop hive-server2.service

Impedisci le modifiche alle tabelle dello schema Ranger.

mysql -u root -p${MYSQL_PASSWORD}
REVOKE ALL PRIVILEGES ON ranger.* from 'rangeradmin'@'localhost';
GRANT SELECT ON ranger.* TO 'rangeradmin'@'localhost';
FLUSH PRIVILEGES;
SHOW GRANTS FOR 'rangeradmin'@'localhost';
exit;

Salva lo schema Ranger in un file .sql.

mysqldump -u root -p${MYSQL_PASSWORD} ranger > ${SCHEMA_FILE}.sql

Reimposta i privilegi di Ranger.

mysql -u root -p${MYSQL_PASSWORD}
REVOKE SELECT ON ranger.* from 'rangeradmin'@'localhost';
GRANT ALL PRIVILEGES ON ranger.* to 'rangeradmin'@'localhost';
FLUSH PRIVILEGES;
SHOW GRANTS FOR 'rangeradmin'@'localhost';
exit;

Riavvia i servizi Hive e Ranger.

sudo systemctl start hive-metastore.service
  sudo systemctl start hive-server2.service
  sudo systemctl restart ranger-admin.service
  sudo systemctl restart ranger-usersync.service

Copia lo schema Ranger in Cloud Storage.

gcloud storage cp ${SCHEMA_FILE}.sql gs://${BUCKET_NAME}

Ripristinare uno schema Ranger

Utilizza SSH per connetterti al nodo master Managed Service for Apache Spark del cluster in cui ripristinerai lo schema del cluster. Esegui i comandi in questa sezione nella sessione del terminale SSH in esecuzione sul nodo master.
Imposta le variabili di ambiente.
```
BUCKET_NAME=bucket name \
  MYSQL_PASSWORD=MySQL password
  SCHEMA_FILE=schema filename
```
Sostituisci quanto segue:
- MySQL password: puoi aprire /etc/mysql/my.cnf sul nodo master del cluster per copiare la password MySQL.
- bucket name: il nome del bucket Cloud Storage che contiene lo schema Ranger salvato.
- schema filename: il nome del file dello schema Ranger, senza l'estensione del nome file .sql, salvato in bucket name in Cloud Storage.