Modalità alta disponibilità

Quando crei un cluster Managed Service for Apache Spark, puoi impostare la modalità di alta affidabilità (HA) di Hadoop specificando il numero di istanze master nel cluster. Il numero di master può essere specificato solo al momento della creazione del cluster.

Al momento, Managed Service for Apache Spark supporta due configurazioni master:

• 1 master (predefinito, non HA)
• 3 master (Hadoop HA)

Confronto tra la modalità predefinita e la modalità di alta disponibilità di Hadoop

A causa della complessità e del costo più elevato della modalità ad alta disponibilità, utilizza la modalità predefinita a meno che il tuo caso d'uso non richieda la modalità ad alta disponibilità.

• Errore di Compute Engine:nel raro caso di un errore imprevisto di Compute Engine, le istanze Managed Service for Apache Spark subiranno un riavvio della macchina. La configurazione predefinita a singolo master per Managed Service for Apache Spark è progettata per recuperare e continuare a elaborare nuovi lavori in questi casi, ma i job in corso non riusciranno e dovranno essere riprovati e HDFS non sarà accessibile finché il singolo NameNode non verrà ripristinato completamente al riavvio. In modalità HA, alta disponibilità HDFS e alta disponibilità YARN sono configurate per consentire operazioni YARN e HDFS senza interruzioni nonostante eventuali errori/riavvii di singoli nodi.

• Terminazione del driver del job:il driver/programma principale di tutti i job eseguiti rappresenta ancora un potenziale singolo punto di errore se la correttezza del job dipende dall'esecuzione corretta del programma driver. I job inviati tramite l'API Managed Service per Apache Spark Jobs non sono considerati "ad alta disponibilità" e verranno comunque terminati in caso di errore del nodo master che esegue i programmi driver del job corrispondenti. Affinché i singoli job siano resilienti agli errori dei singoli nodi utilizzando un cluster Cloud Dataproc HA, il job deve 1) essere eseguito senza un programma driver sincrono oppure 2) deve eseguire il programma driver stesso all'interno di un container YARN ed essere scritto per gestire i riavvii del programma driver. Per un esempio di come i programmi driver riavviabili possono essere eseguiti all'interno di container YARN per la tolleranza agli errori, consulta Avvio di Spark su YARN.

• Errore zonale:come per tutti i cluster Managed Service for Apache Spark, tutti i nodi di un cluster ad alta disponibilità si trovano nella stessa zona. Se si verifica un errore che interessa tutti i nodi di una zona, l'errore non verrà mitigato.

Nomi delle istanze

Il master predefinito è denominato cluster-name-m; i master HA sono denominati cluster-name-m-0, cluster-name-m-1, cluster-name-m-2.

Apache ZooKeeper

In un cluster Managed Service for Apache Spark HA, il componente Zookeeper viene installato automaticamente sui nodi master del cluster. Tutti i nodi master partecipano a un cluster ZooKeeper, che consente il failover automatico per altri servizi Hadoop.

HDFS

In un cluster Managed Service for Apache Spark standard:

• cluster-name-m runs:
  • NameNode
  • NameNode secondario

In un cluster Managed Service for Apache Spark ad alta disponibilità:

• Esecuzione di cluster-name-m-0 e cluster-name-m-1:
  • NameNode
  • ZKFailoverController
• Tutti i master eseguono JournalNode
• Non esiste un NameNode secondario

Per ulteriori dettagli sui componenti, consulta la documentazione relativa all'alta disponibilità di HDFS.

YARN

In un cluster Managed Service for Apache Spark standard, cluster-name-m esegue ResourceManager.

In un cluster Managed Service for Apache Spark ad alta disponibilità, tutti i master eseguono ResourceManager.

Per ulteriori dettagli sui componenti, consulta la documentazione relativa all'alta disponibilità di YARN.

Crea un cluster ad alta disponibilità

Comando g-cloud

Configurazione di gcloud CLI: devi configurare gcloud CLI per utilizzare Google Cloud CLI.

Per creare un cluster HA con gcloud dataproc clusters create, esegui questo comando:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-masters=3 \
    ... other args

API REST

Per creare un cluster HA, utilizza l'API clusters.create, impostando masterConfig.numInstances su 3.

Un modo semplice per creare il corpo JSON di una richiesta di creazione di un cluster HA consiste nel creare la richiesta dalla pagina Crea un cluster di Managed Service for Apache Spark della consoleGoogle Cloud . Seleziona Alta disponibilità (3 master, N worker) nella sezione Tipo di cluster del riquadro Configura cluster, quindi fai clic sul pulsante REST equivalente nella parte inferiore del riquadro a sinistra. Ecco un snippet di un output JSON di esempio prodotto dalla console per una richiesta di creazione di un cluster HA:

...
masterConfig": {
  "numInstances": 3,
  "machineTypeUri": "n1-standard-4",
  "diskConfig": {
    "bootDiskSizeGb": 500,
    "numLocalSsds": 0
  }
}
...

Console

Per creare un cluster HA, seleziona Alta disponibilità (3 master, N worker) nella sezione Tipo di cluster del riquadro Configura cluster nella pagina Crea un cluster di Managed Service for Apache Spark.