Componenti di Managed Service for Apache Spark

Managed Service for Apache Spark consente di personalizzare gli ambienti dei cluster con gli strumenti e i servizi necessari per i workload di big data. Questi componenti sono classificati come componenti installati, opzionali o di azioni di inizializzazione.

Tipi di componenti

I cluster Managed Service for Apache Spark presentano i seguenti tipi di componenti:

• Componenti installati: componenti installati nell'immagine e attivati al momento della creazione del cluster.

• Componenti facoltativi: componenti che selezioni per l'installazione e l'utilizzo sul tuo cluster quando lo crei. Managed Service for Apache Spark installa e attiva i componenti facoltativi a seconda della versione dell'immagine del cluster, come segue:

  • 2.2 e versioni immagine precedenti: i componenti facoltativi vengono installati automaticamente. I componenti facoltativi selezionati vengono attivati e quelli non selezionati vengono disinstallati al momento della creazione del cluster.

  • Versioni immagine 2.3 e successive: tutti i componenti facoltativi vengono installati durante la creazione del cluster, ad eccezione dei componenti facoltativi Jupyter, Iceberg e Delta Lake, che sono preinstallati nelle versioni immagine 2.3 e successive. I componenti opzionali preinstallati vengono rimossi da un cluster con versione immagine 2.3 o successiva se non sono abilitati al momento della creazione del cluster. Per saperne di più, consulta Versioni di release di Managed Service for Apache Spark 2.3.x.

    Per evitare un aumento del tempo di avvio per i cluster con versione immagine 2.3 e successive, crea un'immagine personalizzata con componenti facoltativi preinstallati. Per farlo, esegui generate_custom_image.py con il flag --optional-components.

• Componenti delle azioni di inizializzazione: componenti installati su un cluster nell'ambito di un'azione di inizializzazione che specifichi quando crei un cluster.

I componenti facoltativi vengono installati su un cluster prima che vengano eseguite le azioni di inizializzazione sul cluster.

Le pagine delle versioni immagine di Managed Service for Apache Spark elencano i componenti e i tipi di componenti disponibili nelle ultime release delle immagini di Managed Service for Apache Spark.

I componenti facoltativi presentano i seguenti vantaggi rispetto alle azioni di inizializzazione utilizzate per installare i componenti:

• I componenti facoltativi sono testati per essere compatibili con versioni specifiche di Managed Service for Apache Spark.
• I componenti opzionali vengono attivati con un parametro di creazione del cluster; le azioni di inizializzazione richiedono uno script.

Componenti facoltativi disponibili

Componente facoltativo	Nome del componente nei comandi Google Cloud CLI e nelle richieste API	Versione immagine	Fase di rilascio
Delta Lake	DELTA	2.2.46 e versioni successive	GA
Docker	DOCKER	1.5 e versioni successive	GA
Flink	FLINK	1.5 e versioni successive	GA
HBase	HBASE	1.5 e versioni successive (non disponibile nella versione 2.1 e successive)	Deprecato
Hive WebHCat	HIVE_WEBHCAT	1.3 e versioni successive	GA
Hudi	HUDI	1.5 e versioni successive	GA
Iceberg	ICEBERG	2.2 e versioni successive	GA
Jupyter Notebook	JUPYTER	1.3 e versioni successive	GA
Pig	PIG	1.5^* e versioni successive	GA
Presto	PRESTO	1.3 e versioni successive (non disponibile nella versione 2.1 e successive)	GA
Ranger	RANGER	1.3 e versioni successive	GA
Solr	SOLR	1.3 e versioni successive	GA
Trino	TRINO	2.1 e versioni successive	GA
Zeppelin Notebook	ZEPPELIN	1.3 e versioni successive	GA
ZooKeeper	ZOOKEEPER	1.0 e versioni successive	GA

Note:

• Apache Pig è un componente facoltativo nelle versioni immagine 2.3 e successive. Era preinstallato in 2.2 e nelle versioni immagine precedenti.

Consulta Interfacce web del cluster per connetterti alle interfacce web dei componenti in esecuzione sui cluster. Consulta anche il gateway dei componenti di Managed Service for Apache Spark, che ti consente di connetterti alle interfacce web dei componenti principali e facoltativi di Managed Service for Apache Spark, tra cui le UI di YARN, HDFS, Jupyter e Zeppelin, senza richiedere l'utilizzo di tunnel SSH o la modifica delle regole firewall per consentire il traffico in entrata.

Aggiungi componenti facoltativi

Nota: i seguenti esempi di utilizzo si applicano ai componenti in disponibilità generale (GA).

ConsoleGoogle Cloud

1. Nella console Google Cloud , apri la pagina Crea cluster.
2. Fai clic su Configurazione aggiuntiva per espandere la sezione.
3. Modifica i componenti facoltativi.
4. Nel riquadro che si apre, seleziona le caselle di controllo dei componenti facoltativi che vuoi installare nel cluster, quindi fai clic su Salva.

gcloud CLI

Per creare un cluster Managed Service for Apache Spark e installare uno o più componenti facoltativi sul cluster, utilizza il comando gcloud beta dataproc clusters create cluster-name con il flag --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

API REST

I componenti facoltativi possono essere specificati tramite l'API Dataproc utilizzando SoftwareConfig.Component nell'ambito di una richiesta clusters.create.