Managed Service for Apache Spark-Komponenten

In diesem Dokument finden Sie eine Übersicht über die verschiedenen Arten von Komponenten, die in Managed Service for Apache Spark-Clustern verfügbar sind. Das Verständnis dieser Komponenten ist für die Konfiguration Ihrer Cluster unerlässlich, damit sie die erforderlichen Tools und Dienste für Ihre Big-Data-Arbeitslasten enthalten. Managed Service for Apache Spark-Komponenten werden in die Kategorien „Installierte Komponenten“, „Optionale Komponenten“ und „Komponenten für Initialisierungsaktionen“ unterteilt.

Komponententypen

Managed Service for Apache Spark-Cluster umfassen die folgenden Arten von Komponenten:

• Installierte Komponenten: Komponenten, die im Image installiert und beim Erstellen des Clusters aktiviert werden.

• Optionale Komponenten: Komponenten, die Sie beim Erstellen des Clusters zur Installation und Verwendung in Ihrem Cluster auswählen. Managed Service for Apache Spark installiert und aktiviert optionale Komponenten je nach Cluster-Image-Version wie folgt:

  • Image-Versionen 2.2 und früher: Optionale Komponenten werden automatisch installiert. Ausgewählte optionale Komponenten werden beim Erstellen des Clusters aktiviert und nicht ausgewählte optionale Komponenten werden deinstalliert.

  • Image-Versionen 2.3 und höher: Alle optionalen Komponenten werden beim Erstellen des Clusters installiert. Ausgenommen sind die optionalen Komponenten Jupyter, Iceberg und Delta Lake, die in Image-Versionen 2.3 und höher vorinstalliert sind. Vorinstallierte optionale Komponenten werden aus einem Cluster mit Image-Version 2.3 oder höher entfernt, wenn sie beim Erstellen des Clusters nicht aktiviert sind. Weitere Informationen finden Sie unter Managed Service for Apache Spark 2.3.x-Release-Versionen.

    Um die Startzeit für Cluster mit Image-Version 2.3 und höher nicht zu verlängern, erstellen Sie ein benutzerdefiniertes Image mit vorinstallierten optionalen Komponenten. Dazu können Sie generate_custom_image.py mit dem --optional-components Flag ausführen.

• Komponenten für Initialisierungsaktionen: Komponenten, die im Rahmen einer Initialisierungsaktion in einem Cluster installiert werden, die Sie beim Erstellen eines Clusters angeben.

Optionale Komponenten werden in einem Cluster installiert, bevor Initialisierungsaktionen auf dem Cluster ausgeführt werden.

Auf den Seiten zu den Managed Service for Apache Spark-Image-Versionen sind die Komponenten und Komponententypen aufgeführt, die in den neuesten Managed Service for Apache Spark-Image-Releases verfügbar sind.

Optionale Komponenten haben gegenüber Initialisierungsaktionen, die zum Installieren von Komponenten verwendet werden, folgende Vorteile:

• Optionale Komponenten werden auf Kompatibilität mit bestimmten Managed Service for Apache Spark-Versionen getestet.
• Optionale Komponenten werden mit einem Parameter für die Clustererstellung aktiviert. Für Initialisierungsaktionen ist ein Skript erforderlich.

Verfügbare optionale Komponenten

Optionale Komponente	Komponentenname in Google Cloud CLI-Befehlen und API-Anfragen	Image-Version	Releasestufe
Delta Lake	DELTA	2.2.46 oder höher	GA
Docker	DOCKER	1.5 oder höher	GA
Flink	FLINK	1.5 oder höher	AV
HBase	HBASE	1.5 oder höher (nicht in 2.1 oder höher verfügbar)	Eingestellte Funktionen
Hive WebHCat	HIVE_WEBHCAT	1.3 oder höher	GA
Hudi	HUDI	1.5 oder höher	GA
Iceberg	ICEBERG	2.2 oder höher	GA
Jupyter-Notebook	JUPYTER	1.3 oder höher	GA
Pig	PIG	1.5^* oder höher	GA
Presto	PRESTO	1.3 oder höher (nicht in 2.1 oder höher verfügbar)	GA
Ranger	RANGER	1.3 oder höher	AV
Solr	SOLR	1.3 oder höher	GA
Trino	TRINO	2.1 oder höher	GA
Zeppelin-Notebook	ZEPPELIN	1.3 oder höher	GA
ZooKeeper	ZOOKEEPER	1.0 oder höher	GA

Hinweise:

• Apache Pig ist eine optionale Komponente in Image-Versionen 2.3 und höher. In Image-Versionen 2.2 und früher war sie vorinstalliert.

Informationen zur Herstellung einer Verbindung zu Weboberflächen von Komponenten, die auf Clustern ausgeführt werden, finden Sie unter Cluster-Weboberflächen. Weitere Informationen finden Sie auch unter Managed Service for Apache Spark Component Gateway, über das Sie die Weboberflächen von Managed Service for Apache Spark (Kern- und optionale Komponenten, einschließlich der UIs von YARN, HDFS, Jupyter, und Zeppelin) aufrufen können, ohne die Verwendung von SSH-Tunneln oder die Modifizierung von Firewallregeln zum Zulassen von eingehendem Traffic zu erfordern.

Optionale Komponenten hinzufügen

Hinweis: Die folgenden Anwendungsbeispiele beziehen sich auf Komponenten, die allgemein verfügbar (General Availability, GA) sind.

Google Cloud Console

1. Öffnen Sie in der Google Cloud Console die Seite Cluster erstellen.
2. Klicken Sie auf Zusätzliche Konfiguration , um diesen Abschnitt zu maximieren.
3. Bearbeiten Sie Optionale Komponenten.
4. Wählen Sie im daraufhin geöffneten Bereich die Kästchen für die optionalen Komponenten aus, die Sie in Ihrem Cluster installieren möchten, und klicken Sie dann auf Speichern.

gcloud CLI

Verwenden Sie zum Erstellen eines Managed Service for Apache Spark-Clusters und zur Installation einer oder mehrerer optionaler Komponenten im Cluster den gcloud beta dataproc clusters create cluster-name Befehl mit dem --optional-components Flag.

gcloud dataproc clusters create CLUSTER_NAME \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

REST API

Optionale Komponenten können über die Dataproc API mit SoftwareConfig.Component im Rahmen einer clusters.create Anfrage angegeben werden.