Optionale Zeppelin-Komponente für Managed Service for Apache Spark

Sie können zusätzliche Komponenten wie Zeppelin installieren, wenn Sie einen Managed Service for Apache Spark Cluster mit dem Feature Optionale Komponenten erstellen. Auf dieser Seite wird die Zeppelin-Komponente erläutert.

Die Zeppelin Notebook Komponente ist ein webbasiertes Notebook zur interaktiven Datenanalyse. Die Web-UI von Zeppelin ist über Port 8080 auf dem ersten Masterknoten des Clusters verfügbar.

Notebooks werden standardmäßig im Managed Service for Apache Spark-Staging-Bucket in Cloud Storage gespeichert. Dieser Bucket wird vom Nutzer festgelegt oder bei der Clustererstellung automatisch generiert . Der Standort kann zum Zeitpunkt der Clustererstellung über das zeppelin:zeppelin.notebook.gcs.dir Attribut geändert werden.

• Sie können Zeppelin durch die vorangestellten Clusterattribute zeppelin und zeppelin-env konfigurieren.
  • Um das Risiko einer Remotecodeausführung über unsichere Notebookserver-APIs zu verringern, ist die Clusterattribut-Standardeinstellung zeppelin:zeppelin.server.addr für Image-Versionen 1.3 und höher 127.0.0.1. Dadurch werden Verbindungen auf localhost beschränkt, wenn Component Gateway aktiviert ist.

Komponente installieren

Installieren Sie die Komponente, wenn Sie einen Managed Service for Apache Spark-Cluster erstellen. Sie können Komponenten in Cluster einfügen, die mit Managed Service for Apache Spark Version 1.3 oder höher erstellt wurden.

Informationen zu den Komponentenversionen, die im jeweiligen Managed Service for Apache Spark-Image-Release enthalten sind, finden Sie im Abschnitt Unterstützte Dataproc-Versionen.

Google Cloud Console

1. Öffnen Sie in der Google Cloud Console die Seite Cluster erstellen.
2. Klicken Sie auf Zusätzliche Konfiguration , um den Bereich zu maximieren.
3. Bearbeiten Sie Optionale Komponenten.
4. Wählen Sie im daraufhin geöffneten Bereich das Kästchen für Zeppelin Notebook aus und klicken Sie auf Speichern.

gcloud CLI

Zum Erstellen eines Managed Service for Apache Spark-Clusters, der die Zeppelin-Komponente enthält, verwenden Sie den gcloud dataproc clusters create cluster-name Befehl mit dem --optional-components Flag.

Verwenden Sie beim Erstellen des Clusters (Image-Version 1.3.29 oder höher) den Befehl gcloud dataproc clusters create mit dem --enable-component-gateway Flag, wie unten gezeigt. Sie können dann eine Verbindung zur Web-UI des Zeppelin-Notebooks über das Component Gateway herstellen.

gcloud dataproc clusters create cluster-name \
    --optional-components=ZEPPELIN \
    --region=region \
    --enable-component-gateway \
    ... other flags

REST API

Die Zeppelin-Komponente kann über die Dataproc API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.

Verwenden Sie die Dataproc v1 API, legen Sie das EndpointConfig.enableHttpPortAccess Attribut auf true als Teil der clusters.create Anfrage fest. Damit können Sie eine Verbindung zur Web-UI des Zeppelin-Notebooks über das Component Gateway ermöglichen.

Zeppelin-Notebook öffnen

Klicken Sie unter Component Gateway-URLs ansehen und auf diese zugreifen auf die Component Gateway-Links in der Google Cloud Console, um die Zeppelin-Notebook-UI zu öffnen, die auf dem Masterknoten des Clusters in Ihrem lokalen Browser ausgeführt wird.