Optionale Zeppelin-Komponente für Managed Service for Apache Spark

Sie können zusätzliche Komponenten wie Zeppelin installieren, wenn Sie einen Managed Service for Apache Spark-Cluster mit dem Feature Optionale Komponenten erstellen. Auf dieser Seite wird die Zeppelin-Komponente erläutert.

Die Zeppelin Notebook-Komponente ist ein webbasiertes Notebook zur interaktiven Datenanalyse. Die Web-UI von Zeppelin ist über Port 8080 auf dem ersten Masterknoten des Clusters verfügbar.

Notebooks werden standardmäßig im Staging-Bucket von Managed Service for Apache Spark in Cloud Storage gespeichert. Dieser Bucket wird vom Nutzer festgelegt oder bei der Clustererstellung automatisch generiert. Der Standort kann zum Zeitpunkt der Clustererstellung über das zeppelin:zeppelin.notebook.gcs.dir-Attribut geändert werden.

• Sie können Zeppelin durch die vorangestellten Clusterattribute zeppelin und zeppelin-env konfigurieren.
  • Um das Risiko einer Remotecodeausführung über unsichere Notebookserver-APIs zu verringern, ist die zeppelin:zeppelin.server.addr-Clusterattribut-Standardeinstellung für Image-Versionen 1.3 und höher 127.0.0.1, wodurch die Verbindungen auf localhost beschränkt sind, wenn Component Gateway aktiviert ist.

Komponente installieren

Installieren Sie die Komponente, wenn Sie einen Managed Service for Apache Spark-Cluster erstellen. Sie können Komponenten in Cluster einfügen, die mit Managed Service for Apache Spark Version 1.3 oder höher erstellt wurden.

Informationen zu den Komponentenversionen, die im jeweiligen Managed Service for Apache Spark-Image-Release enthalten sind, finden Sie im Abschnitt Unterstützte Dataproc-Versionen.

gcloud-Befehl

Zum Erstellen eines Managed Service for Apache Spark-Clusters, der die Zeppelin-Komponente enthält, verwenden Sie den Befehl gcloud dataproc clusters create cluster-name mit dem Flag --optional-components.

Verwenden Sie beim Erstellen des Clusters (Image-Version 1.3.29 oder höher) den Befehl gcloud dataproc clusters create mit dem Flag --enable-component-gateway, wie unten gezeigt. Sie können dann eine Verbindung zur Web-UI des Zeppelin-Notebooks über das Component Gateway herstellen.

gcloud dataproc clusters create cluster-name \
    --optional-components=ZEPPELIN \
    --region=region \
    --enable-component-gateway \
    ... other flags

REST API

Die Zeppelin-Komponente kann über die Managed Service for Apache Spark API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.

Verwenden Sie die Managed Service for Apache Spark v1 API und legen Sie das Attribut EndpointConfig.enableHttpPortAccess auf true als Teil der clusters.create-Anfrage fest. Damit können Sie eine Verbindung zur Web-UI des Zeppelin-Notebooks über das Component Gateway ermöglichen.

Console

1. Aktivieren Sie die Komponente und das Komponentengateway.
   • Öffnen Sie in der Google Cloud Console die Seite „Managed Service for Apache Spark“ Cluster erstellen. Der Bereich „Cluster einrichten“ ist ausgewählt.
   • Im Bereich „Komponenten“:
     • Wählen Sie unter „Optionale Komponenten“ Zeppelin und andere optionale Komponenten aus, die auf Ihrem Cluster installiert werden sollen.
     • Wählen Sie unter Component Gateway „Component Gateway aktivieren“ aus (siehe Component Gateway-URLs ansehen und aufrufen).

Zeppelin-Notebook öffnen

Klicken Sie unter Component Gateway-URLs ansehen und auf diese zugreifen auf die Component Gateway-Links in der Google Cloud -Konsole, um die Zeppelin-Notebook-UI zu öffnen, die auf dem Masterknoten des Clusters in Ihrem lokalen Browser ausgeführt wird.