Optionale Docker-Komponente für Managed Service for Apache Spark

Wenn Sie Docker-Container auf Ihren Managed Service for Apache Spark-Clusterknoten ausführen möchten, aktivieren Sie die optionale Docker-Komponente beim Erstellen des Clusters. In diesem Dokument wird erläutert, wie Sie die Docker-Komponente in Managed Service for Apache Spark installieren und konfigurieren.

Weitere Informationen zu anderen verfügbaren optionalen Komponenten in Managed Service for Apache Spark finden Sie unter Verfügbare optionale Komponenten.

Funktionsweise der Docker-Komponente

Wenn Sie die Managed Service for Apache Spark-Docker-Komponente aktivieren, wird auf jedem Clusterknoten ein Docker-Daemon installiert. Außerdem werden auf jedem Knoten ein Linux-Nutzer und eine Linux-Gruppe mit dem Namen „docker“ eingerichtet, um den Docker-Daemon auszuführen. Zusätzlich erstellt die Komponente den „docker“-Dienst systemd, um den dockerd -Dienst auszuführen. Verwenden Sie diesen systemd-Dienst, um den Lebenszyklus des Docker-Dienstes zu verwalten.

Komponente installieren

Installieren Sie die Komponente, wenn Sie einen Managed Service for Apache Spark-Cluster erstellen. Die Docker-Komponente kann auf Clustern installiert werden, die mit Managed Service for Apache Spark-Imageversion 1.5 oder höher erstellt wurden.

Informationen zu den Komponentenversionen, die im jeweiligen Managed Service for Apache Spark-Image-Release enthalten sind, finden Sie unter Unterstützte Managed Service for Apache Spark-Versionen.

gcloud-Befehl

Verwenden Sie zum Erstellen eines Managed Service for Apache Spark-Clusters, der die Docker-Komponente enthält, den gcloud dataproc clusters create cluster-name Befehl mit dem --optional-components Flag.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

REST API

Die Docker-Komponente kann über die Managed Service for Apache Spark API mit SoftwareConfig.Component als Teil einer clusters.create -Anfrage angegeben werden.

Console

  1. Aktivieren Sie die Komponente.
    • Öffnen Sie in der Google Cloud console die Seite Managed Service for Apache Spark Cluster erstellen. Der Bereich „Cluster einrichten“ ist ausgewählt.
    • Im Bereich „Komponenten“:
      • Wählen Sie unter „Optionale Komponenten“ Docker und andere optionale Komponenten aus, die auf Ihrem Cluster installiert werden sollen.

Docker unter YARN aktivieren

Informationen zum Verwenden eines benutzerdefinierten Docker-Images mit YARN finden Sie unter Spark-Job-Laufzeitumgebung mit Docker unter YARN anpassen.

Docker-Logging

Standardmäßig schreibt die Managed Service for Apache Spark-Docker-Komponente Logs durch Festlegen des gcplogs driver in Cloud Logging. Weitere Informationen finden Sie unter Logs ansehen.

Docker-Registry

Die Managed Service for Apache Spark-Docker-Komponente konfiguriert Docker zur Verwendung von Container Registry zusätzlich zu den Standard-Docker-Registries. Docker verwendet zur Authentifizierung bei Container Registry den Docker Credential Helper.

Docker-Komponente auf einem Kerberos-Cluster verwenden

Sie können die optionale Docker-Komponente auf einem Cluster installieren, für den die Kerberos-Sicherheit aktiviert ist.