Optionale Docker-Komponente für Managed Service for Apache Spark

Wenn Sie Docker-Container auf Ihren Managed Service for Apache Spark-Clusterknoten ausführen möchten, aktivieren Sie die optionale Docker-Komponente beim Erstellen des Clusters. In diesem Dokument wird beschrieben, wie Sie die Docker-Komponente in Managed Service for Apache Spark installieren und konfigurieren.

Weitere Informationen zu anderen verfügbaren optionalen Komponenten in Managed Service for Apache Spark finden Sie unter Verfügbare optionale Komponenten.

Funktionsweise der Docker-Komponente

Wenn Sie die Docker-Komponente von Managed Service for Apache Spark aktivieren, wird auf jedem Clusterknoten ein Docker-Daemon installiert. Außerdem werden auf jedem Knoten ein Linux-Nutzer und eine Linux-Gruppe mit dem Namen „docker“ eingerichtet, um den Docker-Daemon auszuführen. Zusätzlich erstellt die Komponente den „docker“-Dienst systemd, um den dockerd -Dienst auszuführen. Verwenden Sie diesen systemd-Dienst, um den Lebenszyklus des Docker-Dienstes zu verwalten.

Komponente installieren

Installieren Sie die Komponente, wenn Sie einen Managed Service for Apache Spark-Cluster erstellen. Die Docker-Komponente kann auf Clustern installiert werden, die mit Image-Version 1.5 oder höher von Managed Service for Apache Spark erstellt wurden.

Informationen zu den Komponentenversionen, die im jeweiligen Image-Release von Managed Service for Apache Spark enthalten sind, finden Sie unter Unterstützte Managed Service for Apache Spark-Versionen.

gcloud-Befehl

Verwenden Sie zum Erstellen eines Managed Service for Apache Spark-Clusters, der die Docker-Komponente enthält, den gcloud dataproc clusters create cluster-name Befehl mit dem --optional-components Flag.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

REST API

Die Docker-Komponente kann über die Managed Service for Apache Spark API mit SoftwareConfig.Component als Teil einer clusters.create -Anfrage angegeben werden.

Console

  1. Aktivieren Sie die Komponente.
    • Öffnen Sie in der Google Cloud console die Seite Cluster erstellen von Managed Service for Apache Spark. Der Bereich „Cluster einrichten“ ist ausgewählt.
    • Im Bereich „Komponenten“:
      • Wählen Sie unter „Optionale Komponenten“ Docker und andere optionale Komponenten aus, die auf Ihrem Cluster installiert werden sollen.

Docker unter YARN aktivieren

Informationen zum Verwenden eines benutzerdefinierten Docker-Images mit YARN finden Sie unter Spark-Job-Laufzeitumgebung mit Docker unter YARN anpassen.

Docker-Logging

Standardmäßig schreibt die Docker-Komponente von Managed Service for Apache Spark Logs durch Festlegen des gcplogs driver in Cloud Logging. Weitere Informationen finden Sie unter Logs ansehen.

Docker-Registry

Die Docker-Komponente von Managed Service for Apache Spark konfiguriert Docker zur Verwendung von Container Registry zusätzlich zu den Standard-Docker-Registries. Docker verwendet zur Authentifizierung bei Container Registry den Docker Credential Helper.

Docker-Komponente auf einem Kerberos-Cluster verwenden

Sie können die optionale Docker-Komponente auf einem Cluster installieren, für den die Kerberos-Sicherheit aktiviert ist.