Optionale Dataproc-Docker-Komponente

Wenn Sie Docker-Container auf Ihren Dataproc-Clusterknoten ausführen möchten, aktivieren Sie die optionale Docker-Komponente beim Erstellen des Clusters. In diesem Dokument wird beschrieben, wie Sie die Docker-Komponente in Dataproc installieren und konfigurieren.

Weitere Informationen zu anderen verfügbaren optionalen Komponenten in Dataproc finden Sie unter Verfügbare optionale Komponenten.

Funktionsweise der Docker-Komponente

Wenn Sie die Dataproc Docker-Komponente aktivieren, wird ein Docker-Daemon auf jedem Clusterknoten installiert. Außerdem werden auf jedem Knoten ein Linux-Nutzer und eine Linux-Gruppe mit dem Namen „docker“ eingerichtet, um den Docker-Daemon auszuführen. Außerdem erstellt die Komponente einen „Docker“-Dienst systemd, um den Dienst dockerd auszuführen. Verwenden Sie den Dienst systemd, um den Lebenszyklus des Docker-Dienstes zu verwalten.

Komponente installieren

Installieren Sie die Komponente, wenn Sie einen Dataproc-Cluster erstellen. Die Docker-Komponente kann auf Clustern installiert werden, die mit Dataproc Image-Version 1.5 oder höher erstellt wurden.

Informationen zu den Komponentenversionen, die im jeweiligen Dataproc-Image-Release enthalten sind, finden Sie im Abschnitt Unterstützte Dataproc-Versionen.

gcloud-Befehl

Verwenden Sie zum Erstellen eines Dataproc-Clusters, der die Docker-Komponente enthält, den Befehl gcloud dataproc clusters create cluster-name mit dem Flag --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

REST API

Die Docker-Komponente kann über die Dataproc-API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.

Console

  1. Aktivieren Sie die Komponente.
    • Öffnen Sie in der Google Cloud Console die Dataproc-Seite Cluster erstellen. Der Bereich „Cluster einrichten“ ist ausgewählt.
    • Im Bereich „Komponenten“:
      • Wählen Sie unter „Optionale Komponenten“ Docker und andere optionale Komponenten aus, die auf Ihrem Cluster installiert werden sollen.

Docker in YARN aktivieren

Informationen zum Verwenden eines benutzerdefinierten Docker-Images mit YARN finden Sie unter Spark-Job-Laufzeitumgebung mit Docker in YARN anpassen.

Docker-Logging

Standardmäßig schreibt die Dataproc-Docker-Komponente Logs durch in Cloud Logging durch Festlegen von gcplogs driver. Weitere Informationen finden Sie unter Logs ansehen.

Docker-Registry

Die Dataproc-Docker-Komponente konfiguriert Docker zur Verwendung von Container Registry zusätzlich zu den Standard-Docker-Registries. Docker verwendet zur Authentifizierung bei Container Registry den Docker Credential Helper.

Docker-Komponente auf einem Kerberos-Cluster verwenden

Sie können die optionale Docker-Komponente auf einem Cluster installieren, für den Kerberos-Sicherheit aktiviert ist.