Sie können zusätzliche Komponenten wie Docker installieren, wenn Sie einen Dataproc Cluster mit dem Feature Optionale Komponenten erstellen. Auf dieser Seite wird die Docker-Komponente erläutert.
Die Dataproc-Komponente installiert einen
Docker-Daemon
auf jedem Clusterknoten und erstellt einen Linux-Nutzer "docker" sowie eine Linux-Gruppe
"docker" auf jedem Knoten, um den Docker-Daemon auszuführen. Diese Komponente erstellt auch
einen "docker" systemd
Dienst, um den dockerd Dienst auszuführen. Verwenden Sie den systemd-Dienst, um den
Lebenszyklus des Docker-Dienstes zu verwalten.
Komponente installieren
Installieren Sie die Komponente, wenn Sie einen Dataproc-Cluster erstellen. Die Docker-Komponente kann auf Clustern installiert werden, die mit Dataproc Image Version 1.5 oder höher erstellt wurden.
Informationen zu den Komponentenversionen, die im jeweiligen Dataproc-Image-Release enthalten sind, finden Sie im Abschnitt Unterstützte Dataproc-Versionen.
gcloud-Befehl
Verwenden Sie zum Erstellen eines Dataproc-Clusters, der die Docker-Komponente enthält, den Befehl gcloud dataproc clusters create cluster-name mit dem Flag --optional-components.
gcloud dataproc clusters create cluster-name \ --optional-components=DOCKER \ --region=region \ --image-version=1.5 \ ... other flags
REST API
Die Docker-Komponente kann über die Dataproc-API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.
Console
- Aktivieren Sie die Komponente.
- Öffnen Sie in der Google Cloud Console die Dataproc Seite Cluster erstellen. Der Bereich „Cluster einrichten“ ist ausgewählt.
- Im Bereich „Komponenten“:
- Wählen Sie unter „Optionale Komponenten“ Docker und andere optionale Komponenten aus, die auf Ihrem Cluster installiert werden sollen.
Docker unter YARN aktivieren
Informationen zum Verwenden eines benutzerdefinierten Docker-Images mit YARN finden Sie unter Laufzeitumgebung für Spark-Jobs mit Docker unter YARN anpassen.
Docker-Logging
Standardmäßig schreibt die Dataproc-Docker-Komponente Logs durch in Cloud Logging durch Festlegen von gcplogs driver. Weitere Informationen finden Sie unter Logs ansehen.
Docker-Registry
Die Dataproc-Docker-Komponente konfiguriert Docker zur Verwendung von Container Registry zusätzlich zu den Standard-Docker-Registries. Docker verwendet zur Authentifizierung bei Container Registry den Docker Credential Helper.
Docker-Komponente auf einem Kerberos-Cluster verwenden
Sie können die optionale Docker-Komponente auf einem Cluster installieren, für den die Kerberos-Sicherheit aktiviert ist.