Wenn Sie Docker-Container auf den Knoten Ihres Managed Service for Apache Spark-Clusters ausführen möchten, aktivieren Sie die optionale Docker-Komponente während der Clustererstellung. In diesem Dokument wird beschrieben, wie Sie die Docker-Komponente in Managed Service for Apache Spark installieren und konfigurieren.
Weitere Informationen zu anderen verfügbaren optionalen Komponenten in Managed Service for Apache Spark finden Sie unter Verfügbare optionale Komponenten.
Funktionsweise der Docker-Komponente
Wenn Sie die Managed Service for Apache Spark-Docker-Komponente aktivieren, wird ein Docker-Daemon auf jedem Clusterknoten installiert. Außerdem werden auf jedem Knoten ein Linux-Nutzer und eine Linux-Gruppe mit dem Namen „docker“ eingerichtet, um den Docker-Daemon auszuführen. Außerdem wird mit der Komponente ein „Docker“-Dienst systemd erstellt, um den Dienst dockerd auszuführen. Verwenden Sie den Dienst systemd, um den Lebenszyklus des Docker-Dienstes zu verwalten.
Komponente installieren
Installieren Sie die Komponente, wenn Sie einen Managed Service for Apache Spark-Cluster erstellen. Die Docker-Komponente kann auf Clustern installiert werden, die mit Managed Service for Apache Spark Image-Version 1.5 oder höher erstellt wurden.
Informationen zu den Komponentenversionen, die im jeweiligen Managed Service for Apache Spark-Image-Release enthalten sind, finden Sie im Abschnitt Unterstützte Managed Service for Apache Spark-Versionen.
Google Cloud Console
- Öffnen Sie in der Google Cloud Console die Seite Cluster erstellen.
- Klicken Sie auf Zusätzliche Konfiguration, um den Bereich zu maximieren.
- Bearbeiten Sie Optionale Komponenten.
- Wählen Sie im angezeigten Bereich das Kästchen für Docker aus und klicken Sie dann auf Speichern.
gcloud-CLI
Verwenden Sie zum Erstellen eines Managed Service for Apache Spark-Clusters, der die Docker-Komponente enthält, den Befehl gcloud dataproc clusters create cluster-name mit dem Flag --optional-components.
gcloud dataproc clusters create cluster-name \ --optional-components=DOCKER \ --region=region \ --image-version=1.5 \ ... other flags
REST API
Die Docker-Komponente kann über die Dataproc-API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.
Docker in YARN aktivieren
Informationen zur Verwendung eines benutzerdefinierten Docker-Images mit YARN finden Sie unter Spark-Job-Laufzeitumgebung mit Docker in YARN anpassen.
Docker-Logging
Standardmäßig schreibt die Managed Service for Apache Spark-Docker-Komponente Logs durch in Cloud Logging durch Festlegen von gcplogs driver. Weitere Informationen finden Sie unter Logs ansehen.
Docker-Registry
Die Docker-Komponente von Managed Service for Apache Spark konfiguriert Docker so, dass Container Registry zusätzlich zu den Standard-Docker-Registries verwendet wird. Docker verwendet zur Authentifizierung bei Container Registry den Docker Credential Helper.
Docker-Komponente auf einem Kerberos-Cluster verwenden
Sie können die optionale Docker-Komponente auf einem Cluster installieren, für den Kerberos-Sicherheit aktiviert ist.