Pour exécuter des conteneurs Docker sur les nœuds de votre cluster Dataproc, activez le composant facultatif Docker lors de la création du cluster. Ce document explique comment installer et configurer le composant Docker sur Dataproc.
Pour en savoir plus sur les autres composants facultatifs disponibles dans Dataproc, consultez Composants facultatifs disponibles.
Fonctionnement du composant Docker
Lorsque vous activez le composant Dataproc Docker, un daemon Docker est installé sur chaque nœud du cluster. Il configure également un utilisateur et un groupe Linux, tous deux nommés "docker", sur chaque nœud pour exécuter le daemon Docker. De plus, le composant crée un service "docker" systemd pour exécuter le service dockerd. Vous devez utiliser ce service systemd pour gérer le cycle de vie du service Docker.
Installer le composant
Installez le composant lorsque vous créez un cluster Dataproc. Le composant Docker peut être installé sur les clusters créés avec la version 1.5 ou ultérieure de l'image Dataproc.
Consultez la section Versions Dataproc compatibles pour obtenir la version de composant incluse dans chaque version d'image Dataproc.
Commande gcloud
Pour créer un cluster Dataproc incluant le composant Docker, exécutez la commande gcloud dataproc clusters create cluster-name avec l'option --optional-components.
gcloud dataproc clusters create cluster-name \ --optional-components=DOCKER \ --region=region \ --image-version=1.5 \ ... other flags
API REST
Le composant Docker peut être spécifié via l'API Dataproc à l'aide de la propriété SoftwareConfig.Component dans le cadre d'une requête clusters.create.
Console
- Activez le composant.
- Dans la console Google Cloud , ouvrez la page Dataproc Créer un cluster. Le panneau "Configurer un cluster" est sélectionné.
- Dans la section Composants :
- Sous "Composants facultatifs", sélectionnez "Docker" et les autres composants facultatifs à installer sur votre cluster.
Activer Docker sur YARN
Consultez Personnaliser l'environnement d'exécution de votre job Spark avec Docker sur YARN pour utiliser une image Docker personnalisée avec YARN.
Journalisation Docker
Par défaut, le composant Docker de Dataproc écrit les journaux dans Cloud Logging en définissant le gcplogs driver. Consultez la page Afficher les journaux.
Registre Docker
Le composant Docker de Dataproc configure Docker pour utiliser Container Registry en plus des registres Docker par défaut. Docker utilise l'assistant d'identification Docker pour s'authentifier auprès de Container Registry.
Utiliser le composant Docker sur un cluster Kerberos
Vous pouvez installer le composant facultatif Docker sur un cluster en cours de création avec la sécurité Kerberos activée.