Pour exécuter des conteneurs Docker sur les nœuds de votre cluster Managed Service pour Apache Spark, activez le composant facultatif Docker lors de la création du cluster. Ce document explique comment installer et configurer le composant Docker sur Managed Service pour Apache Spark.
Pour en savoir plus sur les autres composants facultatifs disponibles dans Managed Service pour Apache Spark, consultez la section Composants facultatifs disponibles.
Fonctionnement du composant Docker
Lorsque vous activez le composant Docker de Managed Service pour Apache Spark, il installe un
daemon Docker
sur chaque nœud de cluster. Il configure également un utilisateur et un groupe Linux, tous deux nommés "docker", sur chaque nœud pour exécuter le daemon Docker. En outre, le composant
crée un service "docker" systemd
pour exécuter le service dockerd. Vous devez utiliser ce service systemd pour gérer le cycle de vie du service Docker.
Installer le composant
Installez le composant lorsque vous créez un cluster Managed Service pour Apache Spark. Le composant Docker peut être installé sur les clusters créés avec la version 1.5 ou ultérieure de l'image Managed Service pour Apache Spark.
Consultez la section Versions Managed Service pour Apache Spark compatibles pour obtenir la version de composant incluse dans chaque version d'image Managed Service pour Apache Spark.
Commande gcloud
Pour créer un cluster Managed Service pour Apache Spark incluant le composant Docker,
utilisez la
commande gcloud dataproc clusters create cluster-name
avec l'option --optional-components.
gcloud dataproc clusters create cluster-name \ --optional-components=DOCKER \ --region=region \ --image-version=1.5 \ ... other flags
API REST
Le composant Docker peut être spécifié via l'API Managed Service pour Apache Spark à l'aide de la propriété SoftwareConfig.Component dans le cadre d'une requête clusters.create.
Console
- Activez le composant.
- Dans la Google Cloud console, ouvrez la page Créer un cluster Managed Service pour Apache Spark. Le panneau "Configurer un cluster" est sélectionné.
- Dans la section Composants :
- Sous "Composants facultatifs", sélectionnez "Docker" et les autres composants facultatifs à installer sur votre cluster.
Activer Docker sur YARN
Consultez la section Personnaliser l'environnement d'exécution de votre job Spark avec Docker sur YARN pour utiliser une image Docker personnalisée avec YARN.
Journalisation Docker
Par défaut, le composant Docker de Managed Service pour Apache Spark écrit les journaux dans
Cloud Logging en définissant le gcplogs driver. Consultez la page
Afficher les journaux.
Registre Docker
Le composant Docker de Managed Service pour Apache Spark configure Docker pour utiliser Container Registry en plus des registres Docker par défaut. Docker utilise l'assistant d'identification Docker pour s'authentifier auprès de Container Registry.