Pour exécuter des conteneurs Docker sur les nœuds de votre cluster Managed Service pour Apache Spark, activez le composant facultatif Docker lors de la création du cluster. Ce document explique comment installer et configurer le composant Docker sur Managed Service pour Apache Spark.
Pour en savoir plus sur les autres composants optionnels disponibles dans Managed Service for Apache Spark, consultez Composants optionnels disponibles.
Fonctionnement du composant Docker
Lorsque vous activez le composant Docker Managed Service pour Apache Spark, un daemon Docker est installé sur chaque nœud du cluster. Il configure également un utilisateur et un groupe Linux, tous deux nommés "docker", sur chaque nœud pour exécuter le daemon Docker. De plus, le composant crée un service "docker" systemd pour exécuter le service dockerd. Vous devez utiliser ce service systemd pour gérer le cycle de vie du service Docker.
Installer le composant
Installez le composant lorsque vous créez un cluster Managed Service pour Apache Spark. Le composant Docker peut être installé sur les clusters créés avec la version 1.5 ou ultérieure de l'image Managed Service for Apache Spark.
Consultez la section Versions Managed Service pour Apache Spark compatibles pour obtenir la version de composant incluse dans chaque version d'image Managed Service pour Apache Spark.
Commande gcloud
Pour créer un cluster Managed Service for Apache Spark incluant le composant Docker, exécutez la commande gcloud dataproc clusters create cluster-name avec l'option --optional-components.
gcloud dataproc clusters create cluster-name \ --optional-components=DOCKER \ --region=region \ --image-version=1.5 \ ... other flags
API REST
Le composant Docker peut être spécifié via l'API Managed Service for Apache Spark à l'aide de la propriété SoftwareConfig.Component dans le cadre d'une requête clusters.create.
Console
- Activez le composant.
- Dans la console Google Cloud , ouvrez la page Managed Service for Apache Spark Créer un cluster. Le panneau "Configurer un cluster" est sélectionné.
- Dans la section Composants :
- Sous "Composants facultatifs", sélectionnez "Docker" et les autres composants facultatifs à installer sur votre cluster.
Activer Docker sur YARN
Consultez Personnaliser l'environnement d'exécution de votre job Spark avec Docker sur YARN pour utiliser une image Docker personnalisée avec YARN.
Journalisation Docker
Par défaut, le composant Docker de Managed Service pour Apache Spark écrit les journaux dans Cloud Logging en définissant le gcplogs driver. Consultez la page Afficher les journaux.
Registre Docker
Le composant Docker de Managed Service pour Apache Spark configure Docker pour utiliser Container Registry en plus des registres Docker par défaut. Docker utilise l'assistant d'identification Docker pour s'authentifier auprès de Container Registry.
Utiliser le composant Docker sur un cluster Kerberos
Vous pouvez installer le composant facultatif Docker sur un cluster en cours de création avec la sécurité Kerberos activée.