Utiliser l'extension JupyterLab pour développer des charges de travail Spark sans serveur

Ce document explique comment installer et utiliser l'extension JupyterLab sur une machine ou une VM autogérée ayant accès aux services Google. Il explique également comment développer et déployer du code de notebook Spark sans serveur.

Installez l'extension en quelques minutes pour profiter des fonctionnalités suivantes :

  • Lancez des notebooks Spark et BigQuery sans serveur pour développer du code rapidement
  • Parcourir et prévisualiser des ensembles de données BigQuery dans JupyterLab
  • Modifier des fichiers Cloud Storage dans JupyterLab
  • Planifier un notebook sur Composer

Utiliser Google Cloud Data Agent Kit : en plus de JupyterLab, vous pouvez également développer et gérer vos charges de travail Managed Service pour Apache Spark dans VS Code à l'aide de Data Agent Kit. Data Agent Kit vous permet de gérer l'intégralité du cycle de vie de votre charge de travail de données dans votre IDE ou à l'aide d'une CLI d'agent compatible, y compris la création de pipelines de données.

Avant de commencer

  1. Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that you have the permissions required to complete this guide.

  4. Verify that billing is enabled for your Google Cloud project.

  5. Enable the Dataproc API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  6. Install the Google Cloud CLI.

  7. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  8. To initialize the gcloud CLI, run the following command: 

    gcloud init

  9. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  10. Verify that you have the permissions required to complete this guide.

  11. Verify that billing is enabled for your Google Cloud project.

  12. Enable the Dataproc API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  13. Install the Google Cloud CLI.

  14. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  15. To initialize the gcloud CLI, run the following command: 

    gcloud init

Rôles requis

Certains rôles IAM sont requis pour exécuter les exemples de cette page. Selon les règles d'administration, ces rôles ont peut-être déjà été attribués. Pour vérifier les attributions de rôles, consultez Devez-vous attribuer des rôles ?.

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Rôles utilisateur

Pour obtenir les autorisations nécessaires pour créer une session de notebook interactive, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Rôle du compte de service

Pour vous assurer que le compte de service Compute Engine par défaut dispose des autorisations nécessaires pour créer une session interactive, demandez à votre administrateur d'accorder le rôle IAM Nœud de calcul Dataproc (roles/dataproc.worker) au compte de service Compute Engine par défaut sur le projet.

Installer l'extension JupyterLab

Vous pouvez installer et utiliser l'extension JupyterLab sur une machine ou une VM ayant accès aux services Google, comme votre machine locale ou une instance de VM Compute Engine.

Pour installer l'extension, procédez comme suit :

  1. Téléchargez et installez Python 3.11 ou version ultérieure depuis python.org/downloads.

    • Vérifiez l'installation de Python 3.11 ou version ultérieure. 
      python3 --version

  2. Virtualisez l'environnement Python. 

    pip3 install pipenv

    • Créez un dossier d'installation. 
      mkdir jupyter
    • Accédez au dossier d'installation. 
      cd jupyter
    • Créez un environnement virtuel. 
      pipenv shell

  3. Installez JupyterLab dans l'environnement virtuel. 

    pipenv install jupyterlab

  4. Installez l'extension JupyterLab. 

    pipenv install bigquery-jupyter-plugin

  5. Démarrez JupyterLab. 

    jupyter lab

    1. La page Lanceur d'applications de JupyterLab s'ouvre dans votre navigateur. Il contient une section Jobs et sessions Dataproc. Il peut également contenir les sections Notebooks Dataproc sans serveur et Notebooks de cluster Dataproc si vous avez accès aux notebooks ou aux clusters Managed Service pour Apache Spark avec le composant facultatif Jupyter en cours d'exécution dans votre projet.

      Page du navigateur du lanceur JupyterLab

    2. Par défaut, votre session interactive s'exécute dans le projet et la région que vous avez définis en exécutant gcloud init dans Avant de commencer. Vous pouvez modifier les paramètres de projet et de région de vos sessions dans JupyterLab : Settings > Google Cloud Settings > Google Cloud Project Settings (Paramètres > Paramètres > Paramètres du projet).

      Vous devez redémarrer l'extension pour que les modifications soient prises en compte.

Créer un modèle d'exécution Managed Service pour Apache Spark

Les modèles d'exécution Managed Service pour Apache Spark (appelés profils d'exécution sur la page Profils d'exécution de la consoleGoogle Cloud et modèles de session dans la Google Cloud CLI et l'API Dataproc) contiennent des paramètres de configuration pour l'exécution du code Spark dans une session. Vous pouvez créer et gérer des modèles d'exécution à l'aide de JupyterLab, de la consoleGoogle Cloud ou de la Google Cloud CLI.

JupyterLab

  1. Cliquez sur la fiche New runtime template dans la section Notebooks Dataproc sans serveur de la page Lanceur d'applications de JupyterLab.

  2. Remplissez le formulaire Modèle d'exécution.

    • Informations sur le modèle :

      • Nom à afficher, ID d'exécution et Description : acceptez ou renseignez un nom à afficher, un ID d'exécution et une description pour le modèle.

    • Configuration de l'exécution : sélectionnez Compte utilisateur pour exécuter les notebooks avec l'identité de l'utilisateur au lieu de l'identité du compte de service Dataproc.

      • Compte de service : si vous ne spécifiez pas de compte de service, le compte de service Compute Engine par défaut est utilisé.
      • Version d'exécution : confirmez ou sélectionnez la version d'exécution 2.3.
      • Image de conteneur personnalisée : spécifiez éventuellement l'URI d'une image de conteneur personnalisée.
      • Bucket de préproduction : vous pouvez éventuellement spécifier le nom d'un bucket de préproduction Cloud Storage que Managed Service pour Apache Spark pourra utiliser.
      • Dépôt de packages Python : par défaut, les packages Python sont téléchargés et installés à partir du cache d'extraction PyPI lorsque les utilisateurs exécutent des commandes d'installation pip dans leurs notebooks. Vous pouvez spécifier le dépôt d'artefacts privé de votre organisation pour les packages Python à utiliser comme dépôt de packages Python par défaut.

    • Chiffrement : acceptez la valeur par défaut Google-owned and Google-managed encryption key ou sélectionnez Clé de chiffrement gérée par le client (CMEK). Si vous choisissez CMEK, sélectionnez ou fournissez les informations sur la clé.

    • Configuration réseau : sélectionnez un sous-réseau dans le projet ou partagé à partir d'un projet hôte (vous pouvez modifier le projet dans JupyterLab Paramètres > Google Cloud Paramètres > Google Cloud Paramètres du projet. Vous pouvez spécifier des tags réseau à appliquer au réseau spécifié. Notez que Managed Service pour Apache Spark active l'accès privé à Google sur le sous-réseau spécifié. Pour connaître les exigences de connectivité réseau, consultez Configuration réseau de Managed Service pour Apache Spark.

    • Configuration de la session : vous pouvez éventuellement remplir ces champs pour limiter la durée des sessions créées avec le modèle.

      • Durée d'inactivité maximale : durée d'inactivité maximale avant l'arrêt de la session. Plage autorisée : de 10 minutes à 336 heures (14 jours).
      • Durée maximale de la session : durée de vie maximale d'une session avant qu'elle ne soit interrompue. Plage autorisée : de 10 minutes à 336 heures (14 jours).

    • Metastore : pour utiliser un service Dataproc Metastore avec vos sessions, sélectionnez l'ID du projet et le service du metastore.

    • Serveur d'historique persistant : vous pouvez sélectionner un serveur d'historique Spark persistant disponible pour accéder aux journaux de session pendant et après les sessions.

    • Propriétés Spark : vous pouvez sélectionner, puis ajouter des propriétés Spark d'allocation de ressources, d'autoscaling ou de GPU. Cliquez sur Ajouter une propriété pour ajouter d'autres propriétés Spark. Pour en savoir plus, consultez Propriétés Spark.

    • Étiquettes : cliquez sur Ajouter une étiquette pour chaque étiquette à définir sur les sessions créées avec le modèle.

  3. Cliquez sur Enregistrer pour créer le modèle.

  4. Pour afficher ou supprimer un modèle d'exécution.

    1. Cliquez sur Paramètres > Google Cloud Paramètres.

    2. La section Paramètres Dataproc > Modèles d'exécution sans serveur affiche la liste des modèles d'exécution.

      Liste des modèles d'exécution

      • Cliquez sur le nom d'un modèle pour afficher ses détails.
      • Vous pouvez supprimer un modèle à partir du menu Action du modèle.

  5. Ouvrez et actualisez la page du lanceur JupyterLab pour afficher la fiche du modèle de notebook enregistré sur la page du lanceur JupyterLab.

gcloud

  1. Créez un fichier YAML avec la configuration de votre modèle d'exécution.

    YAML simple

    environmentConfig:
  executionConfig:
    networkUri: default
jupyterSession:
  kernel: PYTHON
  displayName: Team A
labels:
  purpose: testing
description: Team A Development Environment

    YAML complexe

    description: Example session template
environmentConfig:
  executionConfig:
    serviceAccount: sa1
    # Choose either networkUri or subnetworkUri
    networkUri:
    subnetworkUri: default
    networkTags:
     - tag1
    kmsKey: key1
    idleTtl: 3600s
    ttl: 14400s
    stagingBucket: staging-bucket
  peripheralsConfig:
    metastoreService: projects/my-project-id/locations/us-central1/services/my-metastore-id
    sparkHistoryServerConfig:
      dataprocCluster: projects/my-project-id/regions/us-central1/clusters/my-cluster-id
jupyterSession:
  kernel: PYTHON
  displayName: Team A
labels:
  purpose: testing
runtimeConfig:
  version: "2.3"
  containerImage: gcr.io/my-project-id/my-image:1.0.1
  properties:
    "p1": "v1"
description: Team A Development Environment

  2. Créez un modèle de session (profil d'exécution) à partir de votre fichier YAML en exécutant la commande gcloud beta dataproc session-templates import suivante localement ou dans Cloud Shell : 

    gcloud beta dataproc session-templates import TEMPLATE_ID \
    --source=YAML_FILE \
    --project=PROJECT_ID \
    --location=REGION

Lancer et gérer des notebooks

Après avoir installé l'extension JupyterLab Managed Service pour Apache Spark, vous pouvez cliquer sur les fiches de modèles sur la page Lanceur de JupyterLab pour :

Lancer un notebook Jupyter

La section Notebooks Dataproc sans serveur de la page du lanceur JupyterLab affiche des fiches de modèles de notebooks qui correspondent aux modèles d'exécution Managed Service pour Apache Spark (voir Créer un modèle d'exécution Managed Service pour Apache Spark).

  1. Cliquez sur une fiche pour créer une session Managed Service pour Apache Spark et lancer un notebook. Lorsque la création de la session est terminée et que le kernel associé au notebook est prêt à être utilisé, l'état du kernel passe de Starting à Idle (Ready).

  2. Écrire et tester le code du notebook.

    1. Copiez et collez le code PySpark Pi estimation suivant dans la cellule du notebook PySpark, puis appuyez sur Maj+Entrée pour exécuter le code. 

      import random
    
def inside(p):
    x, y = random.random(), random.random()
    return x*x + y*y < 1
    
count = sc.parallelize(range(0, 10000)) .filter(inside).count()
print("Pi is roughly %f" % (4.0 * count / 10000))

      Résultat du notebook :

  3. Après avoir créé et utilisé un notebook, vous pouvez mettre fin à la session associée en cliquant sur Shut Down Kernel (Arrêter le kernel) dans l'onglet Kernel.

    • Pour réutiliser la session, créez un notebook en sélectionnant Notebook dans le menu Fichier > Nouveau. Une fois le notebook créé, choisissez la session existante dans la boîte de dialogue de sélection du kernel. Le nouveau notebook réutilisera la session et conservera le contexte de session du notebook précédent.

  4. Si vous ne mettez pas fin à la session, Managed Service pour Apache Spark s'en chargera une fois que le minuteur d'inactivité de la session sera arrivé à zéro. Vous pouvez définir le délai d'inactivité d'une session dans la configuration du modèle d'exécution. Par défaut, ce délai est d'une heure.

Lancer un notebook sur un cluster

Si vous avez créé un cluster Jupyter Managed Service pour Apache Spark, la page Lanceur d'applications de JupyterLab contient une section Notebook de cluster Dataproc avec des fiches de kernel préinstallées.

Pour lancer un notebook Jupyter sur votre cluster Managed Service pour Apache Spark sur Compute Engine :

  1. Cliquez sur une fiche dans la section Notebook de cluster Dataproc.

  2. Lorsque l'état du kernel passe de Starting à Idle (Ready), vous pouvez commencer à écrire et à exécuter le code du notebook.

  3. Après avoir créé et utilisé un notebook, vous pouvez mettre fin à la session associée en cliquant sur Shut Down Kernel (Arrêter le kernel) dans l'onglet Kernel.

Gérer les fichiers d'entrée et de sortie dans Cloud Storage

L'analyse des données exploratoires et la création de modèles de ML impliquent souvent des entrées et des sorties basées sur des fichiers. Managed Service pour Apache Spark accède à ces fichiers sur Cloud Storage.

  • Pour accéder au navigateur Cloud Storage, cliquez sur l'icône du navigateur Cloud Storage dans la barre latérale de la page Lanceur de JupyterLab, puis double-cliquez sur un dossier pour afficher son contenu.

  • Vous pouvez cliquer sur les types de fichiers compatibles avec Jupyter pour les ouvrir et les modifier. Lorsque vous enregistrez les modifications apportées aux fichiers, elles sont écrites dans Cloud Storage.

  • Pour créer un dossier Cloud Storage, cliquez sur l'icône de nouveau dossier, puis saisissez le nom du dossier.

  • Pour importer des fichiers dans un bucket ou un dossier Cloud Storage, cliquez sur l'icône d'importation, puis sélectionnez les fichiers à importer.

Développer du code de notebook Spark

Après avoir installé l'extension JupyterLab, vous pouvez lancer des notebooks Jupyter à partir de la page Lanceur d'applications de JupyterLab pour développer le code de l'application.

Développement de code PySpark et Python

Les clusters Managed Service pour Apache Spark sont compatibles avec les noyaux PySpark et Python.

Développement de code SQL

Pour ouvrir un notebook PySpark afin d'écrire et d'exécuter du code SQL, sur la page Lanceur d'applications de JupyterLab, dans la section Notebooks Dataproc sans serveur ou Notebook de cluster Dataproc, cliquez sur la fiche du noyau PySpark.

Commande magique Spark SQL : étant donné que le noyau PySpark qui lance les notebooks Dataproc sans serveur est préchargé avec la commande magique Spark SQL, au lieu d'utiliser spark.sql('SQL STATEMENT').show() pour encapsuler votre instruction SQL, vous pouvez saisir %%sparksql magic en haut d'une cellule, puis saisir votre instruction SQL dans la cellule.

BigQuery SQL : le connecteur BigQuery Spark permet au code de votre notebook de charger des données à partir de tables BigQuery, d'effectuer des analyses dans Spark, puis d'écrire les résultats dans une table BigQuery.

Les environnements d'exécution Managed Service pour Apache Spark 2.2 et versions ultérieures incluent le connecteur BigQuery Spark. Si vous utilisez une version d'exécution antérieure pour lancer des notebooks Managed Service pour Apache Spark, vous pouvez installer le connecteur Spark-BigQuery en ajoutant la propriété Spark suivante à votre modèle d'exécution Managed Service pour Apache Spark :

spark.jars: gs://spark-lib/bigquery/spark-bigquery-with-dependencies_2.12-0.25.2.jar

Développement de code Scala

Les clusters Managed Service pour Apache Spark créés avec les versions d'image 2.0 et ultérieures incluent Apache Toree, un noyau Scala pour la plate-forme Jupyter Notebook qui fournit un accès interactif à Spark.

  • Cliquez sur la fiche Apache Toree dans la section Notebook du cluster Dataproc de la page Lanceur de JupyterLab pour ouvrir un notebook pour le développement de code Scala.

    Figure 1. Fiche du noyau Apache Toree sur la page du lanceur JupyterLab.

Développer du code avec l'extension Visual Studio Code

L'extension Google Cloud Visual Studio Code (VS Code) vous permet d'effectuer les opérations suivantes :

  • Développez et exécutez du code Spark dans des notebooks Managed Service pour Apache Spark.

  • Créez et gérez des profils d'exécution (modèles de session), des sessions interactives et des charges de travail par lot Managed Service pour Apache Spark.

L'extension Visual Studio Code est sans frais, mais vous êtes facturé pour tous les servicesGoogle Cloud , y compris Managed Service pour Apache Spark, Managed Service pour Apache Spark et les ressources Cloud Storage que vous utilisez.

Utiliser VS Code avec BigQuery : vous pouvez également utiliser VS Code avec BigQuery pour effectuer les opérations suivantes :

  • Développer et exécuter des notebooks BigQuery.
  • Parcourir, inspecter et prévisualiser des ensembles de données BigQuery

Avant de commencer

  1. Téléchargez et installez VS Code.
  2. Ouvrez VS Code, puis, dans la barre d'activité, cliquez sur Extensions.

  3. À l'aide de la barre de recherche, recherchez l'extension Jupyter, puis cliquez sur Installer. L'extension Jupyter de Microsoft est une dépendance requise.

    Liste des extensions Jupyter dans la console VS Code.

Installer l'extension Google Cloud

  1. Ouvrez VS Code, puis, dans la barre d'activité, cliquez sur Extensions.

  2. À l'aide de la barre de recherche, recherchez l'extension Google Cloud Code, puis cliquez sur Installer.

    L'extension Google Cloud  Code dans la console VS Code.

  3. Si vous y êtes invité, redémarrez VS Code.

L'icône Google Cloud Code est désormais visible dans la barre d'activité de VS Code.

Configurer l'extension

  1. Ouvrez VS Code, puis, dans la barre d'activité, cliquez sur Google Cloud Code.
  2. Ouvrez la section Dataproc.
  3. Cliquez sur Se connecter à Google Cloud. Vous êtes redirigé pour vous connecter avec vos identifiants.
  4. Utilisez la barre de tâches de niveau supérieur de l'application pour accéder à Code > Settings > Settings > Extensions.
  5. Recherchez Google Cloud Code, puis cliquez sur l'icône Gérer pour ouvrir le menu.
  6. Sélectionnez Paramètres.
  7. Dans les champs Projet et Région Managed Service pour Apache Spark, saisissez le nom du projet Google Cloud et la région à utiliser pour développer des notebooks et gérer les ressources Managed Service pour Apache Spark.

Développer des notebooks

  1. Ouvrez VS Code, puis, dans la barre d'activité, cliquez sur Google Cloud Code.
  2. Ouvrez la section Notebooks, puis cliquez sur Nouveau notebook Spark sans serveur.
  3. Sélectionnez ou créez un profil d'exécution (modèle de session) à utiliser pour la session de notebook.

  4. Un nouveau fichier .ipynb contenant un exemple de code est créé et ouvert dans l'éditeur.

    Nouveau notebook Spark sans serveur dans la console VS Code.

    Vous pouvez maintenant écrire et exécuter du code dans votre notebook Managed Service pour Apache Spark.

Créer et gérer des ressources

  1. Ouvrez VS Code, puis, dans la barre d'activité, cliquez sur Google Cloud Code.

  2. Ouvrez la section Dataproc, puis cliquez sur les noms de ressources suivants :

    • Clusters : créez et gérez des clusters et des jobs.

    • Sans serveur : créez et gérez des charges de travail par lot et des sessions interactives.

    • Modèles d'exécution Spark : créez et gérez des profils d'exécution (modèles de session).

    Ressources Dataproc listées dans la console VS Code.

Explorateur d'ensembles de données

Utilisez l'explorateur d'ensembles de données JupyterLab pour afficher les ensembles de données BigLake Metastore.

Pour ouvrir l'explorateur d'ensembles de données JupyterLab, cliquez sur son icône dans la barre latérale.

Vous pouvez rechercher une base de données, une table ou une colonne dans l'explorateur d'ensembles de données. Cliquez sur le nom d'une base de données, d'une table ou d'une colonne pour afficher les métadonnées associées.

Déployer votre code

Après avoir installé l'extension JupyterLab, vous pouvez utiliser JupyterLab pour :

  • Exécuter le code de votre notebook sur l'infrastructure Managed Service pour Apache Spark

  • Planifier l'exécution d'un notebook sur Managed Service pour Apache Airflow

  • Envoyez des jobs par lot à l'infrastructure Managed Service pour Apache Spark ou à votre cluster Managed Service pour Apache Spark.

Planifier l'exécution d'un notebook sur Managed Airflow

Suivez les étapes ci-dessous pour planifier l'exécution du code de votre notebook sur Managed Airflow en tant que job par lot sur Managed Service pour Apache Spark ou sur un cluster Managed Service pour Apache Spark.

  1. Créer un environnement Managed Airflow

  2. Cliquez sur le bouton Job Scheduler (Planificateur de jobs) en haut à droite du notebook.

  3. Remplissez le formulaire Créer un job planifié en fournissant les informations suivantes :

    • Nom unique du job d'exécution du notebook
    • Environnement Managed Airflow à utiliser pour déployer le notebook
    • Paramètres d'entrée si le notebook est paramétré
    • Le cluster Managed Service pour Apache Spark ou le modèle d'exécution sans serveur à utiliser pour exécuter le notebook
      • Si un cluster est sélectionné, indiquez si vous souhaitez l'arrêter une fois que le notebook a fini de s'exécuter sur le cluster.
    • Nombre de nouvelles tentatives et délai avant une nouvelle tentative (en minutes) si l'exécution du notebook échoue au premier essai
    • Notifications d'exécution à envoyer et liste des destinataires. Les notifications sont envoyées à l'aide d'une configuration SMTP Airflow.
    • La planification de l'exécution du notebook

  4. Cliquez sur Créer.

  5. Une fois le notebook planifié, le nom du job apparaît dans la liste des jobs planifiés de l'environnement Managed Airflow.

Envoyer un job par lot à Managed Service pour Apache Spark

  • Cliquez sur la fiche Sans serveur dans la section Jobs et sessions Dataproc de la page Lanceur d'applications de JupyterLab.

  • Cliquez sur l'onglet Batch, puis sur Create Batch (Créer un lot) et renseignez les champs Batch Info (Informations sur le lot).

  • Cliquez sur Envoyer pour envoyer le job.

Envoyer un job par lot à un cluster Managed Service pour Apache Spark

  • Cliquez sur la fiche Clusters dans la section Jobs et sessions Dataproc de la page Lanceur d'applications de JupyterLab.

  • Cliquez sur l'onglet Jobs, puis sur Envoyer un job.

  • Sélectionnez un cluster, puis remplissez les champs Job.

  • Cliquez sur Envoyer pour envoyer le job.

Afficher et gérer les ressources

Après avoir installé l'extension JupyterLab, vous pouvez afficher et gérer Managed Service pour Apache Spark et Managed Service pour Apache Spark depuis la section Jobs et sessions Dataproc de la page Lanceur d'applications de JupyterLab.

Cliquez sur la section Jobs et sessions Dataproc pour afficher les fiches Clusters et Sans serveur.

Pour afficher et gérer les sessions Managed Service pour Apache Spark :

  1. Cliquez sur la fiche Sans serveur.
  2. Cliquez sur l'onglet Sessions, puis sur un ID de session pour ouvrir la page Détails de la session afin d'afficher les propriétés de la session, d'afficher les journaux Google Cloud dans l'explorateur de journaux et de mettre fin à une session. Remarque : Une session Managed Service pour Apache Spark unique est créée pour lancer chaque notebook Managed Service pour Apache Spark.

Pour afficher et gérer les lots Managed Service pour Apache Spark :

  1. Cliquez sur l'onglet Lots pour afficher la liste des lots Managed Service pour Apache Spark dans le projet et la région actuels. Cliquez sur un ID de lot pour afficher les détails du lot.

Pour afficher et gérer les clusters Managed Service pour Apache Spark :

  1. Cliquez sur la fiche Clusters. L'onglet Clusters est sélectionné pour lister les clusters Managed Service pour Apache Spark actifs dans le projet et la région actuels. Vous pouvez cliquer sur les icônes de la colonne Actions pour démarrer, arrêter ou redémarrer un cluster. Cliquez sur le nom d'un cluster pour en afficher les détails. Vous pouvez cliquer sur les icônes de la colonne Actions pour cloner, arrêter ou supprimer un job.

Pour afficher et gérer les jobs Managed Service pour Apache Spark :

  1. Cliquez sur la fiche Jobs pour afficher la liste des jobs du projet actuel. Cliquez sur un ID de job pour afficher les détails du job.