Exécuter une instance de notebooks gérés sur un cluster Managed Service pour Apache Spark

Exécuter une instance de notebooks gérés sur un cluster Managed Service pour Apache Spark

Les notebooks gérés Vertex AI Workbench sont obsolètes. Depuis le 14 avril 2025, ils ne sont plus pris en charge et il n'est plus possible de créer des instances de notebooks gérés. Les instances existantes continueront de fonctionner jusqu'au 30 mars 2026, mais les correctifs, mises à jour et mises à niveau ne seront plus disponibles. Pour continuer à utiliser Vertex AI Workbench, nous vous recommandons de migrer vos instances de notebooks gérés vers des instances Vertex AI Workbench.

Cette page explique comment exécuter le fichier notebook d'une instance de notebooks gérés sur un cluster Managed Service pour Apache Spark.

Avant de commencer

Connectez-vous à votre Google Cloud compte. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $de crédits sans frais pour exécuter, tester et déployer des charges de travail.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Notebooks and Managed Service for Apache Spark APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Notebooks and Managed Service for Apache Spark APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Rôles requis

Pour vous assurer que le compte de service dispose des autorisations nécessaires pour exécuter un fichier notebook sur un cluster Managed Service pour Apache Spark, demandez à votre administrateur d'accorder au compte de service les rôles IAM suivants :

Important : Vous devez accorder ces rôles au compte de service, et non à votre compte utilisateur. Si vous ne les accordez pas au bon compte principal, vous risquez de rencontrer des erreurs d'autorisation.

• Nœud de calcul Dataproc (roles/dataproc.worker) sur votre projet
• Éditeur Dataproc (roles/dataproc.editor) sur le cluster pour l'autorisation dataproc.clusters.use

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour exécuter un fichier notebook sur un cluster Managed Service pour Apache Spark. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour exécuter un fichier notebook sur un cluster Managed Service pour Apache Spark :

• dataproc.agents.create
• dataproc.agents.delete
• dataproc.agents.get
• dataproc.agents.update
• dataproc.tasks.lease
• dataproc.tasks.listInvalidatedLeases
• dataproc.tasks.reportStatus
• dataproc.clusters.use

Votre administrateur peut également attribuer au compte de service ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer un cluster Managed Service pour Apache Spark

Pour exécuter le fichier notebook d'une instance de notebooks gérés dans un cluster Managed Service pour Apache Spark, votre cluster doit répondre aux critères suivants :

• La passerelle des composants du cluster doit être activée.

• Le cluster doit comporter le composant Jupyter.

• Le cluster doit se trouver dans la même région que votre instance de notebooks gérés.

Pour créer votre cluster Managed Service pour Apache Spark, saisissez la commande suivante dans Cloud Shell ou dans un autre environnement dans lequel Google Cloud CLI est installé.

gcloud dataproc clusters create CLUSTER_NAME\
    --region=REGION \
    --enable-component-gateway \
    --optional-components=JUPYTER

Remplacez les éléments suivants :

• REGION : emplacement de votre instance de notebooks gérés Google Cloud

• CLUSTER_NAME: nom de votre nouveau cluster

Après quelques minutes, votre cluster Managed Service pour Apache Spark devient disponible. En savoir plus sur la création de clusters Managed Service pour Apache Spark.

Ouvrir JupyterLab

1. Dans la Google Cloud console, accédez à la page Notebooks gérés.

   Accéder à la page "Notebooks gérés"

2. À côté du nom de votre instance de notebooks gérés, cliquez sur Ouvrir JupyterLab.

Exécuter un fichier notebook dans votre cluster Managed Service pour Apache Spark

Vous pouvez exécuter un fichier notebook dans votre cluster Managed Service pour Apache Spark à partir de n'importe quelle instance de notebooks gérés dans le même projet et la même région.

Exécuter un nouveau fichier notebook

1. Dans l'interface JupyterLab de votre instance de notebooks gérés, sélectionnez Fichier > Nouveau > Notebook.

2. Les noyaux disponibles pour votre cluster Managed Service pour Apache Spark s'affichent dans le menu Sélectionner le noyau. Sélectionnez le noyau que vous souhaitez utiliser, puis cliquez sur Sélectionner.

   Le nouveau fichier notebook s'ouvre.

3. Ajoutez du code à votre nouveau fichier notebook, puis exécutez le code.

Pour modifier le noyau que vous souhaitez utiliser après avoir créé le fichier notebook, consultez la section suivante.

Exécuter un fichier notebook existant

1. Dans l'interface JupyterLab de votre instance de notebooks gérés, cliquez sur le bouton  Explorateur de fichiers, accédez au fichier notebook que vous souhaitez exécuter, puis ouvrez-le.

2. Pour ouvrir la boîte de dialogue Sélectionner le noyau, cliquez sur le nom du noyau de votre fichier notebook, par exemple Python (Local).

3. Pour sélectionner un noyau à partir de votre cluster Managed Service pour Apache Spark, sélectionnez un nom de noyau incluant le nom de votre cluster à la fin. Par exemple, un noyau PySpark sur un cluster Managed Service pour Apache Spark nommé mycluster est nommé PySpark on mycluster.

4. Cliquez sur Select (Sélectionner) pour fermer la boîte de dialogue.

   Vous pouvez maintenant exécuter le code de votre fichier notebook sur le cluster Managed Service pour Apache Spark.

Étape suivante

• En savoir plus sur Managed Service pour Apache Spark.