Créer des sessions interactives et des modèles de session

Cette page vous explique comment créer des sessions interactives et des modèles de session Managed Service pour Apache Spark. Un modèle de session peut être utilisé pour créer plusieurs sessions interactives en fonction de sa configuration.

Remarque : Les sessions interactives Managed Service pour Apache Spark sont associées à des notebooks interactifs. Pour obtenir un exemple d'utilisation de session avec les notebooks Jupyter, consultez Utiliser le plug-in JupyterLab Managed Service pour Apache Spark pour les sessions de notebook par lot et interactives sans serveur. Pour obtenir des exemples d'utilisation des sessions dans les notebooks BigQuery Studio, consultez Exécuter du code PySpark dans les notebooks BigQuery Studio.

Créer une session interactive

Vous pouvez utiliser la Google Cloud CLI ou l'API Managed Service pour Apache Spark afin de créer une session interactive Managed Service pour Apache Spark.

gcloud

Vous pouvez utiliser gcloud beta dataproc sessions create command SESSION_NAME pour créer une session interactive Managed Service pour Apache Spark.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

Remplacez ou ajoutez les éléments suivants :

• SESSION_ID : valeur obligatoire. ID de la session.

• REGION : valeur obligatoire. Une région disponible pour localiser votre session.

• --version : facultatif. Une version d'exécution Spark compatible. Si vous n'utilisez pas cet indicateur pour spécifier une version, la version actuelle par défaut du runtime Spark est utilisée.

• --container-image : facultatif. Une image de conteneur personnalisée à utiliser pour votre session.

• --property : facultatif. Une ou plusieurs propriétés Spark pour votre session, séparées par une virgule.

• --service-account : facultatif. Le compte de service à utiliser pour votre session. S'il n'est pas spécifié, le compte de service Compute Engine par défaut est utilisé.

• --subnet : facultatif. Nom d'un sous-réseau dans la région de la session. Si aucune valeur n'est spécifiée, Managed Service pour Apache Spark utilise le sous-réseau default dans la région de la session. Managed Service pour Apache Spark active l'accès privé à Google sur le sous-réseau. Pour connaître les exigences en matière de connectivité réseau, consultez Configuration réseau de Managed Service pour Apache Spark.

REST

Vous pouvez utiliser l'API Managed Service pour Apache Spark sessions.create pour créer une session interactive Managed Service pour Apache Spark.

Remarques :

• name : obligatoire. Nom de la session.

• version : facultatif. N'importe quelle version d'exécution Spark compatible pour votre session. Si vous ne spécifiez pas de version, la version par défaut actuelle est utilisée.

• containerImage : facultatif. Une image de conteneur personnalisée à utiliser pour votre session.

• properties : facultatif. Mappage des noms de propriétés de session sur des valeurs. Consultez la section Propriétés Spark.

• serviceAccount : facultatif. Le compte de service à utiliser pour exécuter votre session. S'il n'est pas spécifié, le compte de service Compute Engine par défaut est utilisé.

• subnetworkUri : facultatif. Nom d'un sous-réseau dans la région de la session. Si aucune valeur n'est spécifiée, Managed Service pour Apache Spark utilise le sous-réseau default dans la région de la session. Managed Service pour Apache Spark active l'accès privé à Google sur le sous-réseau. Pour connaître les exigences en matière de connectivité réseau, consultez Configuration réseau de Managed Service pour Apache Spark.

Créer un modèle de session

Un modèle de session Managed Service pour Apache Spark définit les paramètres de configuration permettant de créer une ou plusieurs sessions interactives Managed Service pour Apache Spark. Vous pouvez utiliser la console Google Cloud , la gcloud CLI ou l'API Managed Service pour Apache Spark afin de créer un modèle de session Managed Service pour Apache Spark pour une session Jupyter ou Spark Connect.

Remarque : Vous pouvez créer une session dans un notebook BigQuery Studio à partir d'un modèle de session Managed Service pour Apache Spark. Cette section explique comment configurer le modèle pour l'utiliser dans un notebook BigQuery Studio.

Console

Pour créer un modèle de session Managed Service pour Apache Spark à l'aide de la console Google Cloud , procédez comme suit :

1. Dans la console Google Cloud , accédez à la page Modèles de session.

   Accéder aux modèles de session

   1. Cliquez sur Créer.

2. Sur la page Créer un modèle de session, saisissez ou confirmez les paramètres de configuration du modèle. Veuillez noter les points suivants :

   • ID d'exécution du modèle : obligatoire. Acceptez l'ID (nom) par défaut ou spécifiez un nom d'exécution du modèle.
   • Région : obligatoire. Acceptez la région par défaut ou spécifiez une région disponible pour les sessions de modèle.
   • Version d'exécution : facultatif. Les durées d'exécution de session sélectionnables correspondent aux versions d'exécution de Managed Service pour Apache Spark.
     • Exigences concernant les sessions de notebook BigQuery Studio : si vous créez un modèle à utiliser pour les sessions Spark Connect de notebook BigQuery Studio, il doit utiliser la version 2.3 ou ultérieure de l'environnement d'exécution Spark.
   • Type de configuration du modèle : obligatoire. Sélectionnez un type. Si vous sélectionnez Jupyter, spécifiez le nom à afficher et sélectionnez le type de kernel Jupyter. Consultez également Lancer un notebook Jupyter sur Managed Service pour Apache Spark.
     • Exigences concernant les sessions de notebook BigQuery Studio : Les sessions de notebook BigQuery Studio doivent spécifier Spark Connect comme type de configuration du modèle.
   • Compte de service : facultatif. Le compte de service à utiliser pour exécuter les sessions basées sur des modèles. S'il n'est pas spécifié, le compte de service Compute Engine par défaut est utilisé.
   • Image de conteneur personnalisé : facultatif. Une image de conteneur personnalisée à utiliser pour vos sessions basées sur des modèles.
   • Propriétés : facultatif. Cliquez sur Ajouter un élément pour chaque propriété à définir pour vos sessions basées sur un modèle. Pour en savoir plus, consultez Propriétés Spark.
   • Configuration réseau : * Obligatoire. Sélectionnez un sous-réseau dans la région de la session. Managed Service pour Apache Spark active l'accès privé à Google sur le sous-réseau spécifié. Pour connaître les exigences en matière de connectivité réseau, consultez Configuration réseau de Managed Service pour Apache Spark.

3. Cliquez sur Envoyer pour créer le modèle de session.

gcloud

Vous ne pouvez pas créer directement de modèle de session Managed Service pour Apache Spark à l'aide de la gcloud CLI, mais vous pouvez utiliser la commande gcloud beta dataproc session-templates import pour importer un modèle de session existant. Vous pouvez modifier le modèle importé, puis l'exporter à l'aide de la commande gcloud beta dataproc session-templates export.

REST

Vous pouvez utiliser l'API Managed Service pour Apache Spark sessionTemplates.create pour créer un modèle de session Managed Service pour Apache Spark.

Remarques :

• name : obligatoire. Nom du modèle de session.

• version : facultatif. Toutes les versions d'exécution Spark compatibles pour vos sessions basées sur des modèles. Si vous ne spécifiez pas de version, la version par défaut est utilisée.

  • Exigences concernant les sessions de notebook BigQuery Studio : si vous créez un modèle à utiliser pour les sessions Spark Connect de notebook BigQuery Studio, il doit utiliser la version 2.3 ou ultérieure de l'environnement d'exécution Spark.

• sessionConfig : spécifiez jupyter_session ou spark_connect_session. Si vous spécifiez jupyter_session, spécifiez également JupyterConfig.display_name et JupyterConfig.kernel. Consultez également Lancer un notebook Jupyter sur Managed Service pour Apache Spark.

  • Exigence concernant les sessions de notebook BigQuery Studio : Les sessions de notebook BigQuery Studio doivent spécifier Spark Connect comme type de configuration du modèle.

• containerImage : facultatif. Une image de conteneur personnalisée à utiliser pour vos sessions basées sur des modèles.

• properties : facultatif. Mappage des noms de propriétés de session sur des valeurs. Consultez la section Propriétés Spark.

• serviceAccount : facultatif. Un compte de service à utiliser pour exécuter vos sessions basées sur des modèles. S'il n'est pas spécifié, le compte de service Compute Engine par défaut est utilisé.

• subnetworkUri : facultatif. Nom d'un sous-réseau dans la région de la session. Si aucune valeur n'est spécifiée, Managed Service pour Apache Spark utilise le sous-réseau default dans la région de la session. Managed Service pour Apache Spark active l'accès privé à Google sur le sous-réseau. Pour connaître les exigences en matière de connectivité réseau, consultez Configuration réseau de Managed Service pour Apache Spark.