Entraîner des modèles d'IA et de ML

Aperçu

Ce produit est soumis aux "Conditions des offres de pré-DG" de la section "Conditions générales du service" des Conditions spécifiques du service, et aux Conditions supplémentaires pour les produits d'IA générative en version preview. Les produits de pré-DG sont disponibles "en l'état" et peuvent avoir une prise en charge limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Découvrez comment entraîner des modèles d'IA et de ML dans l'extension Google Cloud Data Agent Kit pour Visual Studio Code.

Dans ce guide de démarrage rapide, vous utilisez un modèle de session et un exemple de notebook Jupyter pour prédire les montants des pourboires des taxis à New York. À l'aide d'un noyau Jupyter distant avec PySpark, vous testez différents modèles tels que la régression linéaire, la forêt aléatoire et XGBoost. Ce processus vous permet d'effectuer un entraînement et une inférence distribués. Il illustre l'évolutivité sur plusieurs machines à l'aide de Spark ML et de la bibliothèque XGBoost.

Bien que ce guide de démarrage rapide ne les aborde pas, il existe plusieurs façons d'entraîner des modèles d'IA et de ML à l'aide de l'extension Google Cloud Data Agent Kit pour Visual Studio Code :

• Si votre ensemble de données d'entraînement est volumineux ou si vous souhaitez bénéficier des fonctionnalités d'entraînement distribué qu'offre Apache Spark, vous pouvez utiliser des notebooks Spark avec des noyaux distants.
• Si votre ensemble de données se trouve dans BigQuery et que BigQuery ML est compatible avec votre cas d'utilisation, vous pouvez utiliser un notebook BigQuery DataFrames.
• Si votre ensemble de données est petit et que vous souhaitez entraîner votre modèle en local, vous pouvez utiliser un notebook Python.

Créer un modèle d'exécution Spark

Les modèles d'exécution Spark sans serveur vous permettent de démarrer une session Apache Spark avec un ensemble de configurations donné. Pour créer un modèle d'exécution sans serveur, procédez comme suit :

1. Dans la barre d'activité de l'IDE, cliquez sur l'icône Google Cloud Data Agent Kit.
2. Dans le menu Google Cloud Data Agent Kit, développez Apache Spark.
3. Développez Sans serveur , puis cliquez sur + Créer des environnements d'exécution sans serveur. Un formulaire de création d'environnement d'exécution sans serveur s'affiche.
4. Dans le champ Nom à afficher, saisissez ai-ml-tutorial.
5. Accédez à la section Autoscaling.
6. Définissez spark.dynamicAllocation.enabled sur "false" dans la liste déroulante. Ce paramètre est nécessaire pour qu'XGBoost fonctionne avec Apache Spark.
7. Laissez tous les autres champs définis sur la valeur par défaut.
8. Cliquez sur Envoyer.

Créer un notebook

Remarque : Dans ce guide de démarrage rapide, vous utilisez un exemple de notebook prédéfini. Vous pouvez également utiliser l'agent dans votre IDE pour générer un notebook Spark avec une invite décrivant votre cas d'utilisation spécifique du ML.

Ensuite, créez un notebook Spark :

1. Sous Apache Spark dans l'onglet Google Cloud Data Agent Kit, cliquez sur + Nouveau Spark Notebook.
2. Choisissez Noyau distant pour le type de noyau.
3. Cliquez sur Commencer avec un exemple de notebook.
4. Dans la liste des exemples, sélectionnez Data Science with PySpark and Distributed XGBoost (Data science avec PySpark et XGBoost distribué). Un notebook Jupyter sans titre s'affiche.

Entraîner le modèle

1. Dans l'onglet du notebook, cliquez sur Tout exécuter. Le sélecteur de noyau vous demande de sélectionner un noyau pour exécuter le notebook.
2. Cliquez sur Sélectionner un autre noyau.
3. Cliquez sur Noyaux Spark distants.
4. Sélectionnez ai-ml-tutorial on Serverless Spark, le modèle d'exécution que vous avez créé précédemment.

Remarque : Sous Windows, la prise en charge des chemins longs doit être activée pour utiliser les notebooks Spark sur des noyaux distants.

La notification suivante s'affiche pendant que le système crée votre session Spark sans serveur : Connecting to kernel: ai-ml-tutorial on Serverless Spark (Connexion au noyau : ai-ml-tutorial sur Spark sans serveur). Lorsque le notebook se connecte au noyau PySpark distant, l'exécution commence à la première cellule. Ce processus prend environ deux à trois minutes.

**Point clé** : Managed Service pour Apache Spark exécute votre code d'entraînement entièrement. Le système ne télécharge aucune partie de votre ensemble de données d'entraînement sur votre ordinateur local.

Inspecter votre session Spark

1. Dans l'onglet Google Cloud Data Agent Kit, sous Apache Spark, développez le modèle d'exécution ai-ml-tutorial. L'IDE affiche la liste des sessions interactives que vous avez créées avec ce modèle d'exécution.
2. Recherchez la session que le système a créée en exécutant le notebook en haut de la liste. Cliquez sur la session pour afficher ses détails. Vous pouvez examiner la configuration de la session et les ressources que le système a consommées pour exécuter votre notebook.

Effectuer un nettoyage

Une fois le notebook exécuté, procédez comme suit pour effectuer un nettoyage.

1. Dans l'onglet Google Cloud Data Agent Kit, sous Apache Spark, faites un clic droit sur Sans serveur , puis sélectionnez Lister les environnements d'exécution sans serveur. La liste des environnements d'exécution sans serveur s'affiche.
2. Cliquez sur le menu Action pour ai-ml-tutorial afin de lister toutes les sessions interactives que le système a créées à partir de votre modèle.
3. Sous Actions, cliquez sur Supprimer.
4. Revenez à la fenêtre des environnements d'exécution sans serveur.
5. Sous Actions pour ai-ml-tutorial, cliquez sur Supprimer.
6. Cliquez sur Confirmer pour supprimer le modèle que vous avez créé pour ce tutoriel.

Étape suivante

• Présentation de Managed Service pour Apache Spark
• Transformer les données