Utiliser Data Science Agent

Ce guide explique comment utiliser Data Science Agent dans Colab Enterprise pour vous aider à effectuer des tâches de data science dans vos notebooks.

Découvrez comment et quand Gemini pour Google Cloud utilise vos données.

Ce document est destiné aux analystes de données, aux data scientists et aux développeurs de données qui travaillent avec Colab Enterprise. Il suppose que vous savez écrire du code dans un environnement de notebook.

Fonctionnalités de Data Science Agent

Data Science Agent peut vous aider à effectuer des tâches allant de l'analyse exploratoire des données à la génération de prédictions et de prévisions de machine learning. Vous pouvez utiliser Data Science Agent pour :

  • Traitement des données à grande échelle : utilisez BigQuery ML, BigQuery DataFrames ou Managed Service pour Apache Spark afin d'effectuer un traitement distribué des données sur de grands ensembles de données. Vous pouvez ainsi nettoyer, transformer et analyser efficacement des données trop volumineuses pour tenir dans la mémoire d'une seule machine.
  • Génération de plans : générez et modifiez un plan pour effectuer une tâche spécifique à l'aide d'outils courants tels que Python, SQL, Apache Spark et BigQuery DataFrames.
  • Exploration des données : explorez un ensemble de données pour comprendre sa structure, identifier les problèmes potentiels tels que les valeurs manquantes et les valeurs aberrantes, et examiner la distribution des variables clés.
  • Nettoyage des données : nettoyez vos données. Par exemple, supprimez les points de données qui sont des valeurs aberrantes.
  • Data wrangling : convertissez les caractéristiques catégorielles en représentations numériques à l'aide de techniques telles que l'encodage one-hot ou l'encodage de libellés. Créez de nouvelles caractéristiques pour l'analyse.
  • Analyse des données : analysez les relations entre différentes variables. Calculez les corrélations entre les caractéristiques numériques et explorez les distributions des caractéristiques catégorielles. Recherchez des schémas et des tendances dans les données.
  • Visualisation des données : créez des visualisations telles que des histogrammes, des diagrammes en boîte, nuages de points et graphiques à barres qui représentent les distributions de variables individuelles et les relations entre elles.
  • Ingénierie des caractéristiques : créez de nouvelles caractéristiques à partir d'un ensemble de données nettoyé.
  • Répartition des données : divisez un ensemble de données conçu en ensembles de données d'entraînement, de validation, et de test.
  • Entraînement de modèle : entraînez un modèle à l'aide des données d'entraînement dans un DataFrame pandas, un BigQuery DataFrames, un PySpark DataFrame, ou à l'aide de l'instruction BigQuery ML CREATE MODEL avec des tables BigQuery.
  • Optimisation du modèle : optimisez un modèle à l'aide de l'ensemble de validation. Explorez d'autres modèles tels que DecisionTreeRegressor et RandomForestRegressor, et comparez leurs performances.
  • Évaluation du modèle : évaluez les performances du modèle sur un ensemble de données de test à l'aide d'un DataFrame pandas, de BigQuery DataFrames ou d'un PySpark DataFrame. Vous pouvez également évaluer la qualité du modèle et comparer les modèles à l'aide de BigQuery ML fonctions d'évaluation de modèle pour les modèles entraînés à l'aide de BigQuery ML.
  • Inférence du modèle : effectuez une inférence avec des modèles entraînés BigQuery ML, des modèles importés et des modèles distants à l'aide des fonctions d'inférence BigQuery ML. Vous pouvez également utiliser la méthode BigQuery DataFrames model.predict() ou les transformateurs PySpark pour effectuer des prédictions.

Limites

  • Data Science Agent est compatible avec les sources de données suivantes :
    • Fichiers CSV
    • Tables BigQuery
  • Le code produit par Data Science Agent ne s'exécute que dans l'environnement d'exécution de votre notebook.
  • Votre notebook doit se trouver dans une région compatible avec Data Science Agent. Consultez la page Emplacements.
  • La première fois que vous exécutez Data Science Agent, vous pouvez rencontrer une latence d'environ cinq à dix minutes. Cela ne se produit qu'une seule fois par projet lors de la configuration initiale.
  • La recherche de tables BigQuery à l'aide de la fonction @mention est limitée à votre projet actuel. Utilisez le sélecteur de table pour effectuer une recherche dans tous les projets.
  • La fonction @mention ne recherche que les tables BigQuery. Pour rechercher des fichiers de données que vous pouvez importer, utilisez le symbole +.
  • PySpark dans Data Science Agent ne génère que du code Apache Spark 4.0. Le DSA peut vous aider à passer à Apache Spark 4.0, mais les utilisateurs qui ont besoin de versions antérieures d'Apache Spark ne doivent pas utiliser Data Science Agent.

Avant de commencer

  1. Connectez-vous à votre Google Cloud compte. Si vous n'avez jamais utilisé Google Cloud, créez un compte pour évaluer les performances de nos produits dans des scénarios réels. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Vertex AI, Dataform, and Compute Engine APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Vertex AI, Dataform, and Compute Engine APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

Rôles requis

Pour obtenir les autorisations nécessaires pour utiliser Data Science Agent dans Colab Enterprise, demandez à votre administrateur de vous accorder le rôle IAM Utilisateur Colab Enterprise (roles/aiplatform.colabEnterpriseUser) sur le projet. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Référencer vos données

Pour permettre à Data Science Agent de Colab Enterprise d'accéder à vos données et de les utiliser, vous pouvez importer un fichier CSV ou référencer une table BigQuery.

Fichier CSV

  1. Dans la Google Cloud console, accédez à la page Mes notebooks de Colab Enterprise.

    Accéder à "Mes notebooks"

  2. Dans le menu Région, sélectionnez la région qui contient votre notebook.

  3. Cliquez sur le notebook que vous souhaitez ouvrir.

  4. Cliquez sur le bouton  Activer/Désactiver Gemini dans Colab pour ouvrir la boîte de dialogue de chat.

  5. Dans la boîte de dialogue de chat, cliquez sur Ajouter des fichiers > Importer.

  6. Si nécessaire, autorisez votre compte Google.

    Attendez quelques instants que Colab Enterprise démarre un environnement d'exécution et active la navigation dans les fichiers.

  7. Accédez à l'emplacement du fichier, puis cliquez Ouvrir.

  8. Cliquez sur OK pour confirmer que les fichiers de cet environnement d'exécution seront supprimés lorsque l'environnement d'exécution sera supprimé.

    Le fichier est importé dans le volet Fichiers et s'affiche dans la fenêtre de chat.

Table BigQuery

  1. Dans la Google Cloud console, accédez à la page Mes notebooks de Colab Enterprise.

    Accéder à "Mes notebooks"

  2. Dans le menu Région, sélectionnez la région qui contient votre notebook.

  3. Cliquez sur le notebook que vous souhaitez ouvrir.

  4. Cliquez sur le bouton  Activer/Désactiver Gemini dans Colab pour ouvrir la boîte de dialogue de chat.

  5. Pour référencer vos données, effectuez l'une des opérations suivantes :

    • Choisissez une ou plusieurs tables à l'aide du sélecteur de table :

      1. Cliquez sur Ajouter à Gemini > Tables BigQuery.
      2. Dans la fenêtre Tables BigQuery, sélectionnez une ou plusieurs tables de votre projet. Vous pouvez rechercher des tables dans tous les projets et les filtrer à l'aide de la barre de recherche.

    • Incluez directement un nom de table BigQuery dans votre requête. Par exemple : "Aidez-moi à effectuer une analyse exploratoire de données et à obtenir des insights sur les données de cette table : PROJECT_ID:DATASET.TABLE."

      Remplacez les éléments suivants :

      • PROJECT_ID : ID du projet.
      • DATASET : nom de l'ensemble de données contenant la table que vous analysez.
      • TABLE : nom de la table que vous analysez.
    • Saisissez @ pour rechercher une table BigQuery dans votre projet actuel.

Utiliser Data Science Agent

Pour commencer à utiliser Data Science Agent de Colab Enterprise, procédez comme suit :

  1. Dans la boîte de dialogue de chat Gemini , saisissez une requête, puis cliquez sur  Envoyer. Pour obtenir des idées de requêtes, consultez les fonctionnalités de Data Science Agent et les exemples de requêtes.

    Par exemple, vous pouvez saisir "Fournissez une analyse des données que j'ai importées."

    Si vous n'avez pas encore autorisé Data Science Agent, une brève boîte de dialogue s'affiche pendant que Colab Enterprise authentifie votre compte Google auprès de Data Science Agent.

  2. Gemini répond à votre requête. La réponse peut inclure des extraits de code à exécuter, des conseils généraux pour votre projet, les étapes suivantes pour atteindre vos objectifs ou des informations sur des problèmes spécifiques dans vos données ou votre code.

    Après avoir évalué la réponse, vous pouvez effectuer les opérations suivantes :

    • Si Gemini fournit du code dans sa réponse, vous pouvez cliquer sur :
      • Accepter pour ajouter le code à votre notebook.
      • Accepter et exécuter pour ajouter le code à votre notebook et l'exécuter.
      • Annuler pour supprimer le code suggéré.
    • Posez des questions de suivi et poursuivez la discussion si nécessaire.

  3. Pour fermer la boîte de dialogue Gemini, cliquez sur  Close.

Désactiver Gemini dans Colab Enterprise

Pour désactiver Gemini dans Colab Enterprise pour un Google Cloud projet, un administrateur doit désactiver l' API Gemini for Google Cloud. Consultez la section Désactiver des services.

Pour désactiver Gemini dans Colab Enterprise pour un utilisateur spécifique, un administrateur doit lui retirer le rôle Utilisateur Gemini pour Google Cloud (roles/cloudaicompanion.user). Consultez Révoquer un rôle IAM unique.

Exemples de requêtes

Les sections suivantes présentent des exemples de types de requêtes que vous pouvez utiliser avec Data Science Agent.

Requêtes Python

Le code Python est généré par défaut, sauf si vous utilisez un mot clé spécifique dans la requête, tel que "BigQuery ML" ou "SQL".

  • Étudiez et renseignez les valeurs manquantes à l'aide de l'algorithme de machine learning des k plus proches voisins (KNN).
  • Créez un graphique des salaires par niveau d'expérience. Utilisez la colonne experience_level pour regrouper les salaires et créez un diagramme en boîte pour chaque groupe affichant les valeurs de la colonne salary_in_usd.
  • Utilisez l'algorithme XGBoost pour créer un modèle permettant de déterminer la variable class d'un fruit particulier. Divisez les données en ensembles de données d'entraînement et de test pour générer un modèle et déterminer sa précision. Créez une matrice de confusion pour afficher les prédictions dans chaque classe, y compris toutes les prédictions correctes et incorrectes.
  • Prévoyez target_variable à partir de filename.csv pour les six prochains mois.

Requêtes SQL et BigQuery ML

  • Créez et évaluez un modèle de classification sur bigquery-public-data.ml_datasets.census_adult_income à l'aide de BigQuery SQL.
  • À l'aide de SQL, prévoyez le trafic futur de mon site Web pour le mois prochain en fonction de bigquery-public-data.google_analytics_sample.ga_sessions_*. Tracez ensuite les valeurs historiques et prévues.
  • Regroupez les clients similaires pour créer des campagnes de ciblage à l'aide d'un modèle KMeans et des fonctions SQL BigQuery ML. Utilisez trois caractéristiques pour le clustering. Visualisez ensuite les résultats en créant une série de nuages de points 2D. Utilisez la table bigquery-public-data.ml_datasets.census_adult_income.
  • Générez des embeddings de texte dans BigQuery ML à l'aide du contenu des avis dans bigquery-public-data.imdb.reviews.

Pour obtenir la liste des modèles et des tâches de machine learning compatibles, consultez la documentation BigQuery ML.

Requêtes DataFrame

  • Créez un DataFrame pandas pour les données de project_id:dataset.table. Analysez les données pour détecter les valeurs nulles, puis représentez graphiquement la distribution de chaque colonne à l'aide du type de graphique. Utilisez des diagrammes en violon pour les valeurs mesurées et des graphiques à barres pour les catégories.
  • Lisez filename.csv et construisez un DataFrame. Exécutez une analyse sur le DataFrame pour déterminer ce qui doit être fait avec les valeurs. Par exemple, y a-t-il des valeurs manquantes à remplacer ou à supprimer, ou des lignes en double à traiter ? Utilisez le fichier de données pour déterminer la répartition de l'argent investi en USD par ville. Représentez graphiquement les 20 premiers résultats à l'aide d'un graphique à barres qui affiche les résultats par ordre décroissant sous la forme "Lieu" par rapport au "Montant moyen investi (USD)".
  • Créez et évaluez un modèle de classification sur project_id:dataset.table à l'aide de BigQuery DataFrames.
  • Créez un modèle de prévision de séries temporelles sur project_id:dataset.table à l'aide de BigQuery DataFrames et visualisez les évaluations du modèle.
  • Visualisez les chiffres de ventes de l'année précédente dans la table BigQuery project_id:dataset.table à l'aide de BigQuery DataFrames.
  • Recherchez les caractéristiques qui permettent de prédire au mieux l'espèce de pingouin à partir de la table bigquery-public_data.ml_datasets.penguins à l'aide de BigQuery DataFrames.

Requêtes PySpark

  • Créez et évaluez un modèle de classification sur project_id:dataset.table à l'aide de Managed Service pour Apache Spark.
  • Regroupez les clients similaires pour créer des campagnes de ciblage, mais effectuez d'abord une réduction de la dimensionnalité à l'aide d'un modèle PCA. Utilisez PySpark pour effectuer cette opération sur la table project_id:dataset.table.

Régions où le service est disponible

Pour afficher les régions compatibles avec Data Science Agent de Colab Enterprise, consultez la page Emplacements.

Facturation

Pendant la preview, vous n'êtes facturé que pour l'exécution de code dans l'environnement d'exécution du notebook. Pour en savoir plus, consultez la page Tarifs de Colab Enterprise.

VPC Service Controls

Data Science Agent est compatible avec VPC Service Controls. Si vous souhaitez utiliser le Data Science Agent dans un périmètre de service, consultez Utiliser VPC Service Controls avec Colab Enterprise.

Étape suivante