Utiliser l'agent Data Science Colab Enterprise avec BigQuery

Le Data Science Agent (DSA) pour Colab Enterprise et BigQuery vous permet d'automatiser l'analyse exploratoire des données, d'effectuer des tâches de machine learning et de fournir des insights, le tout dans un notebook Colab Enterprise.

Avant de commencer

Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Activez les API BigQuery, Gemini pour Google Cloud, Dataform et Compute Engine, si elles ne le sont pas déjà.

   Rôles requis pour activer les API

   Pour activer des API, vous devez disposer de l'autorisation serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation via le rôle Propriétaire (roles/owner). Sinon, vous pouvez l'obtenir via le rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.

   Activer les API

   Pour les nouveaux projets, l'API BigQuery est automatiquement activée.

Si vous ne connaissez pas encore Colab Enterprise dans BigQuery, consultez les étapes de configuration sur la page Créer des notebooks.

Limites

• L'agent Data Science n'est disponible que dans l'environnement Colab Enterprise.
• L'agent Data Science est compatible avec les sources de données suivantes :
  • Fichiers CSV
  • les tables BigQuery
• Le code produit par l'agent Data Science ne s'exécute que dans l'environnement d'exécution de votre notebook.
• La recherche de tables BigQuery à l'aide de la fonction @mention est limitée à votre projet actuel. Utilisez le sélecteur de table pour effectuer des recherches dans plusieurs projets.
• La fonction @mention ne recherche que les tables BigQuery. Pour rechercher des fichiers de données que vous pouvez importer, utilisez le symbole +.
• PySpark dans l'agent Data Science ne génère que du code Managed Service pour Apache Spark 4.0. L'agent Data Science peut vous aider à passer à Managed Service pour Apache Spark 4.0, mais les utilisateurs qui ont besoin de versions antérieures ne doivent pas l'utiliser.
• Les clés de chiffrement gérées par le client (CMEK) ne sont pas prises en charge.

Quand utiliser l'agent Data Science ?

L'agent Data Science vous aide à effectuer des tâches allant de l'analyse exploratoire des données à la génération de prédictions et de prévisions de machine learning. Vous pouvez utiliser l'outil DSA pour :

• Traitement des données à grande échelle : utilisez BigQuery ML, BigQuery DataFrames ou Managed Service pour Apache Spark pour effectuer un traitement distribué des données sur de grands ensembles de données. Cela vous permet de nettoyer, de transformer et d'analyser efficacement des données trop volumineuses pour tenir dans la mémoire d'une seule machine.
• Générer un plan : générez et modifiez un plan pour effectuer une tâche particulière à l'aide d'outils courants tels que Python, SQL, Managed Service pour Apache Spark et BigQuery DataFrames.
• Exploration des données : explorez un ensemble de données pour comprendre sa structure, identifier les problèmes potentiels tels que les valeurs manquantes et les anomalies, et examiner la distribution des variables clés à l'aide de Python ou de SQL.
• Nettoyage des données : nettoyez vos données. Par exemple, supprimez les points de données aberrants.
• Data wrangling : convertissez les caractéristiques catégorielles en représentations numériques à l'aide de techniques telles que l'encodage one-hot ou l'encodage d'étiquettes, ou à l'aide des outils de transformation de caractéristiques de BigQuery ML. Créer des caractéristiques pour l'analyse
• Analyse de données : analyser les relations entre différentes variables. Calculez les corrélations entre les caractéristiques numériques et explorez les distributions des caractéristiques catégorielles. Recherchez des modèles et des tendances dans les données.
• Visualisation des données : créez des visualisations telles que des histogrammes, des graphiques en boîte, des graphiques à nuage de points et des graphiques à barres qui représentent les distributions des variables individuelles et les relations entre elles. Vous pouvez également créer des visualisations en Python pour les tables stockées dans BigQuery.
• Ingénierie des caractéristiques : concevez de nouvelles caractéristiques à partir d'un ensemble de données nettoyé.
• Répartition des données : divisez un ensemble de données conçu en ensembles de données d'entraînement, de validation et de test.
• Entraînement du modèle : entraînez un modèle à l'aide des données d'entraînement dans un DataFrame pandas (X_train, y_train), BigQuery DataFrames, un DataFrame PySpark ou à l'aide de l'instruction CREATE MODEL BigQuery ML avec des tables BigQuery.
• Optimisation du modèle : optimisez un modèle à l'aide de l'ensemble de validation. Explorez d'autres modèles tels que DecisionTreeRegressor et RandomForestRegressor, et comparez leurs performances.
• Évaluation du modèle : évaluez les performances du modèle sur un ensemble de données de test à l'aide d'un DataFrame pandas, de BigQuery DataFrames ou d'un DataFrame PySpark. Vous pouvez également évaluer la qualité des modèles et les comparer à l'aide des fonctions d'évaluation de modèle BigQuery ML pour les modèles entraînés à l'aide de BigQuery ML.
• Inférence de modèle : effectuez une inférence avec des modèles entraînés, des modèles importés et des modèles distants BigQuery ML à l'aide des fonctions d'inférence BigQuery ML. Vous pouvez également utiliser la méthode BigFrames model.predict() ou les transformateurs PySpark pour effectuer des prédictions.

Utiliser l'agent Data Science dans BigQuery

Les étapes suivantes vous expliquent comment utiliser l'agent Data Science dans BigQuery.

1. Créez ou ouvrez un notebook Colab Enterprise.

2. Facultatif : référencez vos données de l'une des manières suivantes :

   • Importez un fichier CSV ou utilisez le symbole + dans votre requête pour rechercher les fichiers disponibles.
   • Choisissez une ou plusieurs tables BigQuery dans le sélecteur de tables de votre projet actuel ou d'autres projets auxquels vous avez accès.
   • Référencez un nom de table BigQuery dans votre requête au format suivant : project_id:dataset.table.
   • Saisissez le symbole @ pour rechercher un nom de table BigQuery à l'aide de la fonction @mention.

3. Saisissez un prompt décrivant l'analyse de données que vous souhaitez effectuer ou le prototype que vous souhaitez créer. Par défaut, l'agent Data Science génère du code Python à l'aide de bibliothèques Open Source telles que sklearn pour accomplir des tâches de machine learning complexes. Pour utiliser un outil spécifique, incluez les mots clés suivants dans votre requête :

   • Si vous souhaitez utiliser BigQuery ML, incluez le mot clé "SQL".
   • Si vous souhaitez utiliser "BigQuery DataFrames", spécifiez les mots clés "BigFrames" ou "BigQuery DataFrames".
   • Si vous souhaitez utiliser PySpark, incluez les mots clés "Apache Spark" ou "PySpark".

   Pour obtenir de l'aide, consultez les exemples de requêtes.

4. Choisissez votre modèle. Le modèle par défaut est Gemini 3.0 Flash.

5. Envoyez votre prompt et examinez les résultats.

Analyser un fichier CSV

Pour analyser un fichier CSV à l'aide de l'agent Data Science dans BigQuery, procédez comme suit.

1. Accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet de gauche, développez votre projet, puis cliquez sur Notebooks.

3. Cliquez sur Nouveau notebook > Notebook vide.

   Vous pouvez également cliquer sur la flèche du menu déroulant arrow_drop_down à côté de l'icône add_box Ajouter dans la barre d'onglets, puis sur Notebook > Notebook vide.

4. Cliquez sur le bouton spark Activer/Désactiver Gemini dans Colab pour ouvrir la boîte de dialogue de chat.

   Remarque : Vous pouvez basculer entre l'affichage de la boîte de dialogue de chat dans un panneau distinct et l'affichage de la boîte de dialogue de chat dans votre notebook en cliquant sur l'icône Déplacer.

5. Importez votre fichier CSV.

   1. Dans la boîte de dialogue de discussion, cliquez sur Ajouter à Gemini > Importer.

   2. Si nécessaire, autorisez votre compte Google.

   3. Accédez à l'emplacement du fichier CSV, puis cliquez sur Ouvrir.

6. Vous pouvez également saisir le symbole + dans votre requête pour rechercher les fichiers disponibles à importer.

7. Saisissez votre prompt dans la fenêtre de discussion. Par exemple : Identify trends and anomalies in this file.

8. Choisissez votre modèle. Le modèle par défaut est Gemini 3.0 Flash.

9. Cliquez sur send Envoyer. Les résultats s'affichent dans la fenêtre de discussion.

10. Vous pouvez demander à l'agent de modifier le plan ou l'exécuter en cliquant sur Accepter et exécuter. Au fur et à mesure de l'exécution du plan, le code et le texte générés s'affichent dans le notebook. Cliquez sur Annuler pour arrêter.

Analyser des tables BigQuery

Pour analyser une table BigQuery, choisissez une ou plusieurs tables dans le sélecteur de tables, fournissez une référence à la table dans votre requête ou recherchez une table à l'aide du symbole @.

1. Accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet de gauche, développez votre projet, puis cliquez sur Notebooks.

3. Cliquez sur Nouveau notebook > Notebook vide.

   Vous pouvez également cliquer sur la flèche du menu déroulant arrow_drop_down à côté de l'icône add_box Ajouter dans la barre d'onglets, puis sur Notebook > Notebook vide.

4. Cliquez sur le bouton spark Activer/Désactiver Gemini dans Colab pour ouvrir la boîte de dialogue de chat.

   Remarque : Vous pouvez basculer entre l'affichage de la boîte de dialogue de chat dans un panneau distinct et l'affichage de la boîte de dialogue de chat dans votre notebook en cliquant sur l'icône Déplacer.

5. Saisissez votre prompt dans la fenêtre de discussion.

6. Référencez vos données de l'une des manières suivantes :

   1. Choisissez une ou plusieurs tables à l'aide du sélecteur de tables :

      1. Cliquez sur Ajouter à Gemini > Tables BigQuery.

      2. Dans la fenêtre Tables BigQuery, sélectionnez une ou plusieurs tables de votre projet. Vous pouvez rechercher des tables dans plusieurs projets et les filtrer à l'aide de la barre de recherche.

   2. Incluez un nom de table BigQuery directement dans votre requête. Par exemple : "Aide-moi à effectuer une analyse exploratoire des données et à obtenir des insights sur les données de cette table : project_id:dataset.table."

      Remplacez les éléments suivants :

      • project_id : ID du projet.
      • dataset : nom de l'ensemble de données contenant la table que vous analysez.
      • table : nom de la table que vous analysez

   3. Saisissez @ pour rechercher une table BigQuery dans votre projet actuel.

7. Choisissez votre modèle. Le modèle par défaut est Gemini 3.0 Flash.

8. Cliquez sur send Envoyer.

   Les résultats s'affichent dans la fenêtre de discussion.

9. Vous pouvez demander à l'agent de modifier le plan ou l'exécuter en cliquant sur Accepter et exécuter. Au fur et à mesure de l'exécution du plan, le code et le texte générés s'affichent dans le notebook. Pour les étapes supplémentaires du plan, vous devrez peut-être cliquer à nouveau sur Accepter et exécuter. Cliquez sur Annuler pour arrêter.

Exemples de prompts

Quelle que soit la complexité du prompt que vous utilisez, l'agent Data Science génère un plan que vous pouvez affiner pour répondre à vos besoins.

Les exemples suivants montrent les types de prompts que vous pouvez utiliser avec l'assistant de science des données.

Requêtes Python

Le code Python est généré par défaut, sauf si vous utilisez un mot clé spécifique dans la requête, tel que "BigQuery ML" ou "SQL".

• "Examinez et complétez les valeurs manquantes à l'aide de l'algorithme de machine learning des k plus proches voisins (KNN)."
• "Crée un graphique représentant le salaire en fonction du niveau d'expérience. Utilisez la colonne experience_level pour regrouper les salaires, puis créez un diagramme en boîte pour chaque groupe affichant les valeurs de la colonne salary_in_usd."
• "Utilise l'algorithme XGBoost pour créer un modèle permettant de déterminer la variable class d'un fruit particulier. Divisez les données en ensembles de données d'entraînement et de test pour générer un modèle et déterminer sa précision. Créez une matrice de confusion pour afficher les prédictions de chaque classe, y compris toutes les prédictions correctes et incorrectes."
• "Prévois target_variable à partir de filename.csv pour les six prochains mois."

Requêtes SQL et BigQuery ML

• "Crée et évalue un modèle de classification sur bigquery-public-data.ml_datasets.census_adult_income en utilisant BigQuery SQL."
• "Fais des prévisions en SQL sur le trafic de mon site Web pour le mois prochain en te basant sur bigquery-public-data.google_analytics_sample.ga_sessions_*. Ensuite, trace le graphique des valeurs historiques et prévisionnelles."
• "Regroupez les clients similaires pour créer des campagnes marketing ciblées à l'aide d'un modèle k-moyennes et de fonctions SQL BigQuery ML. Utilisez trois caractéristiques pour le clustering. Ensuite, visualisez les résultats en créant une série de graphiques à nuage de points en 2D. Utilisez la table bigquery-public-data.ml_datasets.census_adult_income."
• "Générer des embeddings textuels dans BigQuery ML à l'aide du contenu des avis dans bigquery-public-data.imdb.reviews."

Pour obtenir la liste des modèles et des tâches de machine learning compatibles, consultez la documentation BigQuery ML.

Requêtes DataFrame

• "Crée un DataFrame Pandas pour les données de project_id:dataset.table. Analyse les données pour identifier les valeurs nulles, puis trace la distribution de chaque colonne à l'aide du type de graphique indiqué. Utilise des diagrammes en violon pour les valeurs mesurées et des diagrammes à barres pour les catégories."
• "Lit filename.csv et construit un DataFrame. Exécutez une analyse sur le DataFrame pour déterminer ce qu'il faut faire avec les valeurs. Par exemple, y a-t-il des valeurs manquantes à remplacer ou à supprimer, ou des lignes en double à traiter ? Utilisez le fichier de données pour déterminer la répartition de l'argent investi en USD par ville. Représentez les 20 premiers résultats à l'aide d'un graphique à barres qui affiche les résultats par ordre décroissant, en comparant l'emplacement au montant moyen investi (USD)."
• "Crée et évalue un modèle de classification sur project_id:dataset.table à l'aide de BigQuery DataFrames."
• "Crée un modèle de prévision de séries temporelles sur project_id:dataset.table à l'aide de BigQuery DataFrames et visualise les évaluations du modèle."
• "Visualise les chiffres de ventes de l'année dernière dans la table BigQuery project_id:dataset.table à l'aide de BigQuery DataFrames."
• "Trouve les caractéristiques qui permettent de prédire au mieux l'espèce de manchot à partir de la table bigquery-public_data.ml_datasets.penguins à l'aide de BigQuery DataFrames."

Prompts PySpark

• "Créer et évaluer un modèle de classification sur project_id:dataset.table à l'aide de Managed Service pour Apache Spark"
• "Regroupez les clients similaires pour créer des campagnes marketing de ciblage, mais effectuez d'abord une réduction de la dimensionnalité à l'aide d'un modèle PCA. Utilise PySpark pour effectuer cette opération sur la table project_id:dataset.table."

Désactiver Gemini dans BigQuery

Pour désactiver Gemini dans BigQuery pour un projet Google Cloud , un administrateur doit désactiver l'API Gemini pour Google Cloud. Consultez Désactiver des services.

Pour désactiver Gemini dans BigQuery pour un utilisateur spécifique, un administrateur doit lui retirer le rôle Utilisateur Gemini pour Google Cloud (roles/cloudaicompanion.user). Consultez Révoquer un rôle IAM unique.

Remarque : Pour désactiver l'agent Data Science sans désactiver les autres fonctionnalités Gemini, contactez [e-mail] ou remplissez le formulaire de désactivation de l'agent Data Science. Pour savoir comment désactiver l'agent Data Science, consultez Désactiver Gemini dans Colab Enterprise.

Tarifs

La tarification de l'agent Data Science est basée sur vos données d'entrée et de sortie. Pour en savoir plus, consultez la section "Tarifs des agents" de la page Fonctionnement des tarifs de BigQuery.

Régions où le service est disponible

Pour afficher les régions compatibles avec l'agent Data Science de Colab Enterprise, consultez Emplacements.