Créer et exécuter un notebook à l'aide de la galerie de notebooks

Créer et exécuter un notebook à l'aide de la galerie de notebooks

Commencez à analyser des données à l'aide de la galerie de notebooks dans BigQuery Studio.

Avant de commencer

Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $de crédits sans frais pour exécuter, tester et déployer des charges de travail.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

1. Activez l'API BigQuery.

   Rôles requis pour activer les API

   Pour activer les API, vous avez besoin du rôle IAM Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin), qui contient l'autorisation serviceusage.services.enable. Découvrez comment attribuer des rôles.

   Activer l'API

   Pour les nouveaux projets, l'API BigQuery est automatiquement activée.

2. Facultatif : Activez la facturation pour le projet. Les étapes décrites dans ce document demeurent valables, même si vous ne souhaitez pas activer la facturation ou fournir une carte de crédit. BigQuery fournit un bac à sable permettant d'accomplir les étapes. Pour en savoir plus, consultez la page Activer le bac à sable BigQuery.
   Remarque : Si votre projet dispose d'un compte de facturation et que vous souhaitez utiliser le bac à sable BigQuery, désactivez la facturation pour votre projet.

Rôles requis

Pour obtenir les autorisations nécessaires pour créer des notebooks d'exécution, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet :

• Utilisateur de sessions de lecture BigQuery (roles/bigquery.readSessionUser)
• Utilisateur BigQuery Studio (roles/bigquery.studioUser)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Si vous ne connaissez pas encore les notebooks dans BigQuery, consultez les autorisations requises sur la page "Créer des notebooks".

Galerie de notebooks

La galerie de notebooks est un hub central qui permet de découvrir et d'utiliser des modèles de notebooks prédéfinis. Ces modèles vous permettent d'effectuer des tâches courantes telles que la préparation, l'analyse et la visualisation des données. Les modèles de notebooks vous aident également à explorer les fonctionnalités de BigQuery Studio, à gérer les workflows et à promouvoir les bonnes pratiques.

Vous pouvez utiliser les modèles de la galerie de notebooks pour rationaliser l'ensemble de votre workflow d'intention à insights à chaque étape du cycle de vie des données, de l'ingestion et de l'exploration à l'analyse avancée et à BigQuery ML.

La galerie de notebooks propose des modèles pour tous les niveaux de compétence. La galerie inclut des modèles fondamentaux pour SQL, Python, Apache Spark et les DataFrames. Vous pouvez également explorer des thèmes tels que l'IA générative et l'analyse de données multimodales dans BigQuery.

Pour en savoir plus sur l'utilisation des modèles de la galerie de notebooks, consultez Créer un notebook à l'aide de la galerie de notebooks.

Créer un notebook à partir d'un modèle de la galerie de notebooks

L'exemple suivant utilise le modèle "Présentation des notebooks dans BigQuery Studio". Ce notebook vous explique comment effectuer les tâches suivantes :

• Interroger des données : exécutez des requêtes à l'aide de cellules SQL.
• Visualiser les résultats de requêtes : créez des visualisations sans code à l'aide des cellules de visualisation.
• Nettoyer et transformer les données : triez, dédupliquez et filtrez vos données à l'aide de l'API BigQuery DataFrames (pandas).
• Exécuter des prédictions d'IA : générez des prédictions à l'aide de la fonction AI.FORECAST dans BigQuery DataFrames. La fonction AI.FORECAST utilise le modèle de base TimesFM pour générer des prédictions directement à partir d'un ensemble de données, sans nécessiter d'entraînement du modèle.
• Représenter les données sous forme graphique : représentez les données à l'aide des bibliothèques de visualisation intégrées de Python. Vous représentez les données sous forme graphique à l'aide de la bibliothèque de visualisation BigQuery DataFrames, optimisée par Matplotlib et Pandas.

Pour utiliser le notebook, ouvrez le modèle, convertissez-le en notebook exécutable, connectez-vous à l'environnement d'exécution du notebook, puis exécutez le notebook.

Ouvrir le modèle et le convertir en notebook exécutable

Avant de pouvoir utiliser un notebook créé à partir d'un modèle de la galerie de notebooks, vous devez convertir le modèle en notebook exécutable.

Pour ouvrir le modèle Présentation des notebooks dans BigQuery Studio dans la galerie de notebooks et le convertir en notebook exécutable, procédez comme suit :

1. Accédez à la page Studio.

   Accéder à Studio

2. Cliquez sur la flèche du menu déroulant , puis sélectionnez Notebook > All templates (Notebook > Tous les modèles).

3. Vous pouvez également cliquer sur Afficher la galerie de notebooks sur la page d'accueil de BigQuery Studio.

   

4. Cliquez sur la fiche Présentation des notebooks dans BigQuery Studio ou recherchez-la dans la galerie.

5. Une fois le modèle ouvert, cliquez sur Utiliser ce modèle pour le convertir en notebook exécutable.

Se connecter à l'environnement d'exécution par défaut

Avant de pouvoir exécuter le notebook, vous devez le connecter à un environnement d'exécution Vertex AI. Un environnement d'exécution est une ressource de calcul qui exécute le code de votre notebook. L'environnement d'exécution doit se trouver dans la même région que votre notebook.

Pour en savoir plus sur les environnements d'exécution, consultez la page Environnements d'exécution et modèles d'exécution. Pour en savoir plus sur la configuration des paramètres régionaux, consultez Définir la région par défaut des composants de code.

Remarque : Si vous utilisez VPC Service Controls, assurez-vous d'avoir configuré l'accès privé à Google avec VPC Service Controls avant de vous connecter à un environnement d'exécution. Sinon, le service renvoie l'erreur Failed to connect to Runtime Network projects/projectid/global/networks/default' was not found.

.

Dans ce tutoriel, vous allez utiliser l'environnement d'exécution par défaut. L'environnement d'exécution par défaut est un environnement d'exécution prédéfini qui nécessite une configuration minimale. Pour vous connecter à l'environnement d'exécution par défaut, procédez comme suit :

1. Ouvrez votre notebook, puis cliquez sur Connecter.

   La connexion à l'environnement d'exécution par défaut peut prendre plusieurs minutes si vous n'avez pas encore d'environnement d'exécution actif.

2. Lorsque le runtime est prêt, une coche s'affiche, ainsi que des graphiques de RAM et de disque. Si vous pointez sur les graphiques, vous voyez le type d'exécution et la configuration de l'exécution.

   

Exécuter le notebook

La présentation des notebooks dans BigQuery Studio contient des cellules de texte, de code, de visualisation et de code SQL. Les cellules autres que les cellules de texte peuvent être exécutées individuellement, ou vous pouvez exécuter toutes les cellules dans l'ordre, de la première à la dernière.

Dans ce tutoriel, vous allez exécuter les cellules du notebook individuellement pour pouvoir afficher les résultats par étapes. Pour exécuter le notebook :

1. Dans la section Interroger vos données à l'aide de cellules SQL, pointez sur la cellule SQL, puis cliquez sur Exécuter la cellule.

   

   Cette cellule SQL interroge la table bigquery-public-data.epa_historical_air_quality.pm25_frm_daily_summary de l'ensemble de données public sur la qualité de l'air historique et renvoie la moyenne quotidienne des PM2.5 (une métrique courante de la qualité de l'air) pour San Francisco au cours des dernières années.

2. afficher les résultats. Les résultats de la requête s'affichent dans un DataFrame.

   

   Remarque : Pour effacer ou copier les résultats, cliquez sur Actions de sortie de la cellule de code.

3. Dans la section Visualiser les données, pointez sur la cellule de visualisation, puis cliquez sur Exécuter la cellule.

4. Affichez la visualisation générée.

   

   Le résultat affiche un graphique de série temporelle qui représente les valeurs moyennes quotidiennes de PM2.5 dans le DataFrame df que vous avez généré précédemment. Ce graphique montre l'évolution des niveaux de PM2.5 au fil du temps.

5. Dans la section Nettoyer les données, pointez sur la cellule de code, puis cliquez sur Exécuter la cellule.

6. afficher les résultats. Les résultats s'affichent dans un DataFrame.

   

   Le code :

   • Importez la bibliothèque bigframes.pandas.
   • Assurez-vous que le champ date_local est un code temporel.
   • Triez les résultats par date, ce qui est nécessaire pour les prévisions.
   • Supprimez les lignes en double.
   • Supprime les lignes où avg_pm25 est null.
   • Filtrer les valeurs aberrantes.
   • Affichez les résultats dans un DataFrame BigQuery nommé df_cleaned.

7. Dans la section Prédire des valeurs à l'aide de AI.FORECAST, pointez sur la cellule SQL, puis cliquez sur Exécuter la cellule.

8. afficher les résultats. Les résultats de la requête s'affichent dans un DataFrame.

   

   Cette cellule SQL exécute une requête qui utilise la fonction AI.FORECAST pour prévoir la moyenne future des PM2,5 quotidiennes à l'aide du DataFrame df_cleaned que vous avez généré précédemment.

9. Dans la section Visualiser les données à l'aide de Python, pointez sur la cellule de code, puis cliquez sur Exécuter la cellule.

10. afficher les résultats. Les résultats s'affichent dans un graphique.

    

    Le code Python effectue les opérations suivantes :

    • Importez le module datetime.
    • Tracez d'abord les données historiques et obtenez les axes.
    • Représentez les données prévisionnelles sur les mêmes axes.
    • Représentez l'intervalle de confiance.

    Cette visualisation ressemble à un graphique Python standard, mais df_cleaned.plot est une commande BigQuery DataFrames. La commande ne récupère que les données nécessaires (un échantillon) pour afficher le graphique, et non l'ensemble de données complet.

Effectuer un nettoyage

Pour éviter que les ressources utilisées dans cette démonstration soient facturées sur votre compte Google Cloud , procédez comme suit :

Attention : La suppression d'un projet aura les effets suivants :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

1. Dans la console Google Cloud , accédez à la page Gérer les ressources.

   Accéder à la page "Gérer les ressources"

2. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
3. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.

Vous pouvez également conserver le projet et supprimer les ressources utilisées dans ce tutoriel en procédant comme suit :

1. Accédez à la page Studio.

   Accéder à Studio

2. Dans le volet de gauche, développez votre projet, puis cliquez sur Notebooks.

3. Pour le notebook que vous supprimez, cliquez sur Ouvrir les actions > Supprimer.

4. Dans la boîte de dialogue Supprimer le notebook, cliquez sur Supprimer pour confirmer l'opération.

Étapes suivantes

Pour exécuter d'autres modèles de notebooks exemples dans la galerie de notebooks, consultez :

• Premiers pas avec les notebooks pour les utilisateurs SQL
• Premiers pas avec les notebooks pour les utilisateurs Python

Pour en savoir plus sur les DataFrames, consultez les pages suivantes :

• Présentation de BigQuery DataFrames
• Documentation de référence de l'API BigQuery DataFrames

Pour en savoir plus sur les fonctions d'IA générative et de ML dans BigQuery, consultez la présentation de l'IA générative.