Explorer les résultats de la requête dans les notebooks

Vous pouvez explorer les résultats de requêtes BigQuery à l'aide de notebooks Colab Enterprise, au sein de BigQuery.

Dans ce tutoriel, vous allez interroger les données d'un ensemble de données public BigQuery et explorer les résultats de la requête dans un notebook.

Objectifs

• Créer et exécuter une requête dans BigQuery
• Explorer les résultats de la requête dans un notebook

Coûts

Ce tutoriel utilise un ensemble de données disponible via le programme d'ensembles de données publicsGoogle Cloud . Google prend en charge le stockage de ces ensembles de données et fournit un accès public aux données. Des frais vous sont facturés pour les requêtes que vous effectuez sur les données. Pour en savoir plus, consultez la page décrivant les tarifs de BigQuery.

Avant de commencer

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Verify that billing is enabled for your Google Cloud project.

3. Enable the BigQuery API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

   BigQuery est automatiquement activé dans les nouveaux projets.

Définir la région par défaut des composants de code

Si c'est la première fois que vous créez un composant de code, vous devez définir la région par défaut pour les composants de code. Vous ne pouvez pas modifier la région d'un composant de code après sa création.

Remarque : Si vous créez un composant de code et choisissez une région par défaut différente de celle que vous avez utilisée pour les composants de code, choisissez par exemple us-west1 si vous avez utilisé us-central1. Ce composant de code et tous les composants de code que vous créez par la suite utilisent cette nouvelle région par défaut. Les composants de code existants continuent à utiliser la région qui leur a été attribuée lors de leur création.

Tous les composants de code dans BigQuery Studio utilisent la même région par défaut. Pour définir la région par défaut des composants de code :

1. Accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet Explorateur, recherchez le projet dans lequel vous avez activé des éléments de code.

3. Cliquez sur Afficher les actions à côté du projet, puis sur Modifier la région du code par défaut.

4. Dans Région, sélectionnez la région que vous souhaitez utiliser pour les composants de code.

5. Cliquez sur Sélectionner.

Pour obtenir la liste des régions compatibles, consultez Emplacements BigQuery Studio.

Autorisations requises

Pour créer et exécuter des notebooks, vous avez besoin des rôles IAM (Identity and Access Management) suivants :

• Utilisateur BigQuery (roles/bigquery.user)
• Utilisateur de l'environnement d'exécution de notebook (roles/aiplatform.notebookRuntimeUser)
• Créateur de code (roles/dataform.codeCreator)

Ouvrir les résultats de la requête dans un notebook

Vous pouvez exécuter une requête SQL, puis utiliser un notebook pour explorer les données. Cette approche est utile si vous souhaitez modifier les données dans BigQuery avant de les exploiter, ou si vous n'avez besoin que d'un sous-ensemble des champs de la table.

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le champ Saisissez un terme à rechercher, saisissez bigquery-public-data.

   Si le projet ne s'affiche pas, saisissez bigquery dans le champ de recherche, puis cliquez sur Rechercher dans tous les projets pour faire correspondre la chaîne de recherche avec les projets existants.

3. Sélectionnez bigquery-public-data > ml_datasets > penguins.

4. Pour la table penguins (manchots), cliquez sur Afficher les actions, puis sur Requête.

5. Ajoutez un astérisque (*) pour sélectionner les champs pour la requête générée, de sorte qu'elle se présente comme dans l'exemple suivant :

   SELECT * FROM `bigquery-public-data.ml_datasets.penguins` LIMIT 1000;

6. Cliquez sur Exécuter.

7. Dans la section Résultats de la requête, cliquez sur Ouvrir dans, puis sur Notebook.

Préparer le notebook en vue de son utilisation

Préparez le notebook pour l'utiliser en vous connectant à un environnement d'exécution et en définissant les valeurs par défaut de l'application.

1. Dans l'en-tête du notebook, cliquez sur Connecter pour vous connecter à l'environnement d'exécution par défaut.
2. Dans le bloc de code Configuration, cliquez sur Exécuter la cellule.

Explorer les données

1. Pour charger les données penguins dans un DataFrame BigQuery et afficher les résultats, cliquez sur Exécuter la cellule dans le bloc de code de la section Ensemble de résultats chargé à partir d'un job BigQuery en tant que DataFrame.
2. Pour obtenir des métriques descriptives des données, cliquez sur Exécuter la cellule dans le bloc de code de la section Afficher les statistiques descriptives à l'aide de describe().
3. Facultatif : Utilisez d'autres fonctions ou packages Python pour explorer et analyser les données.

L'exemple de code suivant montre comment utiliser : bigframes.pandas pour analyser des données et bigframes.ml pour créer un modèle de régression linéaire à partir de données penguins dans un DataFrame BigQuery :

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

# Create the Linear Regression model
from bigframes.ml.linear_model import LinearRegression

# Filter down to the data we want to analyze
adelie_data = bq_df[bq_df.species == "Adelie Penguin (Pygoscelis adeliae)"]

# Drop the columns we don't care about
adelie_data = adelie_data.drop(columns=["species"])

# Drop rows with nulls to get our training data
training_data = adelie_data.dropna()

# Pick feature columns and label column
X = training_data[
    [
        "island",
        "culmen_length_mm",
        "culmen_depth_mm",
        "flipper_length_mm",
        "sex",
    ]
]
y = training_data[["body_mass_g"]]

model = LinearRegression(fit_intercept=False)
model.fit(X, y)
model.score(X, y)

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

Le moyen le plus simple d'empêcher la facturation est de supprimer le projet Google Cloud que vous avez créé pour ce tutoriel.

Attention : La suppression d'un projet entraîne les effets décrits ci-dessous :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Étapes suivantes

• Découvrez comment créer des notebooks dans BigQuery.
• En savoir plus sur l'exploration des données avec les DataFrames BigQuery.