Effectuer une ingénierie des caractéristiques avec la clause TRANSFORM

Ce tutoriel vous explique comment utiliser la clause TRANSFORM de l'instruction CREATE MODEL pour effectuer l'extraction de caractéristiques en même temps que vous créez et entraînez un modèle. À l'aide de la clause TRANSFORM, vous pouvez spécifier une ou plusieurs fonctions de prétraitement pour transformer les données d'entrée que vous utilisez pour entraîner le modèle. Le prétraitement que vous appliquez au modèle est automatiquement appliqué lorsque vous utilisez le modèle avec les fonctions ML.EVALUATE et ML.PREDICT.

Ce tutoriel utilise l'ensemble de données public bigquery-public-data.ml_datasets.penguin.

Objectifs

Ce tutoriel vous guide à travers les tâches suivantes :

• Créer un modèle de régression linéaire pour prédire le type d'appel de service à l'aide de l'instruction CREATE MODEL. Dans l'instruction CREATE MODEL, utilisez les fonctions ML.QUANTILE_BUCKETIZE et ML.FEATURE_CROSS pour prétraiter les données.
• Évaluer le modèle à l'aide de la fonction ML.EVALUATE.
• Obtenir des prédictions à partir du modèle à l'aide de la fonction ML.PREDICT.

Coûts

Ce tutoriel fait appel à des composants payants de Google Cloud, y compris ceux-ci :

• BigQuery
• BigQuery ML

Pour plus d'informations sur les coûts de BigQuery, consultez la page Tarifs de BigQuery.

Avant de commencer

Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. BigQuery est automatiquement activé dans les nouveaux projets. Pour activer BigQuery dans un projet préexistant, accédez à

   Activez l'API BigQuery.

   Rôles requis pour activer les API

   Pour activer les API, vous devez disposer de l'autorisation serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation grâce au rôle Propriétaire (roles/owner). Sinon, vous pouvez obtenir cette autorisation grâce au rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.

   Activer l'API

Créer un ensemble de données

Créez un ensemble de données BigQuery pour stocker votre modèle de ML.

Console

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à la page "BigQuery"

2. Dans le volet Explorateur, cliquez sur le nom de votre projet.

3. Cliquez sur Afficher les actions > Créer un ensemble de données.

4. Sur la page Créer un ensemble de données, procédez comme suit :

   • Dans le champ ID de l'ensemble de données, saisissez bqml_tutorial.

   • Pour Type d'emplacement, sélectionnez Multirégional, puis États-Unis.

   • Conservez les autres paramètres par défaut, puis cliquez sur Créer un ensemble de données.

bq

Pour créer un ensemble de données, utilisez la commande bq mk --dataset.

1. Créez un ensemble de données nommé bqml_tutorial et définissez l'emplacement des données sur US.

   bq mk --dataset \
     --location=US \
     --description "BigQuery ML tutorial dataset." \
     bqml_tutorial

2. Vérifiez que l'ensemble de données a été créé :

   bq ls

API

Appelez la méthode datasets.insert avec une ressource d'ensemble de données définie.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Créer le modèle

Créez un modèle de régression linéaire pour prédire le poids d'un manchot et entraînez-le sur l'exemple de table penguins.

La clause OPTIONS(model_type='linear_reg', input_label_cols=['body_mass_g']) indique que vous créez un modèle de régression linéaire. Un modèle de régression linéaire génère une valeur continue à partir d'une combinaison linéaire de caractéristiques d'entrée. La colonne body_mass_g correspond à la colonne de l'étiquette d'entrée. Pour les modèles de régression linéaire, la colonne d'étiquette doit être renseignée avec des valeurs réelles (les valeurs de colonne doivent être des nombres réels).

La clause TRANSFORM de cette requête utilise les colonnes suivantes de l'instruction SELECT :

• body_mass_g : utilisé dans l'entraînement sans aucune modification.
• culmen_depth_mm : utilisé dans l'entraînement sans aucune modification.
• flipper_length_mm : utilisé dans l'entraînement sans aucune modification.
• bucketized_culmen_length : généré à partir de culmen_length_mm en segmentant culmen_length_mm sur la base de quantiles à l'aide de la fonction d'analyse ML.QUANTILE_BUCKETIZE().
• culmen_length_mm : valeur culmen_length_mm d'origine, convertie en valeur STRING et utilisée pour l'entraînement.
• species_sex : généré à partir de species et de sex via la fonction ML.FEATURE_CROSS.

Vous n'avez pas besoin d'utiliser toutes les colonnes de la table d'entraînement dans la clause TRANSFORM.

La clause WHERE – WHERE body_mass_g IS NOT NULL AND RAND() < 0.2 – exclut les lignes où le poids des manchots est NULL et utilise la fonction RAND pour extraire un échantillon de données aléatoire.

Pour créer le modèle, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   CREATE OR REPLACE MODEL `bqml_tutorial.penguin_transform`
     TRANSFORM(
       body_mass_g,
       culmen_depth_mm,
       flipper_length_mm,
       ML.QUANTILE_BUCKETIZE(culmen_length_mm, 10) OVER () AS bucketized_culmen_length,
       CAST(culmen_length_mm AS string) AS culmen_length_mm,
       ML.FEATURE_CROSS(STRUCT(species, sex)) AS species_sex)
     OPTIONS (
       model_type = 'linear_reg',
       input_label_cols = ['body_mass_g'])
   AS
   SELECT
     *
   FROM
     `bigquery-public-data.ml_datasets.penguins`
   WHERE
     body_mass_g IS NOT NULL
     AND RAND() < 0.2;

   L'exécution de la requête prend environ 15 minutes, après quoi le modèle penguin_transform apparaît dans le volet Explorateur. Étant donné que la requête utilise une instruction CREATE MODEL pour créer un modèle, les résultats de la requête ne sont pas affichés.

Évaluer le modèle

Évaluez les performances du modèle à l'aide de la fonction ML.EVALUATE. La fonction ML.EVALUATE compare les poids de pingouins prédits renvoyés par le modèle aux poids réels des pingouins issus des données d'entraînement.

L'instruction SELECT et la clause FROM imbriquées de cette requête sont identiques à celles de la requête CREATE MODEL. Étant donné que vous avez utilisé la clause TRANSFORM lors de la création du modèle, vous n'avez pas besoin de spécifier à nouveau les colonnes et les transformations dans la fonction ML.EVALUATE. La fonction les récupère automatiquement à partir du modèle.

Pour évaluer le modèle, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT
     *
   FROM
     ML.EVALUATE(
       MODEL `bqml_tutorial.penguin_transform`,
       (
         SELECT
           *
         FROM
           `bigquery-public-data.ml_datasets.penguins`
         WHERE
           body_mass_g IS NOT NULL
       ));

   Le résultat doit ressembler à ce qui suit :

   +---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   | mean_absolute_error | mean_squared_error | mean_squared_log_error | median_absolute_error |      r2_score      | explained_variance |
   +---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   |   64.21134350607677 | 13016.433317859564 |   7.140935762696211E-4 |     15.31788461553515 | 0.9813042531507734 | 0.9813186268757634 |
   +---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   

   Le score R² est une métrique importante dans les résultats de l'évaluation. Le score R² est une mesure statistique qui détermine si les prédictions de régression linéaire se rapprochent des données réelles. Une valeur 0 indique que le modèle n'apporte aucune explication sur la variabilité des données de réponse autour de la moyenne. Une valeur 1 indique que le modèle explique toute la variabilité des données de réponse autour de la moyenne.

   Pour en savoir plus sur le résultat de la fonction ML.EVALUATE, consultez Sortie.

   Vous pouvez également appeler ML.EVALUATE sans fournir de données d'entrée. Les métriques d'évaluation calculées au cours de l'entraînement seront alors utilisées.

Utiliser le modèle pour prédire le poids d'un manchot

Utilisez le modèle avec la fonction ML.PREDICT pour prédire le poids des manchots mâles.

La fonction ML.PREDICT génère la valeur prédite dans la colonne predicted_label_column_name, qui est predicted_body_mass_g dans ce cas.

Lorsque vous utilisez la fonction ML.PREDICT, vous n'avez pas besoin de transmettre toutes les colonnes utilisées dans l'entraînement de modèle. Seules les colonnes que vous avez utilisées dans la clause TRANSFORM sont requises. Comme ML.EVALUATE, la fonction ML.PREDICT récupère automatiquement les colonnes et les transformations TRANSFORM à partir du modèle.

Pour obtenir des prédictions à partir du modèle, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT
     predicted_body_mass_g
   FROM
     ML.PREDICT(
       MODEL `bqml_tutorial.penguin_transform`,
       (
         SELECT
           *
         FROM
           `bigquery-public-data.ml_datasets.penguins`
         WHERE
           sex = 'MALE'
       ));

   Le résultat doit ressembler à ce qui suit :

   +-----------------------+
   | predicted_body_mass_g |
   +-----------------------+
   |    2810.2868541725757 |
   +-----------------------+
   |    3813.6574220842676 |
   +-----------------------+
   |     4098.844698262214 |
   +-----------------------+
   |     4256.587135004173 |
   +-----------------------+
   |     3008.393497302691 |
   +-----------------------+
   |     ...               |
   +-----------------------+
   

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

• Supprimez le projet que vous avez créé.
• Ou conservez le projet et supprimez l'ensemble de données.

Supprimer l'ensemble de données

Si vous supprimez votre projet, tous les ensembles de données et toutes les tables qui lui sont associés sont également supprimés. Si vous préférez réutiliser le projet, vous pouvez supprimer l'ensemble de données que vous avez créé dans ce tutoriel :

1. Si nécessaire, ouvrez la page BigQuery dans la consoleGoogle Cloud .

   Accéder à la page "BigQuery"

2. Dans le panneau de navigation, cliquez sur l'ensemble de données bqml_tutorial que vous avez créé.

3. À droite de la fenêtre, cliquez sur Supprimer l'ensemble de données. Cette action supprime l'ensemble de données, la table et toutes les données.

4. Dans la boîte de dialogue Supprimer l'ensemble de données, confirmez la commande de suppression en saisissant le nom de votre ensemble de données (bqml_tutorial), puis cliquez sur Supprimer.

Supprimer votre projet

Pour supprimer le projet :

Attention : La suppression d'un projet aura les effets suivants :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

1. Dans la console Google Cloud , accédez à la page Gérer les ressources.

   Accéder à la page "Gérer les ressources"

2. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
3. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.

Étapes suivantes

• Pour en savoir plus sur le machine learning, consultez le Cours d'initiation au Machine Learning.
• Pour obtenir plus d'informations sur BigQuery ML, consultez la page Présentation de BigQuery ML.
• Pour en savoir plus sur la console Google Cloud , consultez Utiliser la console Google Cloud .