Améliorer les performances du modèle avec les réglages d'hyperparamètres

Ce tutoriel vous explique comment utiliser les réglages d'hyperparamètres dans BigQuery ML pour régler un modèle de machine learning et améliorer ses performances.

Pour régler les hyperparamètres, vous devez spécifier l'option NUM_TRIALS de l'instruction CREATE MODEL, en combinaison avec d'autres options spécifiques au modèle. Lorsque vous définissez ces options, BigQuery ML entraîne plusieurs versions, ou essais du modèle, chacune avec des paramètres légèrement différents, et renvoie l'essai le plus performant.

Ce tutoriel utilise l'exemple de table publique tlc_yellow_trips_2018, qui contient des informations sur les trajets en taxi à New York en 2018.

Objectifs

Ce tutoriel vous guide à travers les tâches suivantes :

• Utiliser l'instruction CREATE MODEL pour créer un modèle de régression linéaire de référence.
• Évaluer le modèle de référence à l'aide de la fonction ML.EVALUATE.
• Utiliser l'instruction CREATE MODEL avec des options de réglage des hyperparamètres pour entraîner 20 essais d'un modèle de régression linéaire.
• Examiner les essais à l'aide de la fonction ML.TRIAL_INFO
• Évaluer les essais à l'aide de la fonction ML.EVALUATE.
• Obtenez des prédictions sur les courses en taxi à partir du modèle optimal parmi les essais en utilisant la fonction ML.PREDICT.

Coûts

Ce tutoriel fait appel à des composants payants de Google Cloud, y compris ceux-ci :

• BigQuery
• BigQuery ML

Pour plus d'informations sur les coûts de BigQuery, consultez la page Tarifs de BigQuery.

Avant de commencer

Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $de crédits sans frais pour exécuter, tester et déployer des charges de travail.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. BigQuery est automatiquement activé dans les nouveaux projets. Pour activer BigQuery dans un projet préexistant, accédez à

   Activez l'API BigQuery.

   Rôles requis pour activer les API

   Pour activer les API, vous avez besoin du rôle IAM Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin), qui contient l'autorisation serviceusage.services.enable. Découvrez comment attribuer des rôles.

   Activer l'API

Autorisations requises

• Pour créer l'ensemble de données, vous devez disposer de l'autorisation IAM bigquery.datasets.create.

• Pour créer le modèle, vous avez besoin des autorisations suivantes :

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData

• Pour exécuter une inférence, vous devez disposer des autorisations suivantes :

  • bigquery.models.getData
  • bigquery.jobs.create

Pour plus d'informations sur les rôles et les autorisations IAM dans BigQuery, consultez la page Présentation d'IAM.

Créer un ensemble de données

Créez un ensemble de données BigQuery pour stocker votre modèle de ML.

Console

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à la page "BigQuery"

2. Dans le volet Explorateur, cliquez sur le nom de votre projet.

3. Cliquez sur Afficher les actions > Créer un ensemble de données.

4. Sur la page Créer un ensemble de données, procédez comme suit :

   • Dans le champ ID de l'ensemble de données, saisissez bqml_tutorial.

   • Pour Type d'emplacement, sélectionnez Multirégional, puis États-Unis.

   • Conservez les autres paramètres par défaut, puis cliquez sur Créer un ensemble de données.

bq

Pour créer un ensemble de données, utilisez la commande bq mk --dataset.

1. Créez un ensemble de données nommé bqml_tutorial et définissez l'emplacement des données sur US.

   bq mk --dataset \
     --location=US \
     --description "BigQuery ML tutorial dataset." \
     bqml_tutorial

2. Vérifiez que l'ensemble de données a été créé :

   bq ls

API

Appelez la méthode datasets.insert avec une ressource d'ensemble de données définie.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Créer un tableau de données d'entraînement

Créez une table de données d'entraînement basée sur un sous-ensemble des données de la table tlc_yellow_trips_2018.

Pour créer le tableau, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   CREATE OR REPLACE TABLE `bqml_tutorial.taxi_tip_input`
   AS
   SELECT * EXCEPT (tip_amount), tip_amount AS label
   FROM
     `bigquery-public-data.new_york_taxi_trips.tlc_yellow_trips_2018`
   WHERE
     tip_amount IS NOT NULL
   LIMIT 100000;

Créer un modèle de régression linéaire de référence

Créez un modèle de régression linéaire sans réglage des hyperparamètres et entraînez-le sur les données de la table taxi_tip_input.

Pour créer le modèle, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   CREATE OR REPLACE MODEL `bqml_tutorial.baseline_taxi_tip_model`
     OPTIONS (
       MODEL_TYPE = 'LINEAR_REG'
     )
   AS
   SELECT
     *
   FROM
     `bqml_tutorial.taxi_tip_input`;

   L'exécution de la requête prend environ deux minutes.

Évaluer le modèle de référence

Évaluez les performances du modèle à l'aide de la fonction ML.EVALUATE. La fonction ML.EVALUATE évalue les classifications de contenu prédites renvoyées par le modèle par rapport aux métriques d'évaluation calculées lors de l'entraînement du modèle.

Pour évaluer le modèle, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT *
   FROM
     ML.EVALUATE(MODEL `bqml_tutorial.baseline_taxi_tip_model`);

   Les résultats ressemblent à ce qui suit :

   +---------------------+--------------------+------------------------+-----------------------+---------------------+---------------------+
   | mean_absolute_error | mean_squared_error | mean_squared_log_error | median_absolute_error |      r2_score       | explained_variance  |
   +---------------------+--------------------+------------------------+-----------------------+---------------------+---------------------+
   |  2.5853895559690323 | 23760.416358496139 |   0.017392406523370374 | 0.0044248227819481123 | -1934.5450533482465 | -1934.3513857946277 |
   +---------------------+--------------------+------------------------+-----------------------+---------------------+---------------------+
   

La valeur r2_score du modèle de référence est négative, ce qui indique une mauvaise adéquation aux données. Plus le score R² est proche de 1, meilleure est l'adéquation du modèle.

Créer un modèle de régression linéaire avec réglage des hyperparamètres

Créez un modèle de régression linéaire avec réglage des hyperparamètres et entraînez-le sur les données de la table taxi_tip_input.

Vous utilisez les options de réglage des hyperparamètres suivantes dans l'instruction CREATE MODEL :

• L'option NUM_TRIALS permet de définir le nombre d'essais sur 20.
• L'option MAX_PARALLEL_TRIALS permet d'exécuter deux essais dans chaque tâche d'entraînement, pour un total de dix tâches et vingt essais. Cela réduit le temps d'entraînement nécessaire. Toutefois, les deux essais simultanés ne bénéficient pas de leurs résultats d'entraînement respectifs.
• L'option L1_REG permet d'essayer différentes valeurs de régularisation L1 dans les différents essais. La régularisation L1 supprime les caractéristiques non pertinentes du modèle, ce qui permet d'éviter le surapprentissage.

Les autres options de réglage des hyperparamètres compatibles avec le modèle utilisent leurs valeurs par défaut, comme suit :

• L1_REG : 0
• HPARAM_TUNING_ALGORITHM : 'VIZIER_DEFAULT'
• HPARAM_TUNING_OBJECTIVES : ['R2_SCORE']

Pour créer le modèle, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   CREATE OR REPLACE MODEL `bqml_tutorial.hp_taxi_tip_model`
     OPTIONS (
       MODEL_TYPE = 'LINEAR_REG',
       NUM_TRIALS = 20,
       MAX_PARALLEL_TRIALS = 2,
       L1_REG = HPARAM_RANGE(0, 5))
   AS
   SELECT
     *
   FROM
     `bqml_tutorial.taxi_tip_input`;

   L'exécution de la requête prend environ 20 minutes.

Obtenir des informations sur les essais d'entraînement

Obtenez des informations sur tous les essais, y compris leurs valeurs d'hyperparamètres, leurs objectifs et leur état, à l'aide de la fonction ML.TRIAL_INFO. Cette fonction renvoie également des informations sur l'essai le plus performant, en fonction de ces informations.

Pour obtenir des informations sur l'essai :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT *
   FROM
     ML.TRIAL_INFO(MODEL `bqml_tutorial.hp_taxi_tip_model`)
   ORDER BY is_optimal DESC;

   Les résultats ressemblent à ce qui suit :

   +----------+-------------------------------------+-----------------------------------+--------------------+--------------------+-----------+---------------+------------+
   | trial_id |           hyperparameters           | hparam_tuning_evaluation_metrics  |   training_loss    |     eval_loss      |  status   | error_message | is_optimal |
   +----------+-------------------------------------+-----------------------------------+--------------------+--------------------+-----------+---------------+------------+
   |        7 |      {"l1_reg":"4.999999999999985"} |  {"r2_score":"0.653653627638174"} | 4.4677841296238165 |  4.478469742512195 | SUCCEEDED | NULL          |       true |
   |        2 |  {"l1_reg":"2.402163664510254E-11"} | {"r2_score":"0.6532493667964732"} |  4.457692508421795 |  4.483697081650438 | SUCCEEDED | NULL          |      false |
   |        3 |  {"l1_reg":"1.2929452948742316E-7"} |  {"r2_score":"0.653249366811995"} |   4.45769250849513 |  4.483697081449748 | SUCCEEDED | NULL          |      false |
   |        4 |  {"l1_reg":"2.5787102060628228E-5"} | {"r2_score":"0.6532493698925899"} |  4.457692523040582 |  4.483697041615808 | SUCCEEDED | NULL          |      false |
   |      ... |                             ...     |                           ...     |              ...   |             ...    |       ... |          ...  |        ... |
   +----------+-------------------------------------+-----------------------------------+--------------------+--------------------+-----------+---------------+------------+
   

   La valeur de la colonne is_optimal indique que l'essai 7 est le modèle optimal renvoyé par le réglage.

Évaluer les essais du modèle réglé

Évaluez les performances des essais à l'aide de la fonction ML.EVALUATE. La fonction ML.EVALUATE compare les classifications de contenu prédites renvoyées par le modèle aux métriques d'évaluation calculées pendant l'entraînement pour tous les essais.

Pour évaluer les essais du modèle, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT *
   FROM
     ML.EVALUATE(MODEL `bqml_tutorial.hp_taxi_tip_model`)
   ORDER BY r2_score DESC;

   Les résultats ressemblent à ce qui suit :

   +----------+---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   | trial_id | mean_absolute_error | mean_squared_error | mean_squared_log_error | median_absolute_error |      r2_score      | explained_variance |
   +----------+---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   |        7 |   1.151814398002232 |  4.109811493266523 |     0.4918733252641176 |    0.5736103414025084 | 0.6652110305659145 | 0.6652144696114834 |
   |       19 |  1.1518143358927102 |  4.109811921460791 |     0.4918672150119582 |    0.5736106106914161 | 0.6652109956848206 | 0.6652144346901685 |
   |        8 |   1.152747850702547 |  4.123625876152422 |     0.4897808307399327 |    0.5731702310239184 | 0.6640856984144734 |  0.664088410199906 |
   |        5 |   1.152895108945439 |  4.125775524878872 |    0.48939088205957937 |    0.5723300569616766 | 0.6639105860807425 | 0.6639132416838652 |
   |      ... |                ...  |                ... |                    ... |                   ... |                ... |                ... |
   +----------+---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   

   La valeur r2_score pour le modèle optimal, qui correspond à l'essai 7, est 0.66521103056591446, ce qui montre une amélioration significative par rapport au modèle de référence.

Vous pouvez évaluer un essai spécifique en spécifiant l'argument TRIAL_ID dans la fonction ML.EVALUATE.

Pour en savoir plus sur la différence entre les objectifs ML.TRIAL_INFO et les métriques d'évaluation ML.EVALUATE, consultez la section Fonctions de mise en service de modèles.

Utiliser le modèle réglé pour prédire les pourboires de trajets en taxi

Utilisez le modèle optimal renvoyé par le réglage pour prédire les pourboires pour différents trajets en taxi. Le modèle optimal est automatiquement utilisé par la fonction ML.PREDICT, sauf si vous sélectionnez un autre essai en spécifiant l'argument TRIAL_ID. Les prédictions sont renvoyées dans la colonne predicted_label.

Pour obtenir des prédictions, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT *
   FROM
     ML.PREDICT(
       MODEL `bqml_tutorial.hp_taxi_tip_model`,
       (
         SELECT
           *
         FROM
           `bqml_tutorial.taxi_tip_input`
         LIMIT 5
       ));

   Les résultats ressemblent à ce qui suit :

   +----------+--------------------+-----------+---------------------+---------------------+-----------------+---------------+-----------+--------------------+--------------+-------------+-------+---------+--------------+---------------+--------------+--------------------+---------------------+----------------+-----------------+-------+
   | trial_id |  predicted_label   | vendor_id |   pickup_datetime   |  dropoff_datetime   | passenger_count | trip_distance | rate_code | store_and_fwd_flag | payment_type | fare_amount | extra | mta_tax | tolls_amount | imp_surcharge | total_amount | pickup_location_id | dropoff_location_id | data_file_year | data_file_month | label |
   +----------+--------------------+-----------+---------------------+---------------------+-----------------+---------------+-----------+--------------------+--------------+-------------+-------+---------+--------------+---------------+--------------+--------------------+---------------------+----------------+-----------------+-------+
   |        7 |  1.343367839584448 | 2         | 2018-01-15 18:55:15 | 2018-01-15 18:56:18 |               1 |             0 | 1         | N                  | 1            |           0 |     0 |       0 |            0 |             0 |            0 | 193                | 193                 |           2018 |               1 |     0 |
   |        7 | -1.176072791783461 | 1         | 2018-01-08 10:26:24 | 2018-01-08 10:26:37 |               1 |             0 | 5         | N                  | 3            |        0.01 |     0 |       0 |            0 |           0.3 |         0.31 | 158                | 158                 |           2018 |               1 |     0 |
   |        7 |  3.839580104168765 | 1         | 2018-01-22 10:58:02 | 2018-01-22 12:01:11 |               1 |          16.1 | 1         | N                  | 1            |        54.5 |     0 |     0.5 |            0 |           0.3 |         55.3 | 140                | 91                  |           2018 |               1 |     0 |
   |        7 |  4.677393985230036 | 1         | 2018-01-16 10:14:35 | 2018-01-16 11:07:28 |               1 |            18 | 1         | N                  | 2            |        54.5 |     0 |     0.5 |            0 |           0.3 |         55.3 | 138                | 67                  |           2018 |               1 |     0 |
   |        7 |  7.938988937253062 | 2         | 2018-01-16 07:05:15 | 2018-01-16 08:06:31 |               1 |          17.8 | 1         | N                  | 1            |        54.5 |     0 |     0.5 |            0 |           0.3 |        66.36 | 132                | 255                 |           2018 |               1 | 11.06 |
   +----------+--------------------+-----------+---------------------+---------------------+-----------------+---------------+-----------+--------------------+--------------+-------------+-------+---------+--------------+---------------+--------------+--------------------+---------------------+----------------+-----------------+-------+
   

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

• Supprimez le projet que vous avez créé.
• Ou conservez le projet et supprimez l'ensemble de données.

Supprimer l'ensemble de données

Si vous supprimez votre projet, tous les ensembles de données et toutes les tables qui lui sont associés sont également supprimés. Si vous préférez réutiliser le projet, vous pouvez supprimer l'ensemble de données que vous avez créé dans ce tutoriel :

1. Si nécessaire, ouvrez la page BigQuery dans la consoleGoogle Cloud .

   Accéder à la page "BigQuery"

2. Dans le panneau de navigation, cliquez sur l'ensemble de données bqml_tutorial que vous avez créé.

3. À droite de la fenêtre, cliquez sur Supprimer l'ensemble de données. Cette action supprime l'ensemble de données, la table et toutes les données.

4. Dans la boîte de dialogue Supprimer l'ensemble de données, confirmez la commande de suppression en saisissant le nom de votre ensemble de données (bqml_tutorial), puis cliquez sur Supprimer.

Supprimer votre projet

Pour supprimer le projet :

Attention : La suppression d'un projet aura les effets suivants :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

1. Dans la console Google Cloud , accédez à la page Gérer les ressources.

   Accéder à la page "Gérer les ressources"

2. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
3. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.

Étapes suivantes

• Pour en savoir plus sur le machine learning, consultez le Cours d'initiation au Machine Learning.
• Pour obtenir plus d'informations sur BigQuery ML, consultez la page Présentation de BigQuery ML.
• Pour en savoir plus sur la console Google Cloud , consultez Utiliser la console Google Cloud .