Cette page a été traduite par l'API Cloud Translation.

Améliorer les performances du modèle avec les réglages d'hyperparamètres

Ce tutoriel vous explique comment utiliser les réglages d'hyperparamètres dans BigQuery ML pour régler un modèle de machine learning et améliorer ses performances.

Pour régler les hyperparamètres, vous devez spécifier l'option NUM_TRIALS de l'instruction CREATE MODEL, en combinaison avec d'autres options spécifiques au modèle. Lorsque vous définissez ces options, BigQuery ML entraîne plusieurs versions, ou essais, du modèle, chacune avec des paramètres légèrement différents, et renvoie l'essai le plus performant.

Ce tutoriel utilise l'exemple de table publique tlc_yellow_trips_2018, qui contient des informations sur les trajets en taxi à New York en 2018.

Créer un ensemble de données

Créez un ensemble de données BigQuery pour stocker votre modèle de ML.

Console

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à la page "BigQuery"
Dans le volet Explorateur, cliquez sur le nom de votre projet.
Cliquez sur Afficher les actions > Créer un ensemble de données.
Sur la page Créer un ensemble de données, procédez comme suit :
- Dans le champ ID de l'ensemble de données, saisissez bqml_tutorial.
- Pour Type d'emplacement, sélectionnez Multirégional, puis sélectionnez US (plusieurs régions aux États-Unis).
- Conservez les autres paramètres par défaut, puis cliquez sur Créer un ensemble de données.

bq

Pour créer un ensemble de données, exécutez la commande bq mk en spécifiant l'option --location. Pour obtenir la liste complète des paramètres possibles, consultez la documentation de référence sur la commande bq mk --dataset.

Créez un ensemble de données nommé bqml_tutorial avec l'emplacement des données défini sur US et une description de BigQuery ML tutorial dataset :
```
bq --location=US mk -d \
 --description "BigQuery ML tutorial dataset." \
 bqml_tutorial
```
Au lieu d'utiliser l'option --dataset, la commande utilise le raccourci -d. Si vous omettez -d et --dataset, la commande crée un ensemble de données par défaut.
Vérifiez que l'ensemble de données a été créé :
```
bq ls
```

API

Appelez la méthode datasets.insert avec une ressource d'ensemble de données définie.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

Avant d'essayer cet exemple, suivez les instructions de configuration pour BigQuery DataFrames du guide de démarrage rapide de BigQuery DataFrames. Pour en savoir plus, consultez la documentation de référence sur BigQuery DataFrames.

Pour vous authentifier auprès de BigQuery, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer les ADC pour un environnement de développement local.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Créer un tableau de données d'entraînement

Créez une table de données d'entraînement basée sur un sous-ensemble des données de la table tlc_yellow_trips_2018.

Pour créer le tableau, procédez comme suit :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery

Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

CREATE OR REPLACE TABLE `bqml_tutorial.taxi_tip_input`
AS
SELECT * EXCEPT (tip_amount), tip_amount AS label
FROM
  `bigquery-public-data.new_york_taxi_trips.tlc_yellow_trips_2018`
WHERE
  tip_amount IS NOT NULL
LIMIT 100000;

Créer un modèle de régression linéaire de référence

Créez un modèle de régression linéaire sans réglage des hyperparamètres et entraînez-le sur les données de la table taxi_tip_input.

Pour créer le modèle, procédez comme suit :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery

Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

CREATE OR REPLACE MODEL `bqml_tutorial.baseline_taxi_tip_model`
  OPTIONS (
    MODEL_TYPE = 'LINEAR_REG'
  )
AS
SELECT
  *
FROM
  `bqml_tutorial.taxi_tip_input`;

L'exécution de la requête prend environ deux minutes.

Évaluer le modèle de référence

Évaluez les performances du modèle à l'aide de la fonction ML.EVALUATE. La fonction ML.EVALUATE évalue les classifications de contenu prédites renvoyées par le modèle par rapport aux métriques d'évaluation calculées lors de l'entraînement du modèle.

Pour évaluer le modèle, procédez comme suit :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery

Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

SELECT *
FROM
  ML.EVALUATE(MODEL `bqml_tutorial.baseline_taxi_tip_model`);

Les résultats ressemblent à ce qui suit :

+---------------------+--------------------+------------------------+-----------------------+---------------------+---------------------+
| mean_absolute_error | mean_squared_error | mean_squared_log_error | median_absolute_error |      r2_score       | explained_variance  |
+---------------------+--------------------+------------------------+-----------------------+---------------------+---------------------+
|  2.5853895559690323 | 23760.416358496139 |   0.017392406523370374 | 0.0044248227819481123 | -1934.5450533482465 | -1934.3513857946277 |
+---------------------+--------------------+------------------------+-----------------------+---------------------+---------------------+

La valeur r2_score du modèle de référence est négative, ce qui indique un mauvais ajustement aux données. Plus le score R² est proche de 1, meilleur est l'ajustement du modèle.

Créer un modèle de régression linéaire avec réglage des hyperparamètres

Créez un modèle de régression linéaire avec réglage des hyperparamètres et entraînez-le sur les données de la table taxi_tip_input.

Vous utilisez les options de réglage des hyperparamètres suivantes dans l'instruction CREATE MODEL :

L'option NUM_TRIALS permet de définir le nombre d'essais sur 20.
L'option MAX_PARALLEL_TRIALS permet d'exécuter deux essais dans chaque tâche d'entraînement, pour un total de dix tâches et vingt essais. Cela réduit le temps d'entraînement nécessaire. Toutefois, les deux essais simultanés ne bénéficient pas de leurs résultats d'entraînement respectifs.
L'option L1_REG permet de tester différentes valeurs de régularisation L1 dans les différents essais. La régularisation L1 supprime les caractéristiques non pertinentes du modèle, ce qui permet d'éviter le surapprentissage.

Les autres options de réglage des hyperparamètres compatibles avec le modèle utilisent leurs valeurs par défaut, comme suit :

L1_REG : 0
HPARAM_TUNING_ALGORITHM : 'VIZIER_DEFAULT'
HPARAM_TUNING_OBJECTIVES : ['R2_SCORE']

Pour créer le modèle, procédez comme suit :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery

Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

CREATE OR REPLACE MODEL `bqml_tutorial.hp_taxi_tip_model`
  OPTIONS (
    MODEL_TYPE = 'LINEAR_REG',
    NUM_TRIALS = 20,
    MAX_PARALLEL_TRIALS = 2,
    L1_REG = HPARAM_RANGE(0, 5))
AS
SELECT
  *
FROM
  `bqml_tutorial.taxi_tip_input`;

L'exécution de la requête prend environ 20 minutes.

Obtenir des informations sur les essais d'entraînement

Obtenez des informations sur tous les essais, y compris leurs valeurs d'hyperparamètres, leurs objectifs et leur état, à l'aide de la fonction ML.TRIAL_INFO. Cette fonction renvoie également des informations sur l'essai le plus performant, en fonction de ces informations.

Pour obtenir des informations sur l'essai :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery

Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

SELECT *
FROM
  ML.TRIAL_INFO(MODEL `bqml_tutorial.hp_taxi_tip_model`)
ORDER BY is_optimal DESC;

Les résultats ressemblent à ce qui suit :

+----------+-------------------------------------+-----------------------------------+--------------------+--------------------+-----------+---------------+------------+
| trial_id |           hyperparameters           | hparam_tuning_evaluation_metrics  |   training_loss    |     eval_loss      |  status   | error_message | is_optimal |
+----------+-------------------------------------+-----------------------------------+--------------------+--------------------+-----------+---------------+------------+
|        7 |      {"l1_reg":"4.999999999999985"} |  {"r2_score":"0.653653627638174"} | 4.4677841296238165 |  4.478469742512195 | SUCCEEDED | NULL          |       true |
|        2 |  {"l1_reg":"2.402163664510254E-11"} | {"r2_score":"0.6532493667964732"} |  4.457692508421795 |  4.483697081650438 | SUCCEEDED | NULL          |      false |
|        3 |  {"l1_reg":"1.2929452948742316E-7"} |  {"r2_score":"0.653249366811995"} |   4.45769250849513 |  4.483697081449748 | SUCCEEDED | NULL          |      false |
|        4 |  {"l1_reg":"2.5787102060628228E-5"} | {"r2_score":"0.6532493698925899"} |  4.457692523040582 |  4.483697041615808 | SUCCEEDED | NULL          |      false |
|      ... |                             ...     |                           ...     |              ...   |             ...    |       ... |          ...  |        ... |
+----------+-------------------------------------+-----------------------------------+--------------------+--------------------+-----------+---------------+------------+

La valeur de la colonne is_optimal indique que l'essai 7 est le modèle optimal renvoyé par le réglage.

Évaluer les essais du modèle réglé

Évaluez les performances des essais à l'aide de la fonction ML.EVALUATE. La fonction ML.EVALUATE compare les classifications de contenu prédites renvoyées par le modèle aux métriques d'évaluation calculées pendant l'entraînement pour tous les essais.

Pour évaluer les essais du modèle, procédez comme suit :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery

Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

SELECT *
FROM
  ML.EVALUATE(MODEL `bqml_tutorial.hp_taxi_tip_model`)
ORDER BY r2_score DESC;

Les résultats ressemblent à ce qui suit :

+----------+---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
| trial_id | mean_absolute_error | mean_squared_error | mean_squared_log_error | median_absolute_error |      r2_score      | explained_variance |
+----------+---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
|        7 |   1.151814398002232 |  4.109811493266523 |     0.4918733252641176 |    0.5736103414025084 | 0.6652110305659145 | 0.6652144696114834 |
|       19 |  1.1518143358927102 |  4.109811921460791 |     0.4918672150119582 |    0.5736106106914161 | 0.6652109956848206 | 0.6652144346901685 |
|        8 |   1.152747850702547 |  4.123625876152422 |     0.4897808307399327 |    0.5731702310239184 | 0.6640856984144734 |  0.664088410199906 |
|        5 |   1.152895108945439 |  4.125775524878872 |    0.48939088205957937 |    0.5723300569616766 | 0.6639105860807425 | 0.6639132416838652 |
|      ... |                ...  |                ... |                    ... |                   ... |                ... |                ... |
+----------+---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+

La valeur r2_score pour le modèle optimal, qui correspond à l'essai 7, est 0.66521103056591446, ce qui montre une amélioration significative par rapport au modèle de référence.

Vous pouvez évaluer un essai spécifique en spécifiant l'argument TRIAL_ID dans la fonction ML.EVALUATE.

Pour en savoir plus sur la différence entre les objectifs ML.TRIAL_INFO et les métriques d'évaluation ML.EVALUATE, consultez la section Fonctions de mise en service de modèles.

Utiliser le modèle réglé pour prédire les pourboires de trajets en taxi

Utilisez le modèle optimal renvoyé par le réglage pour prédire les pourboires pour différents trajets en taxi. Le modèle optimal est automatiquement utilisé par la fonction ML.PREDICT, sauf si vous sélectionnez un autre essai en spécifiant l'argument TRIAL_ID. Les prédictions sont renvoyées dans la colonne predicted_label.

Pour obtenir des prédictions, procédez comme suit :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery

Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

SELECT *
FROM
  ML.PREDICT(
    MODEL `bqml_tutorial.hp_taxi_tip_model`,
    (
      SELECT
        *
      FROM
        `bqml_tutorial.taxi_tip_input`
      LIMIT 5
    ));

Les résultats ressemblent à ce qui suit :

+----------+--------------------+-----------+---------------------+---------------------+-----------------+---------------+-----------+--------------------+--------------+-------------+-------+---------+--------------+---------------+--------------+--------------------+---------------------+----------------+-----------------+-------+
| trial_id |  predicted_label   | vendor_id |   pickup_datetime   |  dropoff_datetime   | passenger_count | trip_distance | rate_code | store_and_fwd_flag | payment_type | fare_amount | extra | mta_tax | tolls_amount | imp_surcharge | total_amount | pickup_location_id | dropoff_location_id | data_file_year | data_file_month | label |
+----------+--------------------+-----------+---------------------+---------------------+-----------------+---------------+-----------+--------------------+--------------+-------------+-------+---------+--------------+---------------+--------------+--------------------+---------------------+----------------+-----------------+-------+
|        7 |  1.343367839584448 | 2         | 2018-01-15 18:55:15 | 2018-01-15 18:56:18 |               1 |             0 | 1         | N                  | 1            |           0 |     0 |       0 |            0 |             0 |            0 | 193                | 193                 |           2018 |               1 |     0 |
|        7 | -1.176072791783461 | 1         | 2018-01-08 10:26:24 | 2018-01-08 10:26:37 |               1 |             0 | 5         | N                  | 3            |        0.01 |     0 |       0 |            0 |           0.3 |         0.31 | 158                | 158                 |           2018 |               1 |     0 |
|        7 |  3.839580104168765 | 1         | 2018-01-22 10:58:02 | 2018-01-22 12:01:11 |               1 |          16.1 | 1         | N                  | 1            |        54.5 |     0 |     0.5 |            0 |           0.3 |         55.3 | 140                | 91                  |           2018 |               1 |     0 |
|        7 |  4.677393985230036 | 1         | 2018-01-16 10:14:35 | 2018-01-16 11:07:28 |               1 |            18 | 1         | N                  | 2            |        54.5 |     0 |     0.5 |            0 |           0.3 |         55.3 | 138                | 67                  |           2018 |               1 |     0 |
|        7 |  7.938988937253062 | 2         | 2018-01-16 07:05:15 | 2018-01-16 08:06:31 |               1 |          17.8 | 1         | N                  | 1            |        54.5 |     0 |     0.5 |            0 |           0.3 |        66.36 | 132                | 255                 |           2018 |               1 | 11.06 |
+----------+--------------------+-----------+---------------------+---------------------+-----------------+---------------+-----------+--------------------+--------------+-------------+-------+---------+--------------+---------------+--------------+--------------------+---------------------+----------------+-----------------+-------+

Améliorer les performances du modèle avec les réglages d'hyperparamètres Restez organisé à l'aide des collections Enregistrez et classez les contenus selon vos préférences.

Créer un ensemble de données

Console

bq

API

BigQuery DataFrames

Créer un tableau de données d'entraînement

Créer un modèle de régression linéaire de référence

Évaluer le modèle de référence

Créer un modèle de régression linéaire avec réglage des hyperparamètres

Obtenir des informations sur les essais d'entraînement

Évaluer les essais du modèle réglé

Utiliser le modèle réglé pour prédire les pourboires de trajets en taxi

Améliorer les performances du modèle avec les réglages d'hyperparamètres