Diese Seite wurde von der Cloud Translation API übersetzt.

Modellleistung durch Hyperparameter-Abstimmung verbessern

In dieser Anleitung erfahren Sie, wie Sie die Hyperparameter-Abstimmung in BigQuery ML verwenden, um ein Modell für maschinelles Lernen zu optimieren und seine Leistung zu verbessern.

Sie führen die Hyperparameter-Abstimmung durch, indem Sie die Option NUM_TRIALS der Anweisung CREATE MODEL� Wenn Sie diese Optionen festlegen, trainiert BigQuery ML mehrere Versionen oder Testläufe des Modells, die jeweils leicht unterschiedliche Parameter haben, und gibt den Testlauf zurück, der die beste Leistung erzielt.

In dieser Anleitung wird die öffentliche Beispieltabelle tlc_yellow_trips_2018 verwendet, die Informationen zu Taxifahrten in New York City im Jahr 2018 enthält.

Dataset erstellen

Erstellen Sie ein BigQuery-Dataset zum Speichern Ihres ML-Modells.

Console

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

Zur Seite "BigQuery"
Klicken Sie im Bereich Explorer auf den Namen Ihres Projekts.
Klicken Sie auf Aktionen ansehen > Dataset erstellen.
Führen Sie auf der Seite Dataset erstellen die folgenden Schritte aus:
- Geben Sie unter Dataset-ID bqml_tutorial ein.
- Wählen Sie als Standorttyp die Option Mehrere Regionen und dann USA (mehrere Regionen in den USA) aus.
- Übernehmen Sie die verbleibenden Standardeinstellungen unverändert und klicken Sie auf Dataset erstellen.

bq

Wenn Sie ein neues Dataset erstellen möchten, verwenden Sie den Befehl bq mk mit dem Flag --location. Eine vollständige Liste der möglichen Parameter finden Sie in der bq mk --dataset-Befehlsreferenz.

Erstellen Sie ein Dataset mit dem Namen bqml_tutorial, wobei der Datenspeicherort auf US und die Beschreibung auf BigQuery ML tutorial dataset festgelegt ist:
```
bq --location=US mk -d \
 --description "BigQuery ML tutorial dataset." \
 bqml_tutorial
```
Anstelle des Flags --dataset verwendet der Befehl die verkürzte Form -d. Wenn Sie -d und --dataset auslassen, wird standardmäßig ein Dataset erstellt.
Prüfen Sie, ob das Dataset erstellt wurde:
```
bq ls
```

API

Rufen Sie die Methode datasets.insert mit einer definierten Dataset-Ressource auf.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Tabelle mit Trainingsdaten erstellen

Erstellen Sie eine Tabelle mit Trainingsdaten basierend auf einer Teilmenge der Tabellendaten tlc_yellow_trips_2018.

So erstellen Sie die Tabelle:

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen

Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

CREATE OR REPLACE TABLE `bqml_tutorial.taxi_tip_input`
AS
SELECT * EXCEPT (tip_amount), tip_amount AS label
FROM
  `bigquery-public-data.new_york_taxi_trips.tlc_yellow_trips_2018`
WHERE
  tip_amount IS NOT NULL
LIMIT 100000;

Lineares Basis-Regressionsmodell erstellen

Erstellen Sie ein lineares Regressionsmodell ohne Hyperparameter-Abstimmung und trainieren Sie es mit den Daten aus der Tabelle taxi_tip_input.

So erstellen Sie das Modell:

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen

Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

CREATE OR REPLACE MODEL `bqml_tutorial.baseline_taxi_tip_model`
  OPTIONS (
    MODEL_TYPE = 'LINEAR_REG'
  )
AS
SELECT
  *
FROM
  `bqml_tutorial.taxi_tip_input`;

Die Abfrage dauert etwa 2 Minuten.

Basismodell bewerten

Bewerten Sie die Leistung des Modells mit der Funktion ML.EVALUATE. Die Funktion ML.EVALUATE vergleicht die vom Modell zurückgegebenen vorhergesagten Altersfreigaben für Inhalte mit den während des Modelltrainings berechneten Bewertungsmesswerten.

So bewerten Sie das Modell:

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen

Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

SELECT *
FROM
  ML.EVALUATE(MODEL `bqml_tutorial.baseline_taxi_tip_model`);

Die Ergebnisse sehen in etwa so aus:

+---------------------+--------------------+------------------------+-----------------------+---------------------+---------------------+
| mean_absolute_error | mean_squared_error | mean_squared_log_error | median_absolute_error |      r2_score       | explained_variance  |
+---------------------+--------------------+------------------------+-----------------------+---------------------+---------------------+
|  2.5853895559690323 | 23760.416358496139 |   0.017392406523370374 | 0.0044248227819481123 | -1934.5450533482465 | -1934.3513857946277 |
+---------------------+--------------------+------------------------+-----------------------+---------------------+---------------------+

Der r2_score-Wert für das Baseline-Modell ist negativ, was auf eine schlechte Anpassung an die Daten hinweist. Je näher der R²-Wert an 1 liegt, desto besser ist die Modellanpassung.

Lineares Regressionsmodell mit Hyperparameter-Abstimmung erstellen

Erstellen Sie ein lineares Regressionsmodell mit Hyperparameter-Abstimmung und trainieren Sie es mit den Daten aus der Tabelle taxi_tip_input.

Sie verwenden die folgenden Optionen für die Hyperparameter-Abstimmung in der CREATE MODEL-Anweisung:

Mit der Option NUM_TRIALS können Sie die Anzahl der Versuche auf 20 festlegen.
Die Option MAX_PARALLEL_TRIALS, um zwei Testläufe in jedem Trainingsjob auszuführen, also insgesamt zehn Jobs und zwanzig Testläufe. Dadurch wird die erforderliche Trainingszeit verkürzt. Die beiden gleichzeitigen Versuche profitieren jedoch nicht von den Trainingsergebnissen des jeweils anderen.
Mit der L1_REG-Option können Sie in den verschiedenen Testläufen unterschiedliche Werte für die L1-Regularisierung verwenden. Durch die L1-Regularisierung werden irrelevante Merkmale aus dem Modell entfernt, was dazu beiträgt, eine Überanpassung zu verhindern.

Die anderen vom Modell unterstützten Optionen für die Hyperparameter-Abstimmung verwenden ihre Standardwerte:

L1_REG: 0
HPARAM_TUNING_ALGORITHM: 'VIZIER_DEFAULT'
HPARAM_TUNING_OBJECTIVES: ['R2_SCORE']

So erstellen Sie das Modell:

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen

Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

CREATE OR REPLACE MODEL `bqml_tutorial.hp_taxi_tip_model`
  OPTIONS (
    MODEL_TYPE = 'LINEAR_REG',
    NUM_TRIALS = 20,
    MAX_PARALLEL_TRIALS = 2,
    L1_REG = HPARAM_RANGE(0, 5))
AS
SELECT
  *
FROM
  `bqml_tutorial.taxi_tip_input`;

Die Abfrage dauert etwa 20 Minuten.

Informationen zu den Trainingsversuchen abrufen

Mit der Funktion ML.TRIAL_INFO können Sie Informationen zu allen Tests abrufen, einschließlich ihrer Hyperparameterwerte, Ziele und des Status. Außerdem wird zurückgegeben, welcher Testlauf basierend auf diesen Informationen die beste Leistung erzielt hat.

So rufen Sie Informationen zum Testzeitraum auf:

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen

Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

SELECT *
FROM
  ML.TRIAL_INFO(MODEL `bqml_tutorial.hp_taxi_tip_model`)
ORDER BY is_optimal DESC;

Die Ergebnisse sehen in etwa so aus:

+----------+-------------------------------------+-----------------------------------+--------------------+--------------------+-----------+---------------+------------+
| trial_id |           hyperparameters           | hparam_tuning_evaluation_metrics  |   training_loss    |     eval_loss      |  status   | error_message | is_optimal |
+----------+-------------------------------------+-----------------------------------+--------------------+--------------------+-----------+---------------+------------+
|        7 |      {"l1_reg":"4.999999999999985"} |  {"r2_score":"0.653653627638174"} | 4.4677841296238165 |  4.478469742512195 | SUCCEEDED | NULL          |       true |
|        2 |  {"l1_reg":"2.402163664510254E-11"} | {"r2_score":"0.6532493667964732"} |  4.457692508421795 |  4.483697081650438 | SUCCEEDED | NULL          |      false |
|        3 |  {"l1_reg":"1.2929452948742316E-7"} |  {"r2_score":"0.653249366811995"} |   4.45769250849513 |  4.483697081449748 | SUCCEEDED | NULL          |      false |
|        4 |  {"l1_reg":"2.5787102060628228E-5"} | {"r2_score":"0.6532493698925899"} |  4.457692523040582 |  4.483697041615808 | SUCCEEDED | NULL          |      false |
|      ... |                             ...     |                           ...     |              ...   |             ...    |       ... |          ...  |        ... |
+----------+-------------------------------------+-----------------------------------+--------------------+--------------------+-----------+---------------+------------+

Der Wert in der Spalte is_optimal gibt an, dass Testlauf 7 das optimale Modell ist, das vom Tuning zurückgegeben wurde.

Bewerten Sie die Testläufe des abgestimmten Modells.

Bewerten Sie die Leistung der Testläufe mit der Funktion ML.EVALUATE. Die Funktion ML.EVALUATE vergleicht die vom Modell zurückgegebenen vorhergesagten Altersfreigaben für Inhalte mit den während des Trainings für alle Testläufe berechneten Bewertungsmesswerten.

So bewerten Sie die Modellversuche:

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen

Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

SELECT *
FROM
  ML.EVALUATE(MODEL `bqml_tutorial.hp_taxi_tip_model`)
ORDER BY r2_score DESC;

Die Ergebnisse sehen in etwa so aus:

+----------+---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
| trial_id | mean_absolute_error | mean_squared_error | mean_squared_log_error | median_absolute_error |      r2_score      | explained_variance |
+----------+---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
|        7 |   1.151814398002232 |  4.109811493266523 |     0.4918733252641176 |    0.5736103414025084 | 0.6652110305659145 | 0.6652144696114834 |
|       19 |  1.1518143358927102 |  4.109811921460791 |     0.4918672150119582 |    0.5736106106914161 | 0.6652109956848206 | 0.6652144346901685 |
|        8 |   1.152747850702547 |  4.123625876152422 |     0.4897808307399327 |    0.5731702310239184 | 0.6640856984144734 |  0.664088410199906 |
|        5 |   1.152895108945439 |  4.125775524878872 |    0.48939088205957937 |    0.5723300569616766 | 0.6639105860807425 | 0.6639132416838652 |
|      ... |                ...  |                ... |                    ... |                   ... |                ... |                ... |
+----------+---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+

Der r2_score-Wert für das optimale Modell (Testlauf 7) ist 0.66521103056591446. Das ist eine deutliche Verbesserung gegenüber dem Baseline-Modell.

Sie können einen bestimmten Testlauf auswerten, indem Sie das Argument TRIAL_ID in der Funktion ML.EVALUATE angeben.

Weitere Informationen zum Unterschied zwischen ML.TRIAL_INFO-Zielen und ML.EVALUATE-Bewertungsmesswerten finden Sie unter Modellbereitstellungsfunktionen.

Abgestimmtes Modell verwenden, um Taxitipps vorherzusagen

Verwenden Sie das optimale Modell, das durch die Abstimmung zurückgegeben wird, um Trinkgelder für verschiedene Taxifahrten vorherzusagen. Das optimale Modell wird automatisch von der Funktion ML.PREDICT verwendet, sofern Sie nicht einen anderen Testlauf durch Angabe des Arguments TRIAL_ID auswählen. Die Vorhersagen werden in der Spalte predicted_label zurückgegeben.

So erhalten Sie Vorhersagen:

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen

Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

SELECT *
FROM
  ML.PREDICT(
    MODEL `bqml_tutorial.hp_taxi_tip_model`,
    (
      SELECT
        *
      FROM
        `bqml_tutorial.taxi_tip_input`
      LIMIT 5
    ));

Die Ergebnisse sehen in etwa so aus:

+----------+--------------------+-----------+---------------------+---------------------+-----------------+---------------+-----------+--------------------+--------------+-------------+-------+---------+--------------+---------------+--------------+--------------------+---------------------+----------------+-----------------+-------+
| trial_id |  predicted_label   | vendor_id |   pickup_datetime   |  dropoff_datetime   | passenger_count | trip_distance | rate_code | store_and_fwd_flag | payment_type | fare_amount | extra | mta_tax | tolls_amount | imp_surcharge | total_amount | pickup_location_id | dropoff_location_id | data_file_year | data_file_month | label |
+----------+--------------------+-----------+---------------------+---------------------+-----------------+---------------+-----------+--------------------+--------------+-------------+-------+---------+--------------+---------------+--------------+--------------------+---------------------+----------------+-----------------+-------+
|        7 |  1.343367839584448 | 2         | 2018-01-15 18:55:15 | 2018-01-15 18:56:18 |               1 |             0 | 1         | N                  | 1            |           0 |     0 |       0 |            0 |             0 |            0 | 193                | 193                 |           2018 |               1 |     0 |
|        7 | -1.176072791783461 | 1         | 2018-01-08 10:26:24 | 2018-01-08 10:26:37 |               1 |             0 | 5         | N                  | 3            |        0.01 |     0 |       0 |            0 |           0.3 |         0.31 | 158                | 158                 |           2018 |               1 |     0 |
|        7 |  3.839580104168765 | 1         | 2018-01-22 10:58:02 | 2018-01-22 12:01:11 |               1 |          16.1 | 1         | N                  | 1            |        54.5 |     0 |     0.5 |            0 |           0.3 |         55.3 | 140                | 91                  |           2018 |               1 |     0 |
|        7 |  4.677393985230036 | 1         | 2018-01-16 10:14:35 | 2018-01-16 11:07:28 |               1 |            18 | 1         | N                  | 2            |        54.5 |     0 |     0.5 |            0 |           0.3 |         55.3 | 138                | 67                  |           2018 |               1 |     0 |
|        7 |  7.938988937253062 | 2         | 2018-01-16 07:05:15 | 2018-01-16 08:06:31 |               1 |          17.8 | 1         | N                  | 1            |        54.5 |     0 |     0.5 |            0 |           0.3 |        66.36 | 132                | 255                 |           2018 |               1 | 11.06 |
+----------+--------------------+-----------+---------------------+---------------------+-----------------+---------------+-----------+--------------------+--------------+-------------+-------+---------+--------------+---------------+--------------+--------------------+---------------------+----------------+-----------------+-------+

Modellleistung durch Hyperparameter-Abstimmung verbessern Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Dataset erstellen

Console

bq

API

BigQuery DataFrames

Tabelle mit Trainingsdaten erstellen

Lineares Basis-Regressionsmodell erstellen

Basismodell bewerten

Lineares Regressionsmodell mit Hyperparameter-Abstimmung erstellen

Informationen zu den Trainingsversuchen abrufen

Bewerten Sie die Testläufe des abgestimmten Modells.

Abgestimmtes Modell verwenden, um Taxitipps vorherzusagen

Modellleistung durch Hyperparameter-Abstimmung verbessern