Diese Seite wurde von der Cloud Translation API übersetzt.

Feature Engineering mit der TRANSFORM-Klausel durchführen

In dieser Anleitung erfahren Sie, wie Sie die TRANSFORM-Klausel der CREATE MODEL-Anweisung verwenden, um gleichzeitig ein Modell zu erstellen und zu trainieren und Feature Engineering durchzuführen. Mit der TRANSFORM-Klausel können Sie eine oder mehrere Vorverarbeitungsfunktionen angeben, um die Eingabedaten zu transformieren, die Sie zum Trainieren des Modells verwenden. Die Vorverarbeitung, die Sie auf das Modell anwenden, wird automatisch angewendet, wenn Sie das Modell mit den Funktionen ML.EVALUATE und ML.PREDICT verwenden.

In dieser Anleitung wird das öffentliche Dataset bigquery-public-data.ml_datasets.penguin verwendet.

Dataset erstellen

Erstellen Sie ein BigQuery-Dataset zum Speichern Ihres ML-Modells.

Console

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

Zur Seite "BigQuery"
Klicken Sie im Bereich Explorer auf den Namen Ihres Projekts.
Klicken Sie auf Aktionen ansehen > Dataset erstellen.
Führen Sie auf der Seite Dataset erstellen die folgenden Schritte aus:
- Geben Sie unter Dataset-ID bqml_tutorial ein.
- Wählen Sie als Standorttyp die Option Mehrere Regionen und dann USA (mehrere Regionen in den USA) aus.
- Übernehmen Sie die verbleibenden Standardeinstellungen unverändert und klicken Sie auf Dataset erstellen.

bq

Wenn Sie ein neues Dataset erstellen möchten, verwenden Sie den Befehl bq mk mit dem Flag --location. Eine vollständige Liste der möglichen Parameter finden Sie in der bq mk --dataset-Befehlsreferenz.

Erstellen Sie ein Dataset mit dem Namen bqml_tutorial, wobei der Datenspeicherort auf US und die Beschreibung auf BigQuery ML tutorial dataset festgelegt ist:
```
bq --location=US mk -d \
 --description "BigQuery ML tutorial dataset." \
 bqml_tutorial
```
Anstelle des Flags --dataset verwendet der Befehl die verkürzte Form -d. Wenn Sie -d und --dataset auslassen, wird standardmäßig ein Dataset erstellt.
Prüfen Sie, ob das Dataset erstellt wurde:
```
bq ls
```

API

Rufen Sie die Methode datasets.insert mit einer definierten Dataset-Ressource auf.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Modell erstellen

Erstellen Sie ein lineares Regressionsmodell zur Vorhersage des Pinguingewichts und trainieren Sie es mit der penguins-Beispieltabelle.

Die Klausel OPTIONS(model_type='linear_reg', input_label_cols=['body_mass_g']) gibt an, dass Sie ein Modell mit linearer Regression erstellen. Ein lineares Regressionsmodell generiert aus einer linearen Kombination von Eingabemerkmalen einen kontinuierlichen Wert. Die Spalte body_mass_g ist die Eingabelabel-Spalte. Bei linearen Regressionsmodellen muss die Labelspalte reelle Zahlen als Werte enthalten.

Die Klausel TRANSFORM dieser Abfrage verwendet die folgenden Spalten aus der SELECT-Anweisung:

body_mass_g: Wird ohne Änderungen für das Training verwendet.
culmen_depth_mm: Wird ohne Änderungen für das Training verwendet.
flipper_length_mm: Wird ohne Änderungen für das Training verwendet.
bucketized_culmen_length: erstellt aus culmen_length_mm, wobei culmen_length_mm mit der Analysefunktion ML.QUANTILE_BUCKETIZE() basierend auf Quantilen gruppiert wird
culmen_length_mm: Der ursprüngliche culmen_length_mm-Wert, der in einen STRING-Wert umgewandelt und für das Training verwendet wird.
species_sex: ermittelt durch Kreuzung von species und sex mit der Funktion ML.FEATURE_CROSS

Sie müssen nicht alle Spalten aus der Trainingstabelle in der TRANSFORM-Klausel verwenden.

Die WHERE-Klausel (WHERE body_mass_g IS NOT NULL AND RAND() < 0.2) schließt Zeilen aus, bei denen das Gewicht der Pinguine NULL ist, und verwendet die RAND-Funktion, um eine zufällige Stichprobe der Daten zu erstellen.

So erstellen Sie das Modell:

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen

Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

CREATE OR REPLACE MODEL `bqml_tutorial.penguin_transform`
  TRANSFORM(
    body_mass_g,
    culmen_depth_mm,
    flipper_length_mm,
    ML.QUANTILE_BUCKETIZE(culmen_length_mm, 10) OVER () AS bucketized_culmen_length,
    CAST(culmen_length_mm AS string) AS culmen_length_mm,
    ML.FEATURE_CROSS(STRUCT(species, sex)) AS species_sex)
  OPTIONS (
    model_type = 'linear_reg',
    input_label_cols = ['body_mass_g'])
AS
SELECT
  *
FROM
  `bigquery-public-data.ml_datasets.penguins`
WHERE
  body_mass_g IS NOT NULL
  AND RAND() < 0.2;

Die Abfrage dauert etwa 15 Minuten. Danach wird das Modell penguin_transform im Bereich Explorer angezeigt. Da die Abfrage eine CREATE MODEL-Anweisung zum Erstellen eines Modells verwendet, werden keine Abfrageergebnisse ausgegeben.

Modell bewerten

Bewerten Sie die Leistung des Modells mit der Funktion ML.EVALUATE. Die Funktion ML.EVALUATE vergleicht die vom Modell zurückgegebenen vorhergesagten Gewichte der Pinguine mit den tatsächlichen Gewichten der Pinguine aus den Trainingsdaten.

Die geschachtelte SELECT-Anweisung und die FROM-Klausel dieser Abfrage sind dieselben wie in der Abfrage CREATE MODEL. Da Sie die Klausel TRANSFORM beim Erstellen des Modells verwendet haben, müssen Sie die Spalten und Transformationen nicht noch einmal in der Funktion ML.EVALUATE angeben. Die Funktion ruft sie automatisch aus dem Modell ab.

So bewerten Sie das Modell:

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen

Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

SELECT
  *
FROM
  ML.EVALUATE(
    MODEL `bqml_tutorial.penguin_transform`,
    (
      SELECT
        *
      FROM
        `bigquery-public-data.ml_datasets.penguins`
      WHERE
        body_mass_g IS NOT NULL
    ));

Die Antwort sollte in etwa so aussehen:

+---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
| mean_absolute_error | mean_squared_error | mean_squared_log_error | median_absolute_error |      r2_score      | explained_variance |
+---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
|   64.21134350607677 | 13016.433317859564 |   7.140935762696211E-4 |     15.31788461553515 | 0.9813042531507734 | 0.9813186268757634 |
+---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+

Ein wichtiger Messwert in den Bewertungsergebnissen ist der R²-Wert. Der R²-Wert ist ein statistisches Maß dafür, ob sich die Vorhersagen der linearen Regression den tatsächlichen Daten annähern. Der Wert 0 gibt an, dass das Modell keine der Abweichungen der Antwortdaten um den Mittelwert erklärt. Der Wert 1 gibt an, dass das Modell alle Abweichungen der Antwortdaten um den Mittelwert erklärt.

Weitere Informationen zur Ausgabe der ML.EVALUATE-Funktion finden Sie unter Ausgabe.

Sie können ML.EVALUATE auch aufrufen, ohne die Eingabedaten anzugeben. Es werden dann die Bewertungsmesswerte verwendet, die während des Trainings berechnet wurden.

Modell zur Vorhersage des Pinguin-Gewichts verwenden

Verwenden Sie das Modell mit der Funktion ML.PREDICT, um das Gewicht von männlichen Pinguinen vorherzusagen.

Die Funktion ML.PREDICT gibt den vorhergesagten Wert in der Spalte predicted_label_column_name aus, in diesem Fall predicted_body_mass_g.

Wenn Sie die Funktion ML.PREDICT verwenden, müssen Sie nicht alle Spalten übergeben, die beim Modelltraining verwendet wurden. Es sind nur die Spalten erforderlich, die Sie in der TRANSFORM-Klausel verwendet haben. Ähnlich wie bei ML.EVALUATE ruft die Funktion ML.PREDICT automatisch die TRANSFORM-Spalten und ‑Transformationen aus dem Modell ab.

So rufen Sie Vorhersagen aus dem Modell ab:

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen

Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

SELECT
  predicted_body_mass_g
FROM
  ML.PREDICT(
    MODEL `bqml_tutorial.penguin_transform`,
    (
      SELECT
        *
      FROM
        `bigquery-public-data.ml_datasets.penguins`
      WHERE
        sex = 'MALE'
    ));

Die Antwort sollte in etwa so aussehen:

+-----------------------+
| predicted_body_mass_g |
+-----------------------+
|    2810.2868541725757 |
+-----------------------+
|    3813.6574220842676 |
+-----------------------+
|     4098.844698262214 |
+-----------------------+
|     4256.587135004173 |
+-----------------------+
|     3008.393497302691 |
+-----------------------+
|     ...               |
+-----------------------+

Feature Engineering mit der TRANSFORM-Klausel durchführen Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Dataset erstellen

Console

bq

API

BigQuery DataFrames

Modell erstellen

Modell bewerten

Modell zur Vorhersage des Pinguin-Gewichts verwenden

Feature Engineering mit der TRANSFORM-Klausel durchführen