Feature Engineering mit der TRANSFORM-Klausel durchführen

In dieser Anleitung erfahren Sie, wie Sie die TRANSFORM Klausel der CREATE MODEL Anweisung verwenden, um Feature Engineering gleichzeitig mit dem Erstellen und Trainieren eines Modells durchzuführen. Mit der TRANSFORM-Klausel können Sie eine oder mehrere Vorverarbeitungsfunktionen angeben, um die Eingabedaten zu transformieren, die Sie zum Trainieren des Modells verwenden. Die auf das Modell angewendete Vorverarbeitung wird automatisch angewendet, wenn Sie das Modell mit den ML.EVALUATE und ML.PREDICT Funktionen verwenden.

In dieser Anleitung wird das öffentliche bigquery-public-data.ml_datasets.penguin Dataset verwendet.

Ziele

In dieser Anleitung werden die folgenden Aufgaben behandelt:

• Erstellen eines linearen Regressionsmodells zur Vorhersage des Typs von Serviceanrufen mit der CREATE MODEL-Anweisung. Verwenden der ML.QUANTILE_BUCKETIZE und ML.FEATURE_CROSS Funktionen in der CREATE MODEL-Anweisung zur Vorverarbeitung von Daten.
• Bewerten des Modells mit der ML.EVALUATE Funktion.
• Abrufen von Vorhersagen aus dem Modell mit der ML.PREDICT Funktion.

Kosten

In dieser Anleitung werden kostenpflichtige Komponenten von Google Cloud, verwendet, darunter:

• BigQuery
• BigQuery ML

Weitere Informationen zu den Kosten von BigQuery finden Sie auf der Seite BigQuery-Preise.

Hinweis

Melden Sie sich in Ihrem Google Cloud Konto an. Wenn Sie noch kein Google Cloud-Konto haben, erstellen Sie ein Konto, um zu sehen, wie sich unsere Produkte in realen Szenarien schlagen. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. BigQuery ist in neuen Projekten automatisch aktiviert. Zum Aktivieren von BigQuery in einem bereits bestehenden Projekt wechseln Sie zu

   Aktivieren Sie die BigQuery API.

   Erforderliche Rollen zum Aktivieren von APIs

   Zum Aktivieren von APIs benötigen Sie die IAM-Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin), die die Berechtigung serviceusage.services.enable enthält. Informationen zum Zuweisen von Rollen.

   API aktivieren

Dataset erstellen

Erstellen Sie ein BigQuery-Dataset, um Ihr ML-Modell zu speichern.

Console

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   Zur Seite „BigQuery“

2. Klicken Sie im Bereich Explorer auf den Namen Ihres Projekts.

3. Klicken Sie auf Aktionen ansehen > Dataset erstellen

4. Führen Sie auf der Seite Dataset erstellen die folgenden Schritte aus:

   • Geben Sie unter Dataset-ID bqml_tutorial ein.

   • Wählen Sie als Standorttyp die Option Multiregional und dann USA aus.

   • Übernehmen Sie die verbleibenden Standardeinstellungen unverändert und klicken Sie auf Dataset erstellen.

bq

Verwenden Sie den bq mk --dataset Befehl, um ein neues Dataset zu erstellen.

1. Erstellen Sie ein Dataset mit dem Namen bqml_tutorial und legen Sie den Datenstandort auf US fest.

   bq mk --dataset \
     --location=US \
     --description "BigQuery ML tutorial dataset." \
     bqml_tutorial

2. Prüfen Sie, ob das Dataset erstellt wurde:

   bq ls

API

Rufen Sie die datasets.insert Methode mit einer definierten Dataset-Ressource auf.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Modell erstellen

Erstellen Sie ein lineares Regressionsmodell zur Vorhersage des Pinguingewichts und trainieren Sie es mit der Beispieltabelle penguins.

Die OPTIONS(model_type='linear_reg', input_label_cols=['body_mass_g']) Klausel gibt an, dass Sie ein lineares Regressions modell erstellen. Ein lineares Regressionsmodell generiert aus einer linearen Kombination von Eingabemerkmalen einen kontinuierlichen Wert. Die Spalte body_mass_g ist die Eingabelabel-Spalte. Bei linearen Regressionsmodellen muss die Labelspalte reelle Zahlen als Werte enthalten.

Die TRANSFORM-Klausel dieser Abfrage verwendet die folgenden Spalten aus der SELECT-Anweisung:

• body_mass_g: Wird unverändert im Training verwendet.
• culmen_depth_mm: Wird unverändert im Training verwendet.
• flipper_length_mm: Wird unverändert im Training verwendet.
• bucketized_culmen_length: Erstellt aus culmen_length_mm, wobei culmen_length_mm mit der Analysefunktion ML.QUANTILE_BUCKETIZE() basierend auf Quantilen gruppiert wird.
• culmen_length_mm: Der ursprüngliche Wert von culmen_length_mm, in einen STRING-Wert umgewandelt und im Training verwendet.
• species_sex: Ermittelt durch Kreuzung von species und sex mit der Funktion ML.FEATURE_CROSS.

Sie müssen nicht alle Spalten aus der Trainingstabelle in der TRANSFORM-Klausel verwenden.

Die WHERE-Klausel (WHERE body_mass_g IS NOT NULL AND RAND() < 0.2) schließt Zeilen aus, in denen das Gewicht der Pinguine NULL ist, und verwendet die Funktion RAND, um eine zufällige Stichprobe der Daten zu entnehmen.

So erstellen Sie das Modell:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

   CREATE OR REPLACE MODEL `bqml_tutorial.penguin_transform`
     TRANSFORM(
       body_mass_g,
       culmen_depth_mm,
       flipper_length_mm,
       ML.QUANTILE_BUCKETIZE(culmen_length_mm, 10) OVER () AS bucketized_culmen_length,
       CAST(culmen_length_mm AS string) AS culmen_length_mm,
       ML.FEATURE_CROSS(STRUCT(species, sex)) AS species_sex)
     OPTIONS (
       model_type = 'linear_reg',
       input_label_cols = ['body_mass_g'])
   AS
   SELECT
     *
   FROM
     `bigquery-public-data.ml_datasets.penguins`
   WHERE
     body_mass_g IS NOT NULL
     AND RAND() < 0.2;

   Die Abfrage dauert etwa 15 Minuten. Danach wird das Modell penguin_transform im Bereich Explorer angezeigt. Da die Abfrage eine CREATE MODEL-Anweisung zum Erstellen eines Modells verwendet, werden keine Abfrageergebnisse ausgegeben.

Modell bewerten

Bewerten Sie die Leistung des Modells mit der Funktion ML.EVALUATE. Die Funktion ML.EVALUATE vergleicht die vom Modell zurückgegebenen vorhergesagten Pinguingewichte mit den tatsächlichen Pinguingewichten aus den Trainingsdaten.

Die geschachtelte SELECT-Anweisung und die FROM-Klausel dieser Abfrage sind dieselben wie in der CREATE MODEL-Abfrage. Da Sie die TRANSFORM-Klausel beim Erstellen des Modells verwendet haben, müssen Sie die Spalten und Transformationen in der Funktion ML.EVALUATE nicht noch einmal angeben. Die Funktion ruft sie automatisch aus dem Modell ab.

So bewerten Sie das Modell:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

   SELECT
     *
   FROM
     ML.EVALUATE(
       MODEL `bqml_tutorial.penguin_transform`,
       (
         SELECT
           *
         FROM
           `bigquery-public-data.ml_datasets.penguins`
         WHERE
           body_mass_g IS NOT NULL
       ));

   Die Antwort sollte in etwa so aussehen:

   +---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   | mean_absolute_error | mean_squared_error | mean_squared_log_error | median_absolute_error |      r2_score      | explained_variance |
   +---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   |   64.21134350607677 | 13016.433317859564 |   7.140935762696211E-4 |     15.31788461553515 | 0.9813042531507734 | 0.9813186268757634 |
   +---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   

   Ein wichtiger Messwert in den Bewertungsergebnissen ist der R² -Wert. Der R²-Wert ist ein statistisches Maß dafür, ob sich die Vorhersagen der linearen Regression den tatsächlichen Daten annähern. Ein Wert von 0 gibt an, dass das Modell keine Erklärung für die Variabilität der Antwortdaten um den Mittelwert liefert. Ein Wert von 1 gibt an, dass das Modell alle Abweichungen der Antwortdaten um den Mittelwert erklärt.

   Weitere Informationen zur Ausgabe der Funktion ML.EVALUATE finden Sie unter Ausgabe.

   Sie können ML.EVALUATE auch aufrufen, ohne die Eingabedaten anzugeben. Es werden dann die Bewertungsmesswerte verwendet, die während des Trainings berechnet wurden.

Modell zur Vorhersage des Pinguingewichts verwenden

Verwenden Sie das Modell mit der Funktion ML.PREDICT, um das Gewicht männlicher Pinguine vorherzusagen.

Die ML.PREDICT Funktion gibt den vorhergesagten Wert in der predicted_label_column_name Spalte aus, in diesem Fall predicted_body_mass_g.

Wenn Sie die Funktion ML.PREDICT verwenden, müssen Sie nicht alle Spalten übergeben, die beim Trainieren des Modells verwendet wurden. Erforderlich sind nur die Spalten, die Sie in der TRANSFORM-Klausel verwendet haben. Ähnlich wie bei ML.EVALUATE ruft die Funktion ML.PREDICT die TRANSFORM-Spalten und -Transformationen automatisch aus dem Modell ab.

So rufen Sie Vorhersagen aus dem Modell ab:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

   SELECT
     predicted_body_mass_g
   FROM
     ML.PREDICT(
       MODEL `bqml_tutorial.penguin_transform`,
       (
         SELECT
           *
         FROM
           `bigquery-public-data.ml_datasets.penguins`
         WHERE
           sex = 'MALE'
       ));

   Die Antwort sollte in etwa so aussehen:

   +-----------------------+
   | predicted_body_mass_g |
   +-----------------------+
   |    2810.2868541725757 |
   +-----------------------+
   |    3813.6574220842676 |
   +-----------------------+
   |     4098.844698262214 |
   +-----------------------+
   |     4256.587135004173 |
   +-----------------------+
   |     3008.393497302691 |
   +-----------------------+
   |     ...               |
   +-----------------------+
   

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

• Sie können das von Ihnen erstellte Projekt löschen.
• Sie können das Projekt aber auch behalten und das Dataset löschen.

Dataset löschen

Wenn Sie Ihr Projekt löschen, werden alle Datasets und Tabellen entfernt. Wenn Sie das Projekt wieder verwenden möchten, können Sie das in dieser Anleitung erstellte Dataset löschen:

1. Rufen Sie, falls erforderlich, die Seite „BigQuery“ in der Google Cloud Console auf.

   Zur Seite „BigQuery“

2. Wählen Sie im Navigationsbereich das Dataset bqml_tutorial aus, das Sie erstellt haben.

3. Klicken Sie auf der rechten Seite des Fensters auf Dataset löschen. Das Dataset, die Tabelle und alle Daten werden gelöscht.

4. Bestätigen Sie im Dialogfeld Dataset löschen den Löschbefehl. Geben Sie dazu den Namen des Datasets (bqml_tutorial) ein und klicken Sie auf Löschen.

Projekt löschen

So löschen Sie das Projekt:

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. Wechseln Sie in der Google Cloud Console zur Seite Ressourcen verwalten.

   Zur Seite „Ressourcen verwalten“

2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Nächste Schritte

• Weitere Informationen über das maschinelle Lernen im Machine Learning Crash Course lesen
• Eine Übersicht über BigQuery ML finden Sie unter Einführung in BigQuery ML.
• Weitere Informationen zur Google Cloud Console finden Sie unter Console Google Cloud verwenden.