Feature Engineering mit der TRANSFORM-Klausel durchführen

In dieser Anleitung erfahren Sie, wie Sie die TRANSFORM-Klausel der CREATE MODEL-Anweisung verwenden, um Feature Engineering gleichzeitig mit dem Erstellen und Trainieren eines Modells durchzuführen. Mit der TRANSFORM-Klausel können Sie eine oder mehrere Vorverarbeitungsfunktionen angeben, um die Eingabedaten zu transformieren, die Sie zum Trainieren des Modells verwenden. Die Vorverarbeitung, die Sie auf das Modell anwenden, wird automatisch angewendet, wenn Sie das Modell mit den Funktionen ML.EVALUATE und ML.PREDICT verwenden.

In dieser Anleitung wird das öffentliche Dataset bigquery-public-data.ml_datasets.penguin verwendet.

Ziele

In dieser Anleitung werden Sie durch die folgenden Aufgaben geführt:

• Erstellen eines linearen Regressionsmodells zur Vorhersage des Typs von Serviceanrufen mit der Anweisung CREATE MODEL. Verwenden Sie in der CREATE MODEL-Anweisung die Funktionen ML.QUANTILE_BUCKETIZE und ML.FEATURE_CROSS, um Daten vorzubereiten.
• Bewerten Sie das Modell mit der Funktion ML.EVALUATE.
• Vorhersagen aus dem Modell mit der ML.PREDICT-Funktion abrufen.

Kosten

In dieser Anleitung werden kostenpflichtige Komponenten von Google Cloudverwendet, darunter:

• BigQuery
• BigQuery ML

Weitere Informationen zu den Kosten von BigQuery finden Sie auf der Seite BigQuery-Preise.

Hinweise

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. BigQuery ist in neuen Projekten automatisch aktiviert. Zum Aktivieren von BigQuery in einem vorhandenen Projekt wechseln Sie zu .

   Enable the BigQuery API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

Dataset erstellen

Erstellen Sie ein BigQuery-Dataset zum Speichern Ihres ML-Modells.

Console

1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

   Zur Seite "BigQuery"

2. Klicken Sie im Bereich Explorer auf den Namen Ihres Projekts.

3. Klicken Sie auf  Aktionen ansehen > Dataset erstellen.

4. Führen Sie auf der Seite Dataset erstellen die folgenden Schritte aus:

   • Geben Sie unter Dataset-ID bqml_tutorial ein.

   • Wählen Sie als Standorttyp die Option Mehrere Regionen und dann USA (mehrere Regionen in den USA) aus.

   • Übernehmen Sie die verbleibenden Standardeinstellungen unverändert und klicken Sie auf Dataset erstellen.

bq

Wenn Sie ein neues Dataset erstellen möchten, verwenden Sie den Befehl bq mk mit dem Flag --location. Eine vollständige Liste der möglichen Parameter finden Sie in der bq mk --dataset-Befehlsreferenz.

1. Erstellen Sie ein Dataset mit dem Namen bqml_tutorial, wobei der Datenspeicherort auf US und die Beschreibung auf BigQuery ML tutorial dataset festgelegt ist:

   bq --location=US mk -d \
    --description "BigQuery ML tutorial dataset." \
    bqml_tutorial

   Anstelle des Flags --dataset verwendet der Befehl die verkürzte Form -d. Wenn Sie -d und --dataset auslassen, wird standardmäßig ein Dataset erstellt.

2. Prüfen Sie, ob das Dataset erstellt wurde:

   bq ls

API

Rufen Sie die Methode datasets.insert mit einer definierten Dataset-Ressource auf.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Modell erstellen

Erstellen Sie ein lineares Regressionsmodell zur Vorhersage des Pinguingewichts und trainieren Sie es mit der penguins-Beispieltabelle.

Die Klausel OPTIONS(model_type='linear_reg', input_label_cols=['body_mass_g']) gibt an, dass Sie ein Modell mit linearer Regression erstellen. Ein lineares Regressionsmodell generiert aus einer linearen Kombination von Eingabemerkmalen einen kontinuierlichen Wert. Die Spalte body_mass_g ist die Eingabelabel-Spalte. Bei linearen Regressionsmodellen muss die Labelspalte reelle Zahlen als Werte enthalten.

Die Klausel TRANSFORM dieser Abfrage verwendet die folgenden Spalten aus der SELECT-Anweisung:

• body_mass_g: Wird ohne Änderungen für das Training verwendet.
• culmen_depth_mm: Wird ohne Änderungen für das Training verwendet.
• flipper_length_mm: Wird ohne Änderungen für das Training verwendet.
• bucketized_culmen_length: erstellt aus culmen_length_mm, wobei culmen_length_mm mit der Analysefunktion ML.QUANTILE_BUCKETIZE() basierend auf Quantilen gruppiert wird
• culmen_length_mm: Der ursprüngliche culmen_length_mm-Wert, der in einen STRING-Wert umgewandelt und für das Training verwendet wird.
• species_sex: ermittelt durch Kreuzung von species und sex mit der Funktion ML.FEATURE_CROSS

Sie müssen nicht alle Spalten aus der Trainingstabelle in der TRANSFORM-Klausel verwenden.

Die WHERE-Klausel (WHERE body_mass_g IS NOT NULL AND RAND() < 0.2) schließt Zeilen aus, bei denen das Gewicht der Pinguine NULL ist, und verwendet die RAND-Funktion, um eine zufällige Stichprobe der Daten zu erstellen.

So erstellen Sie das Modell:

1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

   BigQuery aufrufen

2. Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

   CREATE OR REPLACE MODEL `bqml_tutorial.penguin_transform`
     TRANSFORM(
       body_mass_g,
       culmen_depth_mm,
       flipper_length_mm,
       ML.QUANTILE_BUCKETIZE(culmen_length_mm, 10) OVER () AS bucketized_culmen_length,
       CAST(culmen_length_mm AS string) AS culmen_length_mm,
       ML.FEATURE_CROSS(STRUCT(species, sex)) AS species_sex)
     OPTIONS (
       model_type = 'linear_reg',
       input_label_cols = ['body_mass_g'])
   AS
   SELECT
     *
   FROM
     `bigquery-public-data.ml_datasets.penguins`
   WHERE
     body_mass_g IS NOT NULL
     AND RAND() < 0.2;

   Die Abfrage dauert etwa 15 Minuten. Danach wird das Modell penguin_transform im Bereich Explorer angezeigt. Da die Abfrage eine CREATE MODEL-Anweisung zum Erstellen eines Modells verwendet, werden keine Abfrageergebnisse ausgegeben.

Modell bewerten

Bewerten Sie die Leistung des Modells mit der Funktion ML.EVALUATE. Die Funktion ML.EVALUATE vergleicht die vom Modell zurückgegebenen vorhergesagten Pinguingewichte mit den tatsächlichen Pinguingewichten aus den Trainingsdaten.

Die geschachtelte SELECT-Anweisung und die FROM-Klausel dieser Abfrage sind dieselben wie in der Abfrage CREATE MODEL. Da Sie die Klausel TRANSFORM beim Erstellen des Modells verwendet haben, müssen Sie die Spalten und Transformationen nicht noch einmal in der Funktion ML.EVALUATE angeben. Die Funktion ruft sie automatisch aus dem Modell ab.

So bewerten Sie das Modell:

1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

   BigQuery aufrufen

2. Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

   SELECT
     *
   FROM
     ML.EVALUATE(
       MODEL `bqml_tutorial.penguin_transform`,
       (
         SELECT
           *
         FROM
           `bigquery-public-data.ml_datasets.penguins`
         WHERE
           body_mass_g IS NOT NULL
       ));

   Die Antwort sollte in etwa so aussehen:

   +---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   | mean_absolute_error | mean_squared_error | mean_squared_log_error | median_absolute_error |      r2_score      | explained_variance |
   +---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   |   64.21134350607677 | 13016.433317859564 |   7.140935762696211E-4 |     15.31788461553515 | 0.9813042531507734 | 0.9813186268757634 |
   +---------------------+--------------------+------------------------+-----------------------+--------------------+--------------------+
   

   Ein wichtiger Messwert in den Bewertungsergebnissen ist der R²-Wert. Der R²-Wert ist ein statistisches Maß dafür, ob sich die Vorhersagen der linearen Regression den tatsächlichen Daten annähern. Der Wert 0 gibt an, dass das Modell keine der Abweichungen der Antwortdaten um den Mittelwert erklärt. Der Wert 1 gibt an, dass das Modell alle Abweichungen der Antwortdaten um den Mittelwert erklärt.

   Weitere Informationen zur Ausgabe der ML.EVALUATE-Funktion finden Sie unter Ausgabe.

   Sie können ML.EVALUATE auch aufrufen, ohne die Eingabedaten anzugeben. Es werden dann die Bewertungsmesswerte verwendet, die während des Trainings berechnet wurden.

Modell zur Vorhersage des Pinguin-Gewichts verwenden

Verwenden Sie das Modell mit der Funktion ML.PREDICT, um das Gewicht von männlichen Pinguinen vorherzusagen.

Die Funktion ML.PREDICT gibt den vorhergesagten Wert in der Spalte predicted_label_column_name aus, in diesem Fall predicted_body_mass_g.

Wenn Sie die Funktion ML.PREDICT verwenden, müssen Sie nicht alle Spalten übergeben, die beim Modelltraining verwendet wurden. Es sind nur die Spalten erforderlich, die Sie in der TRANSFORM-Klausel verwendet haben. Ähnlich wie bei ML.EVALUATE ruft die Funktion ML.PREDICT automatisch die TRANSFORM-Spalten und ‑Transformationen aus dem Modell ab.

So rufen Sie Vorhersagen aus dem Modell ab:

1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

   BigQuery aufrufen

2. Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:

   SELECT
     predicted_body_mass_g
   FROM
     ML.PREDICT(
       MODEL `bqml_tutorial.penguin_transform`,
       (
         SELECT
           *
         FROM
           `bigquery-public-data.ml_datasets.penguins`
         WHERE
           sex = 'MALE'
       ));

   Die Antwort sollte in etwa so aussehen:

   +-----------------------+
   | predicted_body_mass_g |
   +-----------------------+
   |    2810.2868541725757 |
   +-----------------------+
   |    3813.6574220842676 |
   +-----------------------+
   |     4098.844698262214 |
   +-----------------------+
   |     4256.587135004173 |
   +-----------------------+
   |     3008.393497302691 |
   +-----------------------+
   |     ...               |
   +-----------------------+
   

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

• Sie können das von Ihnen erstellte Projekt löschen.
• Sie können das Projekt aber auch behalten und das Dataset löschen.

Dataset löschen

Wenn Sie Ihr Projekt löschen, werden alle Datasets und Tabellen entfernt. Wenn Sie das Projekt wieder verwenden möchten, können Sie das in dieser Anleitung erstellte Dataset löschen:

1. Rufen Sie, falls erforderlich, die Seite „BigQuery“ in derGoogle Cloud Console auf.

   Zur Seite „BigQuery“

2. Wählen Sie im Navigationsbereich das Dataset bqml_tutorial aus, das Sie erstellt haben.

3. Klicken Sie auf der rechten Seite des Fensters auf Dataset löschen. Das Dataset, die Tabelle und alle Daten werden gelöscht.

4. Bestätigen Sie im Dialogfeld Dataset löschen den Löschbefehl. Geben Sie dazu den Namen des Datasets (bqml_tutorial) ein und klicken Sie auf Löschen.

Projekt löschen

So löschen Sie das Projekt:

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, zum Beispiel eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, anstatt das gesamte Projekt.

Wenn Sie weitere Architekturen, Tutorials oder Kurzanleitungen nutzen möchten, können Sie vorhandene Projekte wiederverwenden und somit vermeiden, dass Projektkontingente überschritten werden.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Nächste Schritte

• Weitere Informationen über das maschinelle Lernen im Machine Learning Crash Course lesen
• Eine Übersicht über BigQuery ML finden Sie unter Einführung in BigQuery ML.
• Weitere Informationen zur Google Cloud Console finden Sie unter Google Cloud Console verwenden.