Vorhersagen mit scikit-learn-Modellen im ONNX-Format treffen

In dieser Anleitung erfahren Sie, wie Sie ein ONNX-Modell (Open Neural Network Exchange) importieren, das mit scikit-learn trainiert wurde. Sie importieren das Modell in ein BigQuery-Dataset und verwenden es, um Vorhersagen mit einer SQL-Abfrage zu treffen.

ONNX bietet ein einheitliches Format für die Darstellung von Frameworks für maschinelles Lernen (ML). Die BigQuery ML-Unterstützung für ONNX bietet folgende Möglichkeiten:

• Trainieren eines Modells mit Ihrem bevorzugten Framework.
• Konvertieren des Modells in das ONNX-Modellformat.
• ONNX-Modell in BigQuery importieren und Vorhersagen mit BigQuery ML treffen.

Ziele

• Modell mit scikit-learn erstellen und trainieren
• Konvertieren Sie das Modell mit sklearn-onnx in das ONNX-Format.
• Verwenden Sie die CREATE MODEL-Anweisung, um das ONNX-Modell in BigQuery zu importieren.
• Verwenden Sie die Funktion ML.PREDICT, um Vorhersagen mit dem importierten ONNX-Modell zu treffen.

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

• BigQuery
• BigQuery ML
• Cloud Storage

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen.

Neuen Nutzern von Google Cloud steht möglicherweise eine kostenlose Testversion zur Verfügung.

Nach Abschluss der in diesem Dokument beschriebenen Aufgaben können Sie weitere Kosten vermeiden, indem Sie die erstellten Ressourcen löschen. Weitere Informationen finden Sie unter Bereinigen.

Hinweis

Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

1. Prüfen Sie, ob für Ihr Google Cloud Projekt die Abrechnung aktiviert ist.

2. Aktivieren Sie die BigQuery API und die Cloud Storage API.

   Rollen, die zum Aktivieren von APIs erforderlich sind

   Zum Aktivieren von APIs benötigen Sie die IAM-Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin), die die Berechtigung serviceusage.services.enable enthält. Weitere Informationen zum Zuweisen von Rollen

   APIs aktivieren

3. Prüfen Sie, ob Sie die erforderlichen Berechtigungen haben, um die Aufgaben in diesem Dokument ausführen zu können.

Erforderliche Rollen

Wenn Sie ein neues Projekt erstellen, sind Sie der Projektinhaber und erhalten alle erforderlichen IAM-Berechtigungen (Identity and Access Management), die Sie für diese Anleitung benötigen.

Wenn Sie ein vorhandenes Projekt verwenden, gehen Sie so vor.

Prüfen Sie, ob Sie die folgenden Rollen für das Projekt haben:

• BigQuery Studio Admin (roles/bigquery.studioAdmin)
• Storage-Objekt-Ersteller (roles/storage.objectCreator)

Rollen prüfen

1. Rufen Sie in der Google Cloud Console die Seite IAM auf.

   IAM aufrufen
2. Wählen Sie das Projekt aus.

3. Suchen Sie in der Spalte Hauptkonto nach allen Zeilen, in denen Sie oder eine Gruppe, zu der Sie gehören, angegeben sind. Fragen Sie Ihren Administrator, zu welchen Gruppen Sie gehören.

4. Prüfen Sie in allen Zeilen, in denen Sie angegeben oder enthalten sind, die Spalte Rolle, um zu sehen, ob die Liste der Rollen die erforderlichen Rollen enthält.

Rollen zuweisen

1. Rufen Sie in der Google Cloud Console die Seite IAM auf.

   IAM aufrufen
2. Wählen Sie das Projekt aus.
3. Klicken Sie auf Zugriffsrechte erteilen.

4. Geben Sie im Feld Neue Hauptkonten Ihre Nutzer-ID ein. Das ist in der Regel die E‑Mail-Adresse eines Google-Kontos.

5. Klicken Sie auf Rolle auswählen und suchen Sie nach der Rolle.
6. Klicken Sie auf Weitere Rolle hinzufügen, wenn Sie weitere Rollen zuweisen möchten.
7. Klicken Sie auf Speichern.

Weitere Informationen zu IAM-Berechtigungen in BigQuery finden Sie unter IAM-Berechtigungen.

Optional: Modell trainieren und in das ONNX-Format konvertieren

Die folgenden Codebeispiele zeigen, wie Sie ein Klassifizierungsmodell mit scikit-learn trainieren und die resultierende Pipeline in das ONNX-Format konvertieren. In dieser Anleitung wird ein vorgefertigtes Beispielmodell verwendet, das unter gs://cloud-samples-data/bigquery/ml/onnx/pipeline_rf.onnx gespeichert ist. Wenn Sie das Beispielmodell verwenden, müssen Sie diese Schritte nicht ausführen.

Klassifizierungsmodell mit scikit-learn trainieren

Mit dem folgenden Beispielcode können Sie eine scikit-learn-Pipeline für das Dataset Iris erstellen und trainieren. Eine Anleitung zum Installieren und Verwenden von scikit-learn finden Sie in der Installationsanleitung für scikit-learn.

import numpy
from sklearn.datasets import load_iris
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import RandomForestClassifier

data = load_iris()
X = data.data[:, :4]
y = data.target

ind = numpy.arange(X.shape[0])
numpy.random.shuffle(ind)
X = X[ind, :].copy()
y = y[ind].copy()

pipe = Pipeline([('scaler', StandardScaler()),
                ('clr', RandomForestClassifier())])
pipe.fit(X, y)

Hinweis :Die scikit-learn-Pipeline ermöglicht es Ihnen, Modelle aus anderen Bibliotheken wie LightGBM und XGBoost einzubinden, die mit sklearn-onnx in ONNX konvertiert werden können. Weitere Informationen finden Sie unter Pipeline konvertieren und Converter aus anderen Bibliotheken verwenden.

Pipeline in ein ONNX-Modell konvertieren

Verwenden Sie den folgenden Beispielcode in sklearn-onnx, um die scikit-learn-Pipeline in ein ONNX-Modell mit dem Namen pipeline_rf.onnx zu konvertieren.

from skl2onnx import convert_sklearn
from skl2onnx.common.data_types import FloatTensorType

# Disable zipmap as it is not supported in BigQuery ML.
options = {id(pipe): {'zipmap': False}}

# Define input features. scikit-learn does not store information about the
# training dataset. It is not always possible to retrieve the number of features
# or their types. That's why the function needs another argument called initial_types.
initial_types = [
   ('sepal_length', FloatTensorType([None, 1])),
   ('sepal_width', FloatTensorType([None, 1])),
   ('petal_length', FloatTensorType([None, 1])),
   ('petal_width', FloatTensorType([None, 1])),
]

# Convert the model.
model_onnx = convert_sklearn(
   pipe, 'pipeline_rf', initial_types=initial_types, options=options
)

# And save.
with open('pipeline_rf.onnx', 'wb') as f:
 f.write(model_onnx.SerializeToString())

ONNX-Modell in Cloud Storage hochladen

Nachdem Sie das Modell gespeichert haben, gehen Sie so vor:

• Erstellen Sie einen Cloud Storage-Bucket zum Speichern des Modells.
• Laden Sie das ONNX-Modell in Ihren Cloud Storage-Bucket hoch.

Dataset erstellen

Erstellen Sie ein BigQuery-Dataset zum Speichern Ihres ML-Modells.

Console

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   Zur Seite "BigQuery"

2. Klicken Sie im Bereich Explorer auf den Namen Ihres Projekts.

3. Klicken Sie auf  Aktionen ansehen > Dataset erstellen.

4. Führen Sie auf der Seite Dataset erstellen die folgenden Schritte aus:

   • Geben Sie unter Dataset-ID bqml_tutorial ein.

   • Wählen Sie als Standorttyp die Option Multiregional und dann USA aus.

   • Übernehmen Sie die verbleibenden Standardeinstellungen unverändert und klicken Sie auf Dataset erstellen.

bq

Wenn Sie ein neues Dataset erstellen möchten, verwenden Sie den Befehl bq mk --dataset.

1. Erstellen Sie ein Dataset mit dem Namen bqml_tutorial und legen Sie den Datenspeicherort auf US fest.

   bq mk --dataset \
     --location=US \
     --description "BigQuery ML tutorial dataset." \
     bqml_tutorial

2. Prüfen Sie, ob das Dataset erstellt wurde:

   bq ls

API

Rufen Sie die Methode datasets.insert mit einer definierten Dataset-Ressource auf.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

ONNX-Modell in BigQuery importieren

In den folgenden Schritten wird gezeigt, wie Sie das ONNX-Beispielmodell aus Cloud Storage importieren, indem Sie eine CREATE MODEL-Anweisung verwenden.

Wählen Sie eine der folgenden Optionen aus, um das ONNX-Modell in Ihr Dataset zu importieren:

Console

1. Rufen Sie in der Google Cloud Console die Seite BigQuery Studio auf.

   Zu BigQuery Studio

2. Geben Sie im Abfrageeditor die folgende CREATE MODEL-Anweisung ein.

    CREATE OR REPLACE MODEL `bqml_tutorial.imported_onnx_model`
     OPTIONS (MODEL_TYPE='ONNX',
      MODEL_PATH='BUCKET_PATH')

   Ersetzen Sie BUCKET_PATH durch den Pfad zum Modell, das Sie in Cloud Storage hochgeladen haben. Wenn Sie das Beispielmodell verwenden, ersetzen Sie BUCKET_PATH durch den folgenden Wert: gs://cloud-samples-data/bigquery/ml/onnx/pipeline_rf.onnx.

   Nach Abschluss des Vorgangs erhalten Sie in etwa folgende Meldung: Successfully created model named imported_onnx_model.

   Ihr neues Modell wird im Bereich Ressourcen angezeigt. Modelle sind am Modellsymbol  zu erkennen. Wenn Sie das neue Modell im Bereich Ressourcen auswählen, werden Informationen zum Modell neben dem Abfrageeditor angezeigt.

   

bq

1. Importieren Sie das ONNX-Modell aus Cloud Storage, indem Sie die folgende CREATE MODEL-Anweisung eingeben.

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL
   `bqml_tutorial.imported_onnx_model`
   OPTIONS
   (MODEL_TYPE='ONNX',
     MODEL_PATH='BUCKET_PATH')"

   Ersetzen Sie BUCKET_PATH durch den Pfad zum Modell, das Sie in Cloud Storage hochgeladen haben. Wenn Sie das Beispielmodell verwenden, ersetzen Sie BUCKET_PATH durch den folgenden Wert: gs://cloud-samples-data/bigquery/ml/onnx/pipeline_rf.onnx.

   Nach Abschluss des Vorgangs erhalten Sie in etwa folgende Meldung: Successfully created model named imported_onnx_model.

2. Prüfen Sie nach dem Import des Modells, ob es im Dataset angezeigt wird.

   bq ls -m bqml_tutorial

   Die Ausgabe sieht etwa so aus:

   tableId               Type
   --------------------- -------
   imported_onnx_model  MODEL

BigQuery DataFrames

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

Importieren Sie das Modell mit dem ONNXModel-Objekt.

import bigframes
from bigframes.ml.imported import ONNXModel

bigframes.options.bigquery.project = PROJECT_ID
# You can change the location to one of the valid locations: https://cloud.google.com/bigquery/docs/locations#supported_locations
bigframes.options.bigquery.location = "US"

imported_onnx_model = ONNXModel(
    model_path="gs://cloud-samples-data/bigquery/ml/onnx/pipeline_rf.onnx"
)

Weitere Informationen zum Importieren von ONNX-Modellen in BigQuery, einschließlich Format- und Speicheranforderungen, finden Sie unter Anweisung CREATE MODEL zum Importieren von ONNX-Modellen.

Vorhersagen mit dem importierten ONNX-Modell treffen

Nachdem Sie das ONNX-Modell importiert haben, verwenden Sie die Funktion ML.PREDICT, um Vorhersagen mit dem Modell zu treffen.

In der Abfrage in den folgenden Schritten wird imported_onnx_model verwendet, um Vorhersagen anhand von Eingabedaten aus der Tabelle iris im öffentlichen Dataset ml_datasets zu treffen. Das ONNX-Modell erwartet vier FLOAT-Werte als Eingabe:

• sepal_length
• sepal_width
• petal_length
• petal_width

Diese Eingaben entsprechen den initial_types, die beim Konvertieren des Modells in das ONNX-Format definiert wurden.

Die Ausgaben enthalten die Spalten label und probabilities sowie die Spalten aus der Eingabetabelle. label steht für das vorhergesagte Klassenlabel. probabilities ist ein Array von Wahrscheinlichkeiten, die Wahrscheinlichkeiten für jede Klasse darstellen.

Wählen Sie eine der folgenden Optionen aus, um Vorhersagen mit dem importierten ONNX-Modell zu treffen:

Console

1. Rufen Sie die Seite BigQuery Studio auf.

   Zu BigQuery Studio

2. Geben Sie im Abfrageeditor diese Abfrage mit der Funktion ML.PREDICT ein.

   SELECT *
     FROM ML.PREDICT(MODEL `bqml_tutorial.imported_onnx_model`,
       (
       SELECT * FROM `bigquery-public-data.ml_datasets.iris`
       )
   )

   Die Abfrageergebnisse sehen in etwa so aus:

   

bq

Führen Sie die Abfrage mit ML.PREDICT aus.

bq query --use_legacy_sql=false \
'SELECT *
FROM ML.PREDICT(
MODEL `example_dataset.imported_onnx_model`,
(SELECT * FROM `bigquery-public-data.ml_datasets.iris`))'

BigQuery DataFrames

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

Verwenden Sie die Funktion predict, um das ONNX-Modell auszuführen.

import bigframes.pandas as bpd

df = bpd.read_gbq("bigquery-public-data.ml_datasets.iris")
predictions = imported_onnx_model.predict(df)
predictions.peek(5)

Das Ergebnis sieht etwa so aus:

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Projekt löschen

Console

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, zum Beispiel eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, anstatt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. Wechseln Sie in der Google Cloud -Console zur Seite Ressourcen verwalten.

   Zur Seite „Ressourcen verwalten“

2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

gcloud

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, zum Beispiel eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, anstatt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

Google Cloud -Projekt löschen:

gcloud projects delete PROJECT_ID

Einzelne Ressourcen löschen

Alternativ können Sie die einzelnen Ressourcen, die in dieser Anleitung verwendet werden, so entfernen:

1. Importiertes Modell löschen

2. Optional: Dataset löschen

Nächste Schritte

• Weitere Informationen zum Importieren von ONNX-Modellen finden Sie unter CREATE MODEL-Anweisung für ONNX-Modelle.
• Weitere Informationen zu verfügbaren ONNX-Convertern und Anleitungen finden Sie unter In ONNX-Format konvertieren.
• Einführung in BigQuery ML
• Informationen zur Verwendung von BigQuery ML finden Sie unter Modelle für maschinelles Lernen in BigQuery ML erstellen.