Vorhersagen mit PyTorch-Modellen im ONNX-Format treffen

Open Neural Network Exchange (ONNX) bietet ein einheitliches Format für die Darstellung von Frameworks für maschinelles Lernen. Die BigQuery ML-Unterstützung für ONNX bietet folgende Möglichkeiten:

• Trainieren eines Modells mit Ihrem bevorzugten Framework.
• Konvertieren des Modells in das ONNX-Modellformat.
• ONNX-Modell in BigQuery importieren und Vorhersagen mit BigQuery ML treffen.

In dieser Anleitung erfahren Sie, wie Sie ONNX-Modelle, die mit PyTorch trainiert wurden, in ein BigQuery-Dataset importieren und damit Vorhersagen aus einer SQL-Abfrage treffen.

Wichtig :Sie benötigen eine Reservierung, um Vorhersagen mit importierten Modellen und Objekttabellen auszuführen. Weitere Informationen finden Sie unter Einschränkungen für importierte ONNX-Modelle.

Optional: Modell trainieren und in das ONNX-Format konvertieren

Die folgenden Codebeispiele zeigen, wie Sie ein vortrainiertes Klassifizierungsmodell in PyTorch importieren und das resultierende Modell in das ONNX-Format konvertieren. In dieser Anleitung wird ein vordefiniertes Beispielmodell verwendet, das unter gs://cloud-samples-data/bigquery/ml/onnx/resnet18.onnx gespeichert ist. Wenn Sie das Beispielmodell verwenden, müssen Sie diese Schritte nicht ausführen.

PyTorch-Visionsmodell für die Bildklassifizierung erstellen

Verwenden Sie das folgende Codebeispiel, um ein vortrainiertes PyTorch-Modell resnet18 zu importieren, das decodierte Bilddaten akzeptiert, die von den BigQuery ML-Funktionen ML.DECODE_IMAGE und ML.RESIZE_IMAGE zurückgegeben werden.

import torch
import torch.nn as nn

# Define model input format to match the output format of
# ML.DECODE_IMAGE function: [height, width, channels]
dummy_input = torch.randn(1, 224, 224, 3, device="cpu")

# Load a pretrained pytorch model for image classification
model = torch.hub.load('pytorch/vision:v0.10.0', 'resnet18', pretrained=True)

# Reshape input format from [batch_size, height, width, channels]
# to [batch_size, channels, height, width]
class ReshapeLayer(nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
        x = x.permute(0, 3, 1, 2)  # reorder dimensions
        return x

class ArgMaxLayer(nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
       return torch.argmax(x, dim=1)

final_model = nn.Sequential(
    ReshapeLayer(),
    model,
    nn.Softmax(),
    ArgMaxLayer()
)

Modell in das ONNX-Format konvertieren

Im folgenden Beispiel wird das PyTorch-Vision-Modell mit torch.onnx exportiert. Die exportierte ONNX-Datei heißt resnet18.onnx.

torch.onnx.export(final_model,            # model being run
                  dummy_input,            # model input
                  "resnet18.onnx",        # where to save the model
                  opset_version=10,       # the ONNX version to export the model to
                  input_names = ['input'],         # the model's input names
                  output_names = ['class_label'])  # the model's output names

ONNX-Modell in Cloud Storage hochladen

Nachdem Sie das Modell gespeichert haben, gehen Sie so vor:

• Erstellen Sie einen Cloud Storage-Bucket zum Speichern des Modells.
• Laden Sie das ONNX-Modell in Ihren Cloud Storage-Bucket hoch.

Dataset erstellen

Erstellen Sie ein BigQuery-Dataset zum Speichern Ihres ML-Modells.

Console

1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

   Zur Seite "BigQuery"

2. Klicken Sie im Bereich Explorer auf den Namen Ihres Projekts.

3. Klicken Sie auf  Aktionen ansehen > Dataset erstellen.

4. Führen Sie auf der Seite Dataset erstellen die folgenden Schritte aus:

   • Geben Sie unter Dataset-ID bqml_tutorial ein.

   • Wählen Sie als Standorttyp die Option Mehrere Regionen und dann USA (mehrere Regionen in den USA) aus.

   • Übernehmen Sie die verbleibenden Standardeinstellungen unverändert und klicken Sie auf Dataset erstellen.

bq

Wenn Sie ein neues Dataset erstellen möchten, verwenden Sie den Befehl bq mk mit dem Flag --location. Eine vollständige Liste der möglichen Parameter finden Sie in der bq mk --dataset-Befehlsreferenz.

1. Erstellen Sie ein Dataset mit dem Namen bqml_tutorial, wobei der Datenspeicherort auf US und die Beschreibung auf BigQuery ML tutorial dataset festgelegt ist:

   bq --location=US mk -d \
    --description "BigQuery ML tutorial dataset." \
    bqml_tutorial

   Anstelle des Flags --dataset verwendet der Befehl die verkürzte Form -d. Wenn Sie -d und --dataset auslassen, wird standardmäßig ein Dataset erstellt.

2. Prüfen Sie, ob das Dataset erstellt wurde:

   bq ls

API

Rufen Sie die Methode datasets.insert mit einer definierten Dataset-Ressource auf.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

ONNX-Modell in BigQuery importieren

In den folgenden Schritten wird gezeigt, wie Sie das ONNX-Beispielmodell aus Cloud Storage in Ihr Dataset importieren. Dazu verwenden Sie die Anweisung CREATE MODEL.

Console

1. Öffnen Sie in der Google Cloud Console die Seite BigQuery Studio.

   Zu BigQuery Studio

2. Geben Sie im Abfrageeditor die folgende CREATE MODEL-Anweisung ein.

   CREATE OR REPLACE MODEL `bqml_tutorial.imported_onnx_model`
    OPTIONS (MODEL_TYPE='ONNX',
     MODEL_PATH='BUCKET_PATH')

   Ersetzen Sie BUCKET_PATH durch den Pfad zum Modell, das Sie in Cloud Storage hochgeladen haben. Wenn Sie das Beispielmodell verwenden, ersetzen Sie BUCKET_PATH durch den folgenden Wert: gs://cloud-samples-data/bigquery/ml/onnx/resnet18.onnx.

   Nach Abschluss des Vorgangs erhalten Sie in etwa folgende Meldung: Successfully created model named imported_onnx_model.

   Ihr neues Modell wird im Bereich Ressourcen angezeigt. Modelle sind am Modellsymbol  zu erkennen. Wenn Sie das neue Modell im Bereich Ressourcen auswählen, werden Informationen zum Modell neben dem Abfrageeditor angezeigt.

   

bq

1. Importieren Sie das ONNX-Modell aus Cloud Storage, indem Sie die folgende CREATE MODEL-Anweisung eingeben.

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL
     `bqml_tutorial.imported_onnx_model`
   OPTIONS
     (MODEL_TYPE='ONNX',
      MODEL_PATH='BUCKET_PATH')"

   Ersetzen Sie BUCKET_PATH durch den Pfad zum Modell, das Sie in Cloud Storage hochgeladen haben. Wenn Sie das Beispielmodell verwenden, ersetzen Sie BUCKET_PATH durch diesen Wert: gs://cloud-samples-data/bigquery/ml/onnx/resnet18.onnx.

2. Nachdem Sie das Modell importiert haben, prüfen Sie, ob es im Dataset angezeigt wird.

   bq ls -m bqml_tutorial

   Die Ausgabe sieht etwa so aus:

   tableId               Type
   --------------------- -------
   imported_onnx_model  MODEL

Weitere Informationen zum Importieren von ONNX-Modellen in BigQuery, einschließlich Format- und Speicheranforderungen, finden Sie unter Anweisung CREATE MODEL zum Importieren von ONNX-Modellen.

Objekttabelle in BigQuery zum Analysieren von Bilddaten erstellen

Eine Objekttabelle ist eine schreibgeschützte Tabelle über unstrukturierte Datenobjekte, die sich in Cloud Storage befinden. Mit Objekttabellen können Sie unstrukturierte Daten aus BigQuery analysieren.

In diesem Tutorial verwenden Sie die Funktion ML.PREDICT, um das vorhergesagte Klassenlabel eines Eingabebilds auszugeben, das in einem Cloud Storage-Bucket gespeichert ist.

So erstellen Sie die Objekttabelle:

• Cloud Storage-Bucket erstellen und ein Bild eines Goldfischs hochladen
• Erstellen Sie eine Cloud-Ressourcenverbindung, die für den Zugriff auf die Objekttabelle verwendet wird.
• Gewähren Sie Zugriff auf das Dienstkonto der Ressourcenverbindung.

Bucket erstellen und Bild hochladen

Gehen Sie so vor, um einen Cloud Storage-Bucket zu erstellen und ein Bild eines Goldfischs hochzuladen.

Console

Hinweis :Wenn Sie einen Bucket mit der Google Cloud Console erstellen, müssen Sie lediglich einen global eindeutigen Namen für den Bucket festlegen. Alle anderen Schritte sind entweder optional oder haben Standardeinstellungen.

1. Wechseln Sie in der Google Cloud Console unter „Cloud Storage“ zur Seite Buckets.
   

   Buckets aufrufen

2. Klicken Sie auf Erstellen.

3. Geben Sie auf der Seite Bucket erstellen die Bucket-Informationen ein.

   1. Führen Sie im Abschnitt Einstieg die folgenden Schritte aus:

      1. Geben Sie bqml_images in das Feld ein.

      2. Klicken Sie auf Weiter.

   2. Gehen Sie im Bereich Speicherort für Daten auswählen so vor:

      1. Wählen Sie unter Standorttyp die Option Mehrere Regionen aus.

      2. Wählen Sie im Menü des Standorttyps die Option USA (mehrere Regionen in den USA) aus.

      3. Klicken Sie auf Weiter.

   3. Führen Sie im Abschnitt Speicherklasse für Daten auswählen folgende Schritte aus:

      1. Wählen Sie Standardklasse festlegen aus.

      2. Wählen Sie Standard aus.

      3. Klicken Sie auf Weiter.

   4. Übernehmen Sie in den übrigen Abschnitten die Standardwerte.

4. Klicken Sie auf Erstellen.

Befehlszeile

Geben Sie den folgenden gcloud storage buckets create-Befehl ein:

gcloud storage buckets create gs://bqml_images --location=us

Wenn die Anfrage erfolgreich ist, gibt der Befehl die folgende Meldung zurück:

Creating gs://bqml_images/...

Bild in einen Cloud Storage-Bucket hochladen

Nachdem Sie den Bucket erstellt haben, laden Sie ein Bild eines Goldfischs herunter und laden Sie es in Ihren Cloud Storage-Bucket hoch.

Gehen Sie folgendermaßen vor, um das Bild hochzuladen:

Console

1. Wechseln Sie in der Google Cloud Console unter „Cloud Storage“ zur Seite Buckets.
   

   Buckets aufrufen

2. Klicken Sie in der Liste der Buckets auf bqml_images.

3. Führen Sie auf dem Tab Objekte für den Bucket einen der folgenden Schritte aus:

   • Ziehen Sie die Datei von Ihrem Desktop oder Dateimanager in den Hauptbereich der Google Cloud -Konsole.

   • Klicken Sie auf Hochladen > Dateien hochladen. Wählen Sie im angezeigten Dialogfeld die Bilddatei aus, die Sie hochladen möchten, und klicken Sie auf Öffnen.

Befehlszeile

Geben Sie den folgenden gcloud storage cp-Befehl ein:

gcloud storage cp OBJECT_LOCATION gs://bqml_images/IMAGE_NAME

Ersetzen Sie Folgendes:

• OBJECT_LOCATION: der lokale Pfad zu Ihrer Bilddatei. Beispiel: Desktop/goldfish.jpg.
• IMAGE_NAME: der Name des Images Beispiel: goldfish.jpg

Wenn der Vorgang erfolgreich war, sieht die Antwort in etwa so aus:

Completed files 1/1 | 164.3kiB/164.3kiB

BigQuery-Cloud-Ressourcenverbindung erstellen

Sie benötigen eine Cloud-Ressourcenverbindung, um eine Verbindung zur Objekttabelle herzustellen, die Sie später in dieser Anleitung erstellen.

Mit Cloud-Ressourcenverbindungen können Sie Daten abfragen, die außerhalb von BigQuery in Google Cloud -Diensten wie Cloud Storage oder Spanner oder in Drittanbieterquellen wie AWS oder Azure gespeichert sind. Für diese externen Verbindungen wird die BigQuery Connection API verwendet.

So erstellen Sie eine Verbindung zu Cloud-Ressourcen:

Console

1. Rufen Sie die Seite BigQuery Studio auf.

   Zu BigQuery Studio

2. Klicken Sie im linken Bereich auf  Explorer:

   

   Wenn Sie den linken Bereich nicht sehen, klicken Sie auf  Linken Bereich maximieren, um ihn zu öffnen.

3. Klicken Sie im Bereich Explorer auf Daten hinzufügen.

   Das Dialogfeld Daten hinzufügen wird geöffnet.

4. Wählen Sie im Bereich Filtern nach im Abschnitt Datenquellentyp die Option Datenbanken aus.

   Alternativ können Sie im Feld Nach Datenquellen suchen Vertex AI eingeben.

5. Klicken Sie im Abschnitt Empfohlene Datenquellen auf Vertex AI.

6. Klicken Sie auf die Lösungsübersichtskarte Vertex AI-Modelle: BigQuery Federation.

7. Wählen Sie in der Liste Verbindungstyp die Option Vertex AI-Remote-Modelle, Remote-Funktionen und BigLake (Cloud Resource) aus.

8. Geben Sie im Feld Verbindungs-ID bqml_tutorial ein.

9. Prüfen Sie, ob Mehrere Regionen – USA ausgewählt ist.

10. Klicken Sie auf Verbindung erstellen.

11. Klicken Sie unten im Fenster auf Zur Verbindung. Alternativ können Sie im Bereich Explorer auf Verbindungen und dann auf us.bqml_tutorial klicken.

12. Kopieren Sie im Bereich Verbindungsinformationen die Dienstkonto-ID. Sie benötigen diese ID, wenn Sie Berechtigungen für die Verbindung konfigurieren. Wenn Sie eine Verbindungsressource erstellen, erstellt BigQuery ein eindeutiges Systemdienstkonto und ordnet es der Verbindung zu.

bq

1. Verbindung herstellen:

   bq mk --connection --location=US --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE bqml_tutorial

   Ersetzen Sie PROJECT_ID durch IhreGoogle Cloud Projekt-ID. Der Parameter --project_id überschreibt das Standardprojekt.

   Wenn Sie eine Verbindungsressource herstellen, erstellt BigQuery ein eindeutiges Systemdienstkonto und ordnet es der Verbindung zu.

   Fehlerbehebung:Wird der folgende Verbindungsfehler angezeigt, aktualisieren Sie das Google Cloud SDK:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Rufen Sie die Dienstkonto-ID ab und kopieren Sie sie zur Verwendung in einem späteren Schritt:

   bq show --connection PROJECT_ID.us.bqml_tutorial

   Die Ausgabe sieht etwa so aus:

   name                          properties
   1234.REGION.CONNECTION_ID {"serviceAccountId": "[e-mail]"}
   

Verbindungszugriff einrichten

Weisen Sie dem Dienstkonto der Cloud-Ressourcenverbindung die Rolle „Storage-Objekt-Administrator“ zu. Sie müssen diese Rolle in demselben Projekt zuweisen, in dem Sie die Bilddateien hochgeladen haben.

Hinweis :Wenn sich die Verbindung in einem anderen Projekt befindet, wird dieser Fehler zurückgegeben: [e-mail] does not have the permission to access resource.

So weisen Sie die Rolle zu:

1. Zur Seite IAM & Verwaltung.

   IAM & Verwaltung aufrufen

2. Klicken Sie auf Zugriff gewähren.

3. Geben Sie im Feld Neue Hauptkonten die Dienstkonto-ID der Cloud-Ressourcenverbindung ein, die Sie zuvor kopiert haben.

4. Wählen Sie im Feld Rolle auswählen die Option Cloud Storage und dann Storage-Objekt-Administrator aus.

5. Klicken Sie auf Speichern.

Objekttabelle erstellen

Führen Sie die folgenden Schritte aus, um eine Objekttabelle mit dem Namen goldfish_image_table mit dem Goldfischbild zu erstellen, das Sie in Cloud Storage hochgeladen haben.

Console

1. Rufen Sie die Seite BigQuery Studio auf.

   Zu BigQuery Studio

2. Geben Sie im Abfrageeditor diese Abfrage ein, um die Objekttabelle zu erstellen.

   CREATE EXTERNAL TABLE `bqml_tutorial.goldfish_image_table`
   WITH CONNECTION `us.bqml_tutorial`
   OPTIONS(
   object_metadata = 'SIMPLE',
   uris = ['gs://bqml_images/IMAGE_NAME'],
   max_staleness = INTERVAL 1 DAY,
   metadata_cache_mode = 'AUTOMATIC');

   Ersetzen Sie IMAGE_NAME durch den Namen der Bilddatei, z. B. goldfish.jpg.

   Wenn der Vorgang abgeschlossen ist, wird eine Meldung wie This statement created a new table named goldfish_image_table angezeigt.

bq

1. Erstellen Sie die Objekttabelle, indem Sie die folgende CREATE EXTERNAL TABLE-Anweisung eingeben.

   bq query --use_legacy_sql=false \
   "CREATE EXTERNAL TABLE `bqml_tutorial.goldfish_image_table`
   WITH CONNECTION `us.bqml_tutorial`
   OPTIONS(
   object_metadata = 'SIMPLE',
   uris = ['gs://bqml_images/IMAGE_NAME'],
   max_staleness = INTERVAL 1 DAY,
   metadata_cache_mode = 'AUTOMATIC')"

   Ersetzen Sie IMAGE_NAME durch den Namen der Bilddatei, z. B. goldfish.jpg.

2. Nachdem Sie die Objekttabelle erstellt haben, prüfen Sie, ob sie im Dataset angezeigt wird.

   bq ls bqml_tutorial

   Die Ausgabe sieht etwa so aus:

   tableId               Type
   --------------------- --------
   goldfish_image_table  EXTERNAL

Weitere Informationen finden Sie unter Objekttabellen erstellen.

Vorhersagen mit dem importierten ONNX-Modell treffen

Wichtig:Sie benötigen eine Reservierung, um Vorhersagen mit importierten Modellen und Objekttabellen auszuführen. Weitere Informationen finden Sie unter Einschränkungen für importierte ONNX-Modelle.

Wenn Sie keine Reservierung haben, wird bei einer Abfrage mit ML.PREDICT der folgende Fehler ausgegeben: BigQuery ML inference using imported models and object tables requires a reservation, but no reservations were assigned for job type `QUERY`...`.

Mit der folgenden Abfrage, die die Funktion ML.PREDICT enthält, können Sie Vorhersagen aus Bilddaten in der Eingabeobjekttabelle goldfish_image_table treffen. Diese Abfrage gibt das vorhergesagte Klassenlabel des Eingabebildes basierend auf dem ImageNet-Label-Wörterbuch aus.

In der Abfrage ist die Funktion ML.DECODE_IMAGE erforderlich, um die Bilddaten zu decodieren, damit sie von ML.PREDICT interpretiert werden können. Die Funktion ML.RESIZE_IMAGE wird aufgerufen, um die Größe des Bildes an die Eingabegröße des Modells (224 × 224) anzupassen.

Weitere Informationen zum Ausführen von Inferenz für Bildobjekttabellen finden Sie unter Inferenz für Bildobjekttabellen ausführen.

So treffen Sie Vorhersagen anhand Ihrer Bilddaten:

Console

1. Rufen Sie die Seite BigQuery Studio auf.

   Zu BigQuery Studio

2. Geben Sie im Abfrageeditor die folgende ML.PREDICT-Abfrage ein.

    SELECT
      class_label
    FROM
      ML.PREDICT(MODEL bqml_tutorial.imported_onnx_model,
        (
        SELECT
          ML.RESIZE_IMAGE(ML.DECODE_IMAGE(DATA),
            224,
            224,
            FALSE) AS input
        FROM
          bqml_tutorial.goldfish_image_table))
    

   Die Abfrageergebnisse sehen in etwa so aus:

   

bq

Geben Sie den folgenden bq query-Befehl ein:

bq query --use_legacy_sql=false \
'SELECT
  class_label
FROM
  ML.PREDICT(MODEL `bqml_tutorial.imported_onnx_model`,
    (
    SELECT
      ML.RESIZE_IMAGE(ML.DECODE_IMAGE(DATA),
        224,
        224,
        FALSE) AS input
    FROM
      bqml_tutorial.goldfish_image_table))'