In dieser Anleitung importieren Sie TensorFlow-Modelle in ein BigQuery ML-Dataset. Anschließend verwenden Sie eine SQL-Abfrage, um Vorhersagen aus den importierten Modellen zu treffen.
Dataset erstellen
Erstellen Sie ein BigQuery-Dataset zum Speichern Ihres ML-Modells.
Console
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Klicken Sie im Bereich Explorer auf den Namen Ihres Projekts.
Klicken Sie auf
Aktionen ansehen > Dataset erstellen.Führen Sie auf der Seite Dataset erstellen die folgenden Schritte aus:
Geben Sie unter Dataset-ID
bqml_tutorial
ein.Wählen Sie als Standorttyp die Option Mehrere Regionen und dann USA (mehrere Regionen in den USA) aus.
Übernehmen Sie die verbleibenden Standardeinstellungen unverändert und klicken Sie auf Dataset erstellen.
bq
Wenn Sie ein neues Dataset erstellen möchten, verwenden Sie den Befehl bq mk
mit dem Flag --location
. Eine vollständige Liste der möglichen Parameter finden Sie in der bq mk --dataset
-Befehlsreferenz.
Erstellen Sie ein Dataset mit dem Namen
bqml_tutorial
, wobei der Datenspeicherort aufUS
und die Beschreibung aufBigQuery ML tutorial dataset
festgelegt ist:bq --location=US mk -d \ --description "BigQuery ML tutorial dataset." \ bqml_tutorial
Anstelle des Flags
--dataset
verwendet der Befehl die verkürzte Form-d
. Wenn Sie-d
und--dataset
auslassen, wird standardmäßig ein Dataset erstellt.Prüfen Sie, ob das Dataset erstellt wurde:
bq ls
API
Rufen Sie die Methode datasets.insert
mit einer definierten Dataset-Ressource auf.
{ "datasetReference": { "datasetId": "bqml_tutorial" } }
BigQuery DataFrames
Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.
TensorFlow-Modell importieren
In den folgenden Schritten wird beschrieben, wie Sie ein Modell aus Cloud Storage importieren.
Der Pfad zum Modell ist gs://cloud-training-demos/txtclass/export/exporter/1549825580/*
. Der Name des importierten Modells ist imported_tf_model
.
Der Cloud Storage-URI endet mit einem Platzhalterzeichen (*
). Dieses Zeichen gibt an, dass BigQuery ML alle mit dem Modell verknüpften Assets importieren soll.
Das importierte Modell ist ein TensorFlow-Textklassifizierungsmodell, das vorhersagt, auf welcher Website ein bestimmter Artikeltitel veröffentlicht wurde.
So importieren Sie das TensorFlow-Modell in Ihr Dataset:
Console
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Klicken Sie unter Neu erstellen auf SQL-Abfrage.
Geben Sie im Abfrageeditor diese
CREATE MODEL
-Anweisung ein und klicken Sie dann auf Ausführen.CREATE OR REPLACE MODEL `bqml_tutorial.imported_tf_model` OPTIONS (MODEL_TYPE='TENSORFLOW', MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')
Wenn der Vorgang abgeschlossen ist, sollte eine Meldung wie
Successfully created model named imported_tf_model
angezeigt werden.Ihr neues Modell wird im Bereich Ressourcen angezeigt. Modelle sind am Modellsymbol
zu erkennen.
Wenn Sie das neue Modell im Feld Ressourcen auswählen, werden Informationen zum Modell unter dem Abfrageeditor angezeigt.
bq
Importieren Sie das TensorFlow-Modell aus Cloud Storage, indem Sie die folgende
CREATE MODEL
-Anweisung eingeben.bq query --use_legacy_sql=false \ "CREATE OR REPLACE MODEL `bqml_tutorial.imported_tf_model` OPTIONS (MODEL_TYPE='TENSORFLOW', MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')"
Nachdem Sie das Modell importiert haben, prüfen Sie, ob es im Dataset angezeigt wird.
bq ls -m bqml_tutorial
Die Ausgabe sieht etwa so aus:
tableId Type ------------------- ------- imported_tf_model MODEL
API
Fügen Sie einen neuen Job ein und geben Sie das Attribut jobs#configuration.query im Anfragetext an.
{ "query": "CREATE MODEL `PROJECT_ID:bqml_tutorial.imported_tf_model` OPTIONS(MODEL_TYPE='TENSORFLOW' MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')" }
Ersetzen Sie PROJECT_ID
durch den Namen Ihres Projekts und Datasets.
BigQuery DataFrames
Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.
Importieren Sie das Modell mit dem TensorFlowModel
-Objekt.
Weitere Informationen zum Importieren von TensorFlow-Modellen in BigQuery ML, einschließlich Format- und Speicheranforderungen, finden Sie unter CREATE MODEL
-Anweisung zum Importieren von TensorFlow-Modellen.
Vorhersagen mit dem importierten TensorFlow-Modell treffen
Nachdem Sie das TensorFlow-Modell importiert haben, verwenden Sie die Funktion ML.PREDICT
, um Vorhersagen mit dem Modell zu treffen.
In der folgenden Abfrage wird imported_tf_model
verwendet, um Vorhersagen anhand von Eingabedaten aus der Tabelle full
im öffentlichen Dataset hacker_news
zu treffen. In der Abfrage gibt die Funktion serving_input_fn
des TensorFlow-Modells an, dass das Modell einen einzelnen Eingabestring mit dem Namen input
erwartet. In der Unterabfrage wird der Alias input
der Spalte title
in der SELECT
-Anweisung der Unterabfrage zugewiesen.
Führen Sie die folgenden Schritte aus, um Vorhersagen mit dem importierten TensorFlow-Modell zu treffen.
Console
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Klicken Sie unter Neu erstellen auf SQL-Abfrage.
Geben Sie im Abfrageeditor diese Abfrage mit der Funktion
ML.PREDICT
ein.SELECT * FROM ML.PREDICT(MODEL `bqml_tutorial.imported_tf_model`, ( SELECT title AS input FROM bigquery-public-data.hacker_news.full ) )
Die Abfrageergebnisse sollten so aussehen:
bq
Geben Sie den folgenden Befehl ein, um die Abfrage mit ML.PREDICT
auszuführen.
bq query \ --use_legacy_sql=false \ 'SELECT * FROM ML.PREDICT( MODEL `bqml_tutorial.imported_tf_model`, (SELECT title AS input FROM `bigquery-public-data.hacker_news.full`))'
Die Ergebnisse sollten so aussehen:
+------------------------------------------------------------------------+----------------------------------------------------------------------------------+ | dense_1 | input | +------------------------------------------------------------------------+----------------------------------------------------------------------------------+ | ["0.6251608729362488","0.2989124357700348","0.07592673599720001"] | How Red Hat Decides Which Open Source Companies t... | | ["0.014276246540248394","0.972910463809967","0.01281337533146143"] | Ask HN: Toronto/GTA mastermind around side income for big corp. dev? | | ["0.9821603298187256","1.8601855117594823E-5","0.01782100833952427"] | Ask HN: What are good resources on strategy and decision making for your career? | | ["0.8611106276512146","0.06648492068052292","0.07240450382232666"] | Forget about promises, use harvests | +------------------------------------------------------------------------+----------------------------------------------------------------------------------+
API
Fügen Sie einen neuen Job ein und geben Sie das Attribut jobs#configuration.query wie im Anfragetext an. Ersetzen Sie project_id
durch den Namen Ihres Projekts.
{ "query": "SELECT * FROM ML.PREDICT(MODEL `project_id.bqml_tutorial.imported_tf_model`, (SELECT * FROM input_data))" }
BigQuery DataFrames
Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.
Verwenden Sie die Funktion predict
, um das TensorFlow-Modell auszuführen:
Die Ergebnisse sollten so aussehen:
In den Abfrageergebnissen enthält die Spalte dense_1
ein Array von Wahrscheinlichkeitswerten und die Spalte input
die entsprechenden Stringwerte aus der Eingabetabelle. Jeder Elementwert des Arrays stellt die Wahrscheinlichkeit dar, dass der entsprechende Eingabestring ein Artikeltitel aus einer bestimmten Publikation ist.