在本教學課程中,您會將 TensorFlow 模型匯入 BigQuery ML 資料集。接著,您可以使用 SQL 查詢,從匯入的模型進行預測。
建立資料集
建立 BigQuery 資料集來儲存機器學習模型。
控制台
前往 Google Cloud 控制台的「BigQuery」頁面。
在「Explorer」窗格中,按一下專案名稱。
依序點按
「View actions」(查看動作) >「Create dataset」(建立資料集)。在「建立資料集」頁面中,執行下列操作:
在「Dataset ID」(資料集 ID) 中輸入
bqml_tutorial
。針對「Location type」(位置類型) 選取「Multi-region」(多區域),然後選取「US (multiple regions in United States)」(us (多個美國區域))。
其餘設定請保留預設狀態,然後按一下「建立資料集」。
bq
如要建立新的資料集,請使用 bq mk
指令搭配 --location
旗標。如需可能的完整參數清單,請參閱 bq mk --dataset
指令參考資料。
建立名為「
bqml_tutorial
」的資料集,並將資料位置設為「US
」,說明則設為「BigQuery ML tutorial dataset
」:bq --location=US mk -d \ --description "BigQuery ML tutorial dataset." \ bqml_tutorial
這個指令採用
-d
捷徑,而不是使用--dataset
旗標。如果您省略-d
和--dataset
,該指令預設會建立資料集。確認資料集已建立完成:
bq ls
API
請呼叫 datasets.insert
方法,搭配已定義的資料集資源。
{ "datasetReference": { "datasetId": "bqml_tutorial" } }
BigQuery DataFrames
在嘗試這個範例之前,請按照使用 BigQuery DataFrames 的 BigQuery 快速入門導覽課程中的 BigQuery DataFrames 設定說明操作。 詳情請參閱 BigQuery DataFrames 參考說明文件。
如要驗證 BigQuery,請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定 ADC」。
匯入 TensorFlow 模型
下列步驟說明如何從 Cloud Storage 匯入模型。模型路徑為 gs://cloud-training-demos/txtclass/export/exporter/1549825580/*
。匯入的模型名稱為 imported_tf_model
。
請注意,Cloud Storage URI 的結尾是萬用字元 (*
)。這個字元表示 BigQuery ML 應匯入與模型相關聯的所有資產。
匯入的模型為 TensorFlow 文字分類程式模型,可預測發布特定文章標題的網站。
如要將 TensorFlow 模型匯入資料集,請按照下列步驟操作。
控制台
前往 Google Cloud 控制台的「BigQuery」頁面。
如要建立新項目,請按一下「SQL 查詢」。
在查詢編輯器中輸入這項
CREATE MODEL
陳述式,然後點選「執行」。CREATE OR REPLACE MODEL `bqml_tutorial.imported_tf_model` OPTIONS (MODEL_TYPE='TENSORFLOW', MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')
作業完成後,您應該會看到類似
Successfully created model named imported_tf_model
的訊息。新模型會顯示在「資源」面板中。模型會以模型圖示
來表示。
在「Resources」(資源) 面板中選取新模型,「Query editor」(查詢編輯器) 下方就會顯示該模型的相關資訊。
bq
輸入下列
CREATE MODEL
陳述式,從 Cloud Storage 匯入 TensorFlow 模型。bq query --use_legacy_sql=false \ "CREATE OR REPLACE MODEL `bqml_tutorial.imported_tf_model` OPTIONS (MODEL_TYPE='TENSORFLOW', MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')"
匯入模型後,請確認模型是否顯示在資料集中。
bq ls -m bqml_tutorial
輸出結果會與下列內容相似:
tableId Type ------------------- ------- imported_tf_model MODEL
API
插入新工作,並在要求主體中填入 jobs#configuration.query 屬性。
{ "query": "CREATE MODEL `PROJECT_ID:bqml_tutorial.imported_tf_model` OPTIONS(MODEL_TYPE='TENSORFLOW' MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')" }
將 PROJECT_ID
替換為您的專案和資料集名稱。
BigQuery DataFrames
在嘗試這個範例之前,請按照使用 BigQuery DataFrames 的 BigQuery 快速入門導覽課程中的 BigQuery DataFrames 設定說明操作。 詳情請參閱 BigQuery DataFrames 參考說明文件。
如要驗證 BigQuery,請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定 ADC」。
使用 TensorFlowModel
物件匯入模型。
如要進一步瞭解如何將 TensorFlow 模型匯入 BigQuery ML,包括格式和儲存空間需求,請參閱CREATE MODEL
陳述式,瞭解如何匯入 TensorFlow 模型。
使用匯入的 TensorFlow 模型進行預測
匯入 TensorFlow 模型後,您可以使用 ML.PREDICT
函式,透過模型進行預測。
以下查詢會使用 imported_tf_model
,根據公開資料集 hacker_news
中 full
資料表的輸入資料進行預測。在查詢中,TensorFlow 模型的 serving_input_fn
函式會指定模型預期一個名為「input」的輸入字串,input
子查詢會將別名 input
指派給子查詢 SELECT
陳述式中的 title
資料欄。
如要使用匯入的 TensorFlow 模型進行預測,請按照下列步驟操作。
控制台
前往 Google Cloud 控制台的「BigQuery」頁面。
在「建立新項目」下方,按一下「SQL 查詢」。
在查詢編輯器中,輸入使用
ML.PREDICT
函式的查詢。SELECT * FROM ML.PREDICT(MODEL `bqml_tutorial.imported_tf_model`, ( SELECT title AS input FROM bigquery-public-data.hacker_news.full ) )
查詢結果應如下所示:
bq
輸入下列指令,執行使用 ML.PREDICT
的查詢。
bq query \ --use_legacy_sql=false \ 'SELECT * FROM ML.PREDICT( MODEL `bqml_tutorial.imported_tf_model`, (SELECT title AS input FROM `bigquery-public-data.hacker_news.full`))'
結果應如下所示:
+------------------------------------------------------------------------+----------------------------------------------------------------------------------+ | dense_1 | input | +------------------------------------------------------------------------+----------------------------------------------------------------------------------+ | ["0.6251608729362488","0.2989124357700348","0.07592673599720001"] | How Red Hat Decides Which Open Source Companies t... | | ["0.014276246540248394","0.972910463809967","0.01281337533146143"] | Ask HN: Toronto/GTA mastermind around side income for big corp. dev? | | ["0.9821603298187256","1.8601855117594823E-5","0.01782100833952427"] | Ask HN: What are good resources on strategy and decision making for your career? | | ["0.8611106276512146","0.06648492068052292","0.07240450382232666"] | Forget about promises, use harvests | +------------------------------------------------------------------------+----------------------------------------------------------------------------------+
API
插入新工作並填入 jobs#configuration.query 屬性,如下列要求主體所示:將 project_id
替換為您的專案名稱。
{ "query": "SELECT * FROM ML.PREDICT(MODEL `project_id.bqml_tutorial.imported_tf_model`, (SELECT * FROM input_data))" }
BigQuery DataFrames
在嘗試這個範例之前,請按照使用 BigQuery DataFrames 的 BigQuery 快速入門導覽課程中的 BigQuery DataFrames 設定說明操作。 詳情請參閱 BigQuery DataFrames 參考說明文件。
如要驗證 BigQuery,請設定應用程式預設憑證。 詳情請參閱「為本機開發環境設定 ADC」。
使用 predict
函式執行 TensorFlow 模型:
結果應如下所示:
在查詢結果中,dense_1
資料欄包含機率值陣列,input
資料欄則包含輸入資料表中的對應字串值。每個陣列元素值表示相應輸入字串是某出版內容中的文章標題的機率。