Membuat prediksi dengan model scikit-learn dalam format ONNX

Tutorial ini menunjukkan cara mengimpor model Open Neural Network Exchange (ONNX) yang dilatih dengan scikit-learn. Anda mengimpor model ke set data BigQuery dan menggunakannya untuk membuat prediksi menggunakan kueri SQL.

ONNX menyediakan format seragam yang dirancang untuk merepresentasikan framework machine learning (ML) apa pun. Dengan dukungan ML BigQuery untuk ONNX, Anda dapat melakukan hal berikut:

• Melatih model menggunakan framework favorit Anda.
• Mengonversi model ke format model ONNX.
• Impor model ONNX ke BigQuery dan buat prediksi menggunakan BigQuery ML.

Tujuan

• Buat dan latih model menggunakan scikit-learn.
• Konversi model ke format ONNX menggunakan sklearn-onnx.
• Gunakan pernyataan CREATE MODEL untuk mengimpor model ONNX ke BigQuery.
• Gunakan fungsi ML.PREDICT untuk membuat prediksi dengan model ONNX yang diimpor.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen Google Cloudyang dapat ditagih berikut:

• BigQuery
• BigQuery ML
• Cloud Storage

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Pengguna Google Cloud baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Setelah menyelesaikan tugas yang dijelaskan dalam dokumen ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk mengetahui informasi selengkapnya, baca bagian Pembersihan.

Sebelum memulai

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

1. Verifikasi bahwa penagihan diaktifkan untuk project Google Cloud Anda.

2. Aktifkan BigQuery dan Cloud Storage API.

   Peran yang diperlukan untuk mengaktifkan API

   Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

   Aktifkan API

3. Pastikan Anda memiliki izin yang diperlukan untuk melakukan tugas dalam dokumen ini.

Peran yang diperlukan

Jika membuat project baru, Anda adalah pemilik project, dan Anda diberi semua izin Identity and Access Management (IAM) yang diperlukan untuk menyelesaikan tutorial ini.

Jika Anda menggunakan project yang sudah ada, lakukan hal berikut.

Pastikan Anda memiliki peran berikut di project:

• Admin BigQuery Studio (roles/bigquery.studioAdmin)
• Storage Object Creator (roles/storage.objectCreator)

Memeriksa peran

1. Di konsol Google Cloud , buka halaman IAM.

   Buka IAM
2. Pilih project.

3. Di kolom Principal, temukan semua baris yang mengidentifikasi Anda atau grup yang Anda termasuk di dalamnya. Untuk mengetahui grup mana saja yang Anda ikuti, hubungi administrator Anda.

4. Untuk semua baris yang menentukan atau menyertakan Anda, periksa kolom Peran untuk melihat apakah daftar peran menyertakan peran yang diperlukan.

Memberikan peran

1. Di konsol Google Cloud , buka halaman IAM.

   Buka IAM
2. Pilih project.
3. Klik Grant access.

4. Di kolom New principals, masukkan ID pengguna Anda. Biasanya, ini adalah alamat email untuk Akun Google.

5. Klik Pilih peran, lalu telusuri peran.
6. Untuk memberikan peran tambahan, klik Add another role, lalu tambahkan tiap peran tambahan.
7. Klik Simpan.

Untuk mengetahui informasi selengkapnya tentang izin IAM di BigQuery, lihat Izin IAM.

Opsional: Melatih model dan mengonversinya ke format ONNX

Contoh kode berikut menunjukkan cara melatih model klasifikasi dengan scikit-learn dan cara mengonversi pipeline yang dihasilkan ke format ONNX. Tutorial ini menggunakan contoh model bawaan yang disimpan di gs://cloud-samples-data/bigquery/ml/onnx/pipeline_rf.onnx. Anda tidak harus menyelesaikan langkah-langkah ini jika menggunakan model contoh.

Melatih model klasifikasi dengan scikit-learn

Gunakan contoh kode berikut untuk membuat dan melatih pipeline scikit-learn di set data Iris. Untuk mengetahui petunjuk tentang cara menginstal dan menggunakan scikit-learn, lihat panduan penginstalan scikit-learn.

import numpy
from sklearn.datasets import load_iris
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import RandomForestClassifier

data = load_iris()
X = data.data[:, :4]
y = data.target

ind = numpy.arange(X.shape[0])
numpy.random.shuffle(ind)
X = X[ind, :].copy()
y = y[ind].copy()

pipe = Pipeline([('scaler', StandardScaler()),
                ('clr', RandomForestClassifier())])
pipe.fit(X, y)

Catatan: Pipeline scikit-learn memungkinkan Anda menyertakan model dari library lain seperti LightGBM dan XGBoost, yang dapat dikonversi ke ONNX oleh sklearn-onnx. Untuk informasi selengkapnya, lihat Mengonversi pipeline dan Menggunakan pengonversi dari library lain.

Mengonversi pipeline menjadi model ONNX

Gunakan contoh kode berikut di sklearn-onnx untuk mengonversi pipeline scikit-learn menjadi model ONNX yang diberi nama pipeline_rf.onnx.

from skl2onnx import convert_sklearn
from skl2onnx.common.data_types import FloatTensorType

# Disable zipmap as it is not supported in BigQuery ML.
options = {id(pipe): {'zipmap': False}}

# Define input features. scikit-learn does not store information about the
# training dataset. It is not always possible to retrieve the number of features
# or their types. That's why the function needs another argument called initial_types.
initial_types = [
   ('sepal_length', FloatTensorType([None, 1])),
   ('sepal_width', FloatTensorType([None, 1])),
   ('petal_length', FloatTensorType([None, 1])),
   ('petal_width', FloatTensorType([None, 1])),
]

# Convert the model.
model_onnx = convert_sklearn(
   pipe, 'pipeline_rf', initial_types=initial_types, options=options
)

# And save.
with open('pipeline_rf.onnx', 'wb') as f:
 f.write(model_onnx.SerializeToString())

Mengupload model ONNX ke Cloud Storage

Setelah Anda menyimpan model, lakukan hal berikut:

• Buat bucket Cloud Storage untuk menyimpan model.
• Upload model ONNX ke bucket Cloud Storage Anda.

Membuat set data

Buat set data BigQuery untuk menyimpan model ML Anda.

Konsol

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka halaman BigQuery

2. Di panel Explorer, klik nama project Anda.

3. Klik View actions > Create dataset.

4. Di halaman Create dataset, lakukan hal berikut:

   • Untuk Dataset ID, masukkan bqml_tutorial.

   • Untuk Location type, pilih Multi-region, lalu pilih US.

   • Jangan ubah setelan default yang tersisa, lalu klik Create dataset.

bq

Untuk membuat set data baru, gunakan perintah bq mk --dataset.

1. Buat set data bernama bqml_tutorial dengan lokasi data ditetapkan ke US.

   bq mk --dataset \
     --location=US \
     --description "BigQuery ML tutorial dataset." \
     bqml_tutorial

2. Pastikan set data telah dibuat:

   bq ls

API

Panggil metode datasets.insert dengan resource set data yang ditentukan.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan BigQuery DataFrames di Panduan memulai BigQuery menggunakan BigQuery DataFrames. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi BigQuery DataFrames.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Mengimpor model ONNX ke BigQuery

Langkah-langkah berikut menunjukkan cara mengimpor model ONNX contoh dari Cloud Storage menggunakan pernyataan CREATE MODEL.

Untuk mengimpor model ONNX ke set data Anda, pilih salah satu opsi berikut:

Konsol

1. Di konsol Google Cloud , buka halaman BigQuery Studio.

   Buka BigQuery Studio

2. Di editor kueri, masukkan pernyataan CREATE MODEL berikut.

    CREATE OR REPLACE MODEL `bqml_tutorial.imported_onnx_model`
     OPTIONS (MODEL_TYPE='ONNX',
      MODEL_PATH='BUCKET_PATH')

   Ganti BUCKET_PATH dengan jalur ke model yang Anda upload ke Cloud Storage. Jika Anda menggunakan model sampel, ganti BUCKET_PATH dengan nilai berikut: gs://cloud-samples-data/bigquery/ml/onnx/pipeline_rf.onnx.

   Setelah operasi selesai, Anda akan melihat pesan yang mirip dengan berikut: Successfully created model named imported_onnx_model.

   Model baru Anda akan muncul di panel Resources. Model ditunjukkan dengan ikon model: Jika Anda memilih model baru di panel Resources, informasi tentang model akan muncul di samping Query editor.

   

bq

1. Impor model ONNX dari Cloud Storage dengan memasukkan pernyataan CREATE MODEL berikut.

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL
   `bqml_tutorial.imported_onnx_model`
   OPTIONS
   (MODEL_TYPE='ONNX',
     MODEL_PATH='BUCKET_PATH')"

   Ganti BUCKET_PATH dengan jalur ke model yang Anda upload ke Cloud Storage. Jika Anda menggunakan model sampel, ganti BUCKET_PATH dengan nilai berikut: gs://cloud-samples-data/bigquery/ml/onnx/pipeline_rf.onnx.

   Setelah operasi selesai, Anda akan melihat pesan yang mirip dengan berikut: Successfully created model named imported_onnx_model.

2. Setelah mengimpor model, verifikasi bahwa model muncul di set data.

   bq ls -m bqml_tutorial

   Outputnya mirip dengan hal berikut ini:

   tableId               Type
   --------------------- -------
   imported_onnx_model  MODEL

BigQuery DataFrames

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan BigQuery DataFrames di Panduan memulai BigQuery menggunakan BigQuery DataFrames. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi BigQuery DataFrames.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.

Impor model menggunakan objek ONNXModel.

import bigframes
from bigframes.ml.imported import ONNXModel

bigframes.options.bigquery.project = PROJECT_ID
# You can change the location to one of the valid locations: https://cloud.google.com/bigquery/docs/locations#supported_locations
bigframes.options.bigquery.location = "US"

imported_onnx_model = ONNXModel(
    model_path="gs://cloud-samples-data/bigquery/ml/onnx/pipeline_rf.onnx"
)

Untuk mengetahui informasi selengkapnya tentang cara mengimpor model ONNX ke BigQuery, termasuk persyaratan format dan penyimpanan, lihat Pernyataan CREATE MODEL untuk mengimpor model ONNX.

Membuat prediksi dengan model ONNX yang diimpor

Setelah mengimpor model ONNX, Anda menggunakan fungsi ML.PREDICT untuk membuat prediksi dengan model.

Kueri dalam langkah-langkah berikut menggunakan imported_onnx_model untuk membuat prediksi menggunakan data input dari tabel iris dalam set data publik ml_datasets. Model ONNX mengharapkan empat nilai FLOAT sebagai input:

• sepal_length
• sepal_width
• petal_length
• petal_width

Input ini cocok dengan initial_types yang ditentukan saat Anda mengonversi model ke format ONNX.

Output mencakup kolom label dan probabilities, serta kolom dari tabel input. label merepresentasikan label class yang diprediksi. probabilities adalah array probabilitas yang mewakili probabilitas untuk setiap class.

Untuk membuat prediksi dengan model ONNX yang diimpor, pilih salah satu opsi berikut:

Konsol

1. Buka halaman BigQuery Studio.

   Buka BigQuery Studio

2. Di editor kueri, masukkan kueri ini yang menggunakan fungsi ML.PREDICT.

   SELECT *
     FROM ML.PREDICT(MODEL `bqml_tutorial.imported_onnx_model`,
       (
       SELECT * FROM `bigquery-public-data.ml_datasets.iris`
       )
   )

   Hasil kuerinya mirip dengan berikut ini:

   

bq

Jalankan kueri yang menggunakan ML.PREDICT.

bq query --use_legacy_sql=false \
'SELECT *
FROM ML.PREDICT(
MODEL `example_dataset.imported_onnx_model`,
(SELECT * FROM `bigquery-public-data.ml_datasets.iris`))'

BigQuery DataFrames

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan BigQuery DataFrames di Panduan memulai BigQuery menggunakan BigQuery DataFrames. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi BigQuery DataFrames.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.

Gunakan fungsi predict untuk menjalankan model ONNX.

import bigframes.pandas as bpd

df = bpd.read_gbq("bigquery-public-data.ml_datasets.iris")
predictions = imported_onnx_model.predict(df)
predictions.peek(5)

Hasilnya mirip dengan berikut ini:

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Menghapus project

Konsol

Perhatian: Penghapusan project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di Konsol Google Cloud , buka halaman Manage resources.

   Buka Kelola resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

gcloud

Perhatian: Penghapusan project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

Menghapus Google Cloud project:

gcloud projects delete PROJECT_ID

Menghapus resource satu per satu

Atau, untuk menghapus setiap resource yang digunakan dalam tutorial ini, lakukan langkah-langkah berikut:

1. Hapus model yang diimpor.

2. Opsional: Hapus set data.

Langkah berikutnya

• Untuk mengetahui informasi selengkapnya tentang cara mengimpor model ONNX, lihat Pernyataan CREATE MODEL untuk model ONNX.
• Untuk informasi selengkapnya tentang alat konversi dan tutorial ONNX yang tersedia, lihat Mengonversi ke format ONNX.
• Untuk ringkasan BigQuery ML, lihat Pengantar BigQuery ML.
• Untuk mulai menggunakan BigQuery ML, lihat Membuat model machine learning di BigQuery ML.