Membuat prediksi dengan model PyTorch dalam format ONNX

Open Neural Network Exchange (ONNX) menyediakan format seragam yang dirancang untuk merepresentasikan framework machine learning mana pun. Dengan dukungan BigQuery ML untuk ONNX, Anda dapat:

• Melatih model menggunakan framework favorit Anda.
• Mengonversi model ke format model ONNX.
• Impor model ONNX ke BigQuery dan buat prediksi menggunakan BigQuery ML.

Tutorial ini menunjukkan cara mengimpor model ONNX yang dilatih dengan PyTorch ke dalam set data BigQuery dan menggunakannya untuk membuat prediksi dari kueri SQL.

Penting: Anda harus memiliki reservasi untuk menjalankan prediksi menggunakan model yang diimpor dan tabel objek. Untuk mengetahui informasi selengkapnya, lihat Batasan pada model ONNX yang diimpor.

Opsional: Melatih model dan mengonversinya ke format ONNX

Contoh kode berikut menunjukkan cara mengimpor model klasifikasi terlatih ke PyTorch dan cara mengonversi model yang dihasilkan ke format ONNX. Tutorial ini menggunakan contoh model bawaan yang disimpan di gs://cloud-samples-data/bigquery/ml/onnx/resnet18.onnx. Anda tidak harus menyelesaikan langkah-langkah ini jika menggunakan model contoh.

Membuat model visi PyTorch untuk klasifikasi gambar

Gunakan contoh kode berikut untuk mengimpor model resnet18 PyTorch terlatih yang menerima data gambar dari hasil dekode BigQuery ML ML.DECODE_IMAGE dan fungsi ML.RESIZE_IMAGE.

import torch
import torch.nn as nn

# Define model input format to match the output format of
# ML.DECODE_IMAGE function: [height, width, channels]
dummy_input = torch.randn(1, 224, 224, 3, device="cpu")

# Load a pretrained pytorch model for image classification
model = torch.hub.load('pytorch/vision:v0.10.0', 'resnet18', pretrained=True)

# Reshape input format from [batch_size, height, width, channels]
# to [batch_size, channels, height, width]
class ReshapeLayer(nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
        x = x.permute(0, 3, 1, 2)  # reorder dimensions
        return x

class ArgMaxLayer(nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
       return torch.argmax(x, dim=1)

final_model = nn.Sequential(
    ReshapeLayer(),
    model,
    nn.Softmax(),
    ArgMaxLayer()
)

Mengonversi model ke format ONNX

Gunakan contoh berikut untuk mengekspor model visi PyTorch menggunakan torch.onnx. File ONNX yang diekspor diberi nama resnet18.onnx.

torch.onnx.export(final_model,            # model being run
                  dummy_input,            # model input
                  "resnet18.onnx",        # where to save the model
                  opset_version=10,       # the ONNX version to export the model to
                  input_names = ['input'],         # the model's input names
                  output_names = ['class_label'])  # the model's output names

Mengupload model ONNX ke Cloud Storage

Setelah menyimpan model, lakukan hal berikut:

• Buat bucket Cloud Storage untuk menyimpan model.
• Upload model ONNX ke bucket Cloud Storage Anda.

Membuat set data

Buat set data BigQuery untuk menyimpan model ML Anda.

Konsol

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka halaman BigQuery

2. Di panel Explorer, klik nama project Anda.

3. Klik View actions > Create dataset.

4. Di halaman Create dataset, lakukan hal berikut:

   • Untuk Dataset ID, masukkan bqml_tutorial.

   • Untuk Location type, pilih Multi-region, lalu pilih US (multiple regions in United States).

   • Jangan ubah setelan default yang tersisa, lalu klik Create dataset.

bq

Untuk membuat set data baru, gunakan perintah bq mk dengan flag --location. Untuk daftar lengkap kemungkinan parameter, lihat referensi perintah bq mk --dataset.

1. Buat set data bernama bqml_tutorial dengan lokasi data yang ditetapkan ke US dan deskripsi BigQuery ML tutorial dataset:

   bq --location=US mk -d \
    --description "BigQuery ML tutorial dataset." \
    bqml_tutorial

   Perintah ini menggunakan pintasan -d, bukan flag --dataset. Jika Anda menghapus -d dan --dataset, perintah defaultnya adalah membuat set data.

2. Pastikan set data telah dibuat:

   bq ls

API

Panggil metode datasets.insert dengan resource set data yang ditentukan.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan BigQuery DataFrames di Panduan memulai BigQuery menggunakan BigQuery DataFrames. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi BigQuery DataFrames.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Mengimpor model ONNX ke BigQuery

Langkah-langkah berikut menunjukkan cara mengimpor model ONNX contoh dari Cloud Storage ke dalam set data Anda menggunakan pernyataan CREATE MODEL.

Konsol

1. Di konsol Google Cloud , buka halaman BigQuery Studio.

   Buka BigQuery Studio

2. Di editor kueri, masukkan pernyataan CREATE MODEL berikut.

   CREATE OR REPLACE MODEL `bqml_tutorial.imported_onnx_model`
    OPTIONS (MODEL_TYPE='ONNX',
     MODEL_PATH='BUCKET_PATH')

   Ganti BUCKET_PATH dengan jalur ke model yang Anda upload ke Cloud Storage. Jika Anda menggunakan model sampel, ganti BUCKET_PATH dengan nilai berikut: gs://cloud-samples-data/bigquery/ml/onnx/resnet18.onnx.

   Setelah operasi selesai, Anda akan melihat pesan yang mirip dengan berikut: Successfully created model named imported_onnx_model.

   Model baru Anda akan muncul di panel Resources. Model ditunjukkan dengan ikon model: Jika Anda memilih model baru di panel Resources, informasi tentang model akan muncul di samping Query editor.

   

bq

1. Impor model ONNX dari Cloud Storage dengan memasukkan pernyataan CREATE MODEL berikut.

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL
     `bqml_tutorial.imported_onnx_model`
   OPTIONS
     (MODEL_TYPE='ONNX',
      MODEL_PATH='BUCKET_PATH')"

   Ganti BUCKET_PATH dengan jalur ke model yang Anda upload ke Cloud Storage. Jika Anda menggunakan model sampel, ganti BUCKET_PATH dengan nilai ini: gs://cloud-samples-data/bigquery/ml/onnx/resnet18.onnx.

2. Setelah mengimpor model, verifikasi bahwa model muncul di set data.

   bq ls -m bqml_tutorial

   Outputnya mirip dengan hal berikut ini:

   tableId               Type
   --------------------- -------
   imported_onnx_model  MODEL

Untuk mengetahui informasi selengkapnya tentang cara mengimpor model ONNX ke BigQuery, termasuk persyaratan format dan penyimpanan, lihat Pernyataan CREATE MODEL untuk mengimpor model ONNX.

Membuat tabel objek di BigQuery untuk menganalisis data gambar

Tabel objek adalah tabel hanya baca di atas objek data tidak terstruktur yang berada di Cloud Storage. Tabel objek memungkinkan Anda menganalisis data tidak terstruktur dari BigQuery.

Dalam tutorial ini, Anda akan menggunakan fungsi ML.PREDICT untuk menampilkan label kelas yang diprediksi dari gambar input yang disimpan dalam bucket Cloud Storage.

Untuk membuat tabel objek, Anda harus melakukan hal berikut:

• Buat bucket Cloud Storage dan upload gambar ikan mas.
• Buat koneksi resource Cloud yang digunakan untuk mengakses tabel objek.
• Beri akses ke akun layanan koneksi resource.

Membuat bucket dan mengupload gambar

Ikuti langkah-langkah berikut untuk membuat bucket Cloud Storage dan mengupload gambar ikan mas.

Konsol

Catatan: Saat membuat bucket menggunakan konsol Google Cloud , Anda hanya perlu menetapkan nama yang unik secara global untuk bucket Anda; semua langkah lainnya bersifat opsional atau memiliki setelan default.

1. Di Google Cloud konsol, buka halaman Bucket Cloud Storage.
   

   Buka Buckets

2. Klik Create.

3. Di halaman Buat bucket, masukkan informasi bucket Anda.

   1. Di bagian Mulai, lakukan tindakan berikut:

      1. Di kotak, masukkan bqml_images.

      2. Klik Lanjutkan.

   2. Di bagian Pilih lokasi untuk menyimpan data Anda, lakukan hal berikut:

      1. Untuk Jenis lokasi, pilih Multi-region.

      2. Dari menu jenis lokasi, pilih US (multiple regions in United States).

      3. Klik Lanjutkan.

   3. Di bagian Pilih kelas penyimpanan untuk data Anda:

      1. Pilih Tetapkan kelas default.

      2. Pilih Standard.

      3. Klik Lanjutkan.

   4. Di bagian yang tersisa, biarkan nilai default.

4. Klik Buat.

Command line

Masukkan perintah gcloud storage buckets create berikut:

gcloud storage buckets create gs://bqml_images --location=us

Jika permintaan berhasil, perintah akan menampilkan pesan berikut ini:

Creating gs://bqml_images/...

Mengupload gambar ke bucket Cloud Storage Anda

Setelah bucket dibuat, download gambar ikan mas, lalu upload ke bucket Cloud Storage Anda.

Selesaikan langkah-langkah berikut untuk mengupload gambar:

Konsol

1. Di Google Cloud konsol, buka halaman Bucket Cloud Storage.
   

   Buka Buckets

2. Dalam daftar bucket, klik bqml_images.

3. Di tab Objek untuk bucket, lakukan salah satu hal berikut:

   • Tarik file dari desktop atau pengelola file ke panel utama di konsol Google Cloud .

   • Klik Upload > Upload file, pilih file gambar yang ingin diupload dalam dialog yang muncul, lalu klik Buka.

Command line

Masukkan perintah gcloud storage cp berikut:

gcloud storage cp OBJECT_LOCATION gs://bqml_images/IMAGE_NAME

Ganti kode berikut:

• OBJECT_LOCATION: jalur lokal ke file gambar Anda. Contoh, Desktop/goldfish.jpg.
• IMAGE_NAME: nama image. Contoh, goldfish.jpg.

Jika berhasil, responsnya akan mirip dengan berikut ini:

Completed files 1/1 | 164.3kiB/164.3kiB

Membuat koneksi resource BigQuery Cloud

Anda harus memiliki koneksi resource Cloud untuk terhubung ke tabel objek yang akan Anda buat nanti dalam tutorial ini.

Dengan koneksi resource Cloud, Anda dapat membuat kueri data yang disimpan di luar BigQuery di layanan seperti Cloud Storage atau Spanner, atau di sumber pihak ketiga seperti AWS atau Azure. Google Cloud Koneksi eksternal ini menggunakan BigQuery Connection API.

Ikuti langkah-langkah berikut untuk membuat koneksi resource Cloud Anda.

Konsol

1. Buka halaman BigQuery Studio.

   Buka BigQuery Studio

2. Di panel kiri, klik Explorer:

   

   Jika Anda tidak melihat panel kiri, klik Luaskan panel kiri untuk membuka panel.

3. Di panel Penjelajah, klik Tambahkan data.

   Dialog Tambahkan data akan terbuka.

4. Di panel Filter Menurut, di bagian Jenis Sumber Data, pilih Database.

   Atau, di kolom Telusuri sumber data, Anda dapat memasukkan Vertex AI.

5. Di bagian Sumber data unggulan, klik Vertex AI.

6. Klik kartu solusi Vertex AI Models: BigQuery Federation.

7. Dalam daftar Connection type, pilih Vertex AI remote models, remote functions and BigLake (Cloud Resource).

8. Di kolom Connection ID, masukkan bqml_tutorial.

9. Pastikan Multi-region—US dipilih.

10. Klik Create connection.

11. Di bagian bawah jendela, klik Buka koneksi. Atau, di panel Explorer, klik Connections, lalu klik us.bqml_tutorial.

12. Di panel Connection info, salin ID akun layanan. Anda memerlukan ID ini saat mengonfigurasi izin untuk koneksi. Saat Anda membuat resource koneksi, BigQuery akan membuat akun layanan sistem unik dan mengaitkannya dengan koneksi.

bq

1. Buat koneksi:

   bq mk --connection --location=US --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE bqml_tutorial

   Ganti PROJECT_ID dengan Google Cloud project ID Anda. Parameter --project_id akan menggantikan project default.

   Saat Anda membuat resource koneksi, BigQuery akan membuat akun layanan sistem unik dan mengaitkannya dengan koneksi.

   Pemecahan masalah: Jika Anda mendapatkan error koneksi berikut, update Google Cloud SDK:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Ambil dan salin ID akun layanan untuk digunakan pada langkah berikutnya:

   bq show --connection PROJECT_ID.us.bqml_tutorial

   Outputnya mirip dengan hal berikut ini:

   name                          properties
   1234.REGION.CONNECTION_ID {"serviceAccountId": "[e-mail]"}
   

Menyiapkan akses koneksi

Berikan peran Storage Object Admin ke akun layanan Koneksi resource Cloud. Anda harus memberikan peran ini di project yang sama tempat Anda mengupload file gambar.

Catatan: Jika koneksi berada di project lain, error ini akan ditampilkan: [e-mail] does not have the permission to access resource.

Untuk memberikan peran, ikuti langkah-langkah berikut:

1. Buka halaman IAM & Admin.

   Buka IAM & Admin

2. Klik Berikan Akses.

3. Di kolom New principals, masukkan ID Akun layanan koneksi resource Cloud yang Anda salin sebelumnya.

4. Di kolom Select a role, pilih Cloud Storage, lalu pilih Storage object admin.

5. Klik Simpan.

Membuat tabel objek

Ikuti langkah-langkah berikut untuk membuat tabel objek bernama goldfish_image_table menggunakan gambar ikan mas yang Anda upload ke Cloud Storage.

Konsol

1. Buka halaman BigQuery Studio.

   Buka BigQuery Studio

2. Di editor kueri, masukkan kueri ini untuk membuat tabel objek.

   CREATE EXTERNAL TABLE `bqml_tutorial.goldfish_image_table`
   WITH CONNECTION `us.bqml_tutorial`
   OPTIONS(
   object_metadata = 'SIMPLE',
   uris = ['gs://bqml_images/IMAGE_NAME'],
   max_staleness = INTERVAL 1 DAY,
   metadata_cache_mode = 'AUTOMATIC');

   Ganti IMAGE_NAME dengan nama file image, misalnya, goldfish.jpg.

   Setelah operasi selesai, Anda akan melihat pesan seperti This statement created a new table named goldfish_image_table.

bq

1. Buat tabel objek dengan memasukkan pernyataan CREATE EXTERNAL TABLE berikut.

   bq query --use_legacy_sql=false \
   "CREATE EXTERNAL TABLE `bqml_tutorial.goldfish_image_table`
   WITH CONNECTION `us.bqml_tutorial`
   OPTIONS(
   object_metadata = 'SIMPLE',
   uris = ['gs://bqml_images/IMAGE_NAME'],
   max_staleness = INTERVAL 1 DAY,
   metadata_cache_mode = 'AUTOMATIC')"

   Ganti IMAGE_NAME dengan nama file image, misalnya, goldfish.jpg.

2. Setelah membuat tabel objek, pastikan tabel tersebut muncul di set data.

   bq ls bqml_tutorial

   Outputnya mirip dengan hal berikut ini:

   tableId               Type
   --------------------- --------
   goldfish_image_table  EXTERNAL

Untuk mengetahui informasi selengkapnya, lihat Membuat tabel objek.

Membuat prediksi dengan model ONNX yang diimpor

Penting: Anda harus memiliki reservasi untuk menjalankan prediksi menggunakan model yang diimpor dan tabel objek. Untuk mengetahui informasi selengkapnya, lihat batasan pada model ONNX yang diimpor.

Jika Anda tidak memiliki reservasi, menjalankan kueri menggunakan ML.PREDICT akan menghasilkan error ini: BigQuery ML inference using imported models and object tables requires a reservation, but no reservations were assigned for job type `QUERY`...`.

Anda menggunakan kueri berikut yang berisi fungsi ML.PREDICT untuk membuat prediksi dari data gambar di tabel objek input goldfish_image_table. Kueri ini menghasilkan label class yang diprediksi dari gambar input berdasarkan kamus label ImageNet.

Dalam kueri, fungsi ML.DECODE_IMAGE diperlukan untuk mendekode data gambar sehingga dapat ditafsirkan oleh ML.PREDICT. Fungsi ML.RESIZE_IMAGE dipanggil untuk mengubah ukuran gambar agar sesuai dengan ukuran input model (224*224).

Untuk mengetahui informasi selengkapnya tentang menjalankan inferensi pada tabel objek gambar, lihat Menjalankan inferensi pada tabel objek gambar.

Untuk membuat prediksi dari data gambar Anda, lakukan langkah-langkah berikut.

Konsol

1. Buka halaman BigQuery Studio.

   Buka BigQuery Studio

2. Di editor kueri, masukkan kueri ML.PREDICT berikut.

    SELECT
      class_label
    FROM
      ML.PREDICT(MODEL bqml_tutorial.imported_onnx_model,
        (
        SELECT
          ML.RESIZE_IMAGE(ML.DECODE_IMAGE(DATA),
            224,
            224,
            FALSE) AS input
        FROM
          bqml_tutorial.goldfish_image_table))
    

   Hasil kuerinya mirip dengan berikut ini:

   

bq

Masukkan perintah bq query berikut:

bq query --use_legacy_sql=false \
'SELECT
  class_label
FROM
  ML.PREDICT(MODEL `bqml_tutorial.imported_onnx_model`,
    (
    SELECT
      ML.RESIZE_IMAGE(ML.DECODE_IMAGE(DATA),
        224,
        224,
        FALSE) AS input
    FROM
      bqml_tutorial.goldfish_image_table))'