Google menggunakan teknologi AI untuk menerjemahkan konten ke dalam bahasa pilihan Anda. Terjemahan AI mungkin mengandung kesalahan.

Membuat embedding teks dengan menggunakan model terbuka dan fungsi AI.GENERATE_EMBEDDING

Tutorial ini menunjukkan cara membuat model jarak jauh yang didasarkan pada model embedding teks open source Qwen3-Embedding-0.6B, lalu cara menggunakan model tersebut dengan fungsi AI.GENERATE_EMBEDDING untuk menyematkan ulasan film dari tabel publik bigquery-public-data.imdb.reviews.

Izin yang diperlukan

Untuk menjalankan tutorial ini, Anda memerlukan peran Identity and Access Management (IAM) berikut:

Membuat dan menggunakan set data, koneksi, dan model BigQuery: Admin BigQuery (roles/bigquery.admin).
Memberikan izin ke akun layanan koneksi: Project IAM Admin (roles/resourcemanager.projectIamAdmin).
Men-deploy dan membatalkan deployment model di Gemini Enterprise Agent Platform: Administrator Agent Platform (roles/aiplatform.admin).

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk melakukan tugas dalam dokumen ini. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Buat set data: bigquery.datasets.create
Membuat, mendelegasikan, dan menggunakan koneksi: bigquery.connections.*
Menetapkan koneksi default: bigquery.config.*
Tetapkan izin akun layanan: resourcemanager.projects.getIamPolicy dan resourcemanager.projects.setIamPolicy
Men-deploy dan membatalkan deployment model Agent Platform:
- aiplatform.endpoints.deploy
- aiplatform.endpoints.undeploy
Buat model dan jalankan inferensi:
- bigquery.jobs.create
- bigquery.models.create
- bigquery.models.getData
- bigquery.models.updateData
- bigquery.models.updateMetadata

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen Google Cloudyang dapat ditagih berikut:

BigQuery ML: You incur costs for the data that you process in BigQuery.
Gemini Enterprise Agent Platform: You incur costs for calls to the Agent Platform model that's represented by the remote model.

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Pengguna Google Cloud baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Untuk mengetahui informasi selengkapnya tentang harga BigQuery, lihat harga BigQuery dalam dokumentasi BigQuery.

Model terbuka yang Anda deploy ke Agent Platform ditagih per jam mesin. Artinya, penagihan dimulai segera setelah endpoint disiapkan sepenuhnya, dan berlanjut hingga Anda membatalkan deployment-nya. Untuk mengetahui informasi selengkapnya tentang harga Agent Platform, lihat halaman Harga Agent Platform.

Sebelum memulai

Di konsol Google Cloud , pada halaman pemilih project, pilih atau buat project Google Cloud .
Peran yang diperlukan untuk memilih atau membuat project
- Pilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project mana pun yang telah diberi peran.
- Membuat project: Untuk membuat project, Anda memerlukan peran Project Creator (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.
Catatan: Jika Anda tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

Buka pemilih project
Verifikasi bahwa penagihan diaktifkan untuk project Google Cloud Anda.
Aktifkan BigQuery API, BigQuery Connection API, dan Agent Platform API, jika ada yang belum diaktifkan.
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Admin Penggunaan Layanan (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.
Aktifkan API

Membuat set data

Untuk membuat set data BigQuery, pilih salah satu opsi berikut:

Konsol

Di konsol Google Cloud , buka halaman BigQuery.

Buka BigQuery
Di panel kiri, klik Explorer:

Jika Anda tidak melihat panel kiri, klik Luaskan panel kiri untuk membuka panel.
Di Explorer, luaskan project Anda, lalu klik Datasets.
Di halaman Set Data, klik Buat set data.
Di panel Create dataset, lakukan hal berikut:
- Untuk Dataset ID, masukkan bqml_tutorial.
- Untuk Lokasi data, pilih Amerika Serikat.
Jangan ubah setelan default yang tersisa.
Klik Create dataset.

bq

Untuk membuat set data baru, gunakan perintah bq mk --dataset.

Buat set data bernama bqml_tutorial dengan lokasi data yang ditetapkan ke US:

bq mk --dataset \
  --location=US \
  --description "BigQuery ML tutorial dataset." \
  bqml_tutorial

Pastikan set data telah dibuat:
```
bq ls
```

API

Panggil metode datasets.insert dengan resource set data yang ditentukan:

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Membuat model jarak jauh

Buat model jarak jauh yang merepresentasikan model Agent Platform yang dihosting:

Di konsol Google Cloud , buka halaman BigQuery.

Buka BigQuery
Di editor kueri, jalankan pernyataan berikut:

CREATE OR REPLACE MODEL `bqml_tutorial.qwen3_embedding_model`
  REMOTE WITH CONNECTION DEFAULT
  OPTIONS (
    HUGGING_FACE_MODEL_ID = 'Qwen/Qwen3-Embedding-0.6B'
);

Kueri memerlukan waktu hingga 20 menit untuk diselesaikan, setelah itu model qwen3_embedding_model akan muncul di set data bqml_tutorial di panel Explorer. Karena kueri menggunakan pernyataan CREATE MODEL untuk membuat model, tidak akan ada hasil kueri.

Melakukan penyematan teks

Lakukan penyematan teks pada ulasan film IMDB dengan menggunakan model jarak jauh dan fungsi AI.GENERATE_EMBEDDING:

Di konsol Google Cloud , buka halaman BigQuery.

Buka BigQuery
Di editor kueri, masukkan pernyataan berikut untuk melakukan penyematan teks pada lima ulasan film:
```
SELECT
  *
FROM
  AI.GENERATE_EMBEDDING(
    MODEL `bqml_tutorial.qwen3_embedding_model`,
    (
      SELECT
        review AS content,
        *
      FROM
        `bigquery-public-data.imdb.reviews`
      LIMIT 5
    )
  );
```
Hasilnya mencakup kolom berikut:
- embedding: array ganda untuk merepresentasikan embedding yang dihasilkan.
- status: status respons API untuk baris yang sesuai. Jika operasi berhasil, nilai ini akan kosong.
- content: teks input yang akan diekstrak embedding-nya.
- Semua kolom dari tabel bigquery-public-data.imdb.reviews.

Batalkan deployment model

Jika Anda memilih untuk tidak menghapus project seperti yang direkomendasikan, Anda harus membatalkan deployment model sematan Qwen3 di Agent Platform untuk menghindari penagihan yang berlanjut untuk model tersebut. BigQuery otomatis membatalkan deployment model setelah periode tidak aktif tertentu (6,5 jam secara default). Atau, Anda dapat segera membatalkan deployment model menggunakan pernyataan ALTER MODEL, seperti yang ditunjukkan dalam contoh berikut:

ALTER MODEL `bqml_tutorial.qwen3_embedding_model`
SET OPTIONS (deploy_model = false);

Untuk mengetahui informasi selengkapnya, lihat Pembatalan deployment model otomatis atau langsung.

Pembersihan

Perhatian: Penghapusan project memiliki efek berikut:

Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

Di konsol Google Cloud , buka halaman Manage resources.
Buka Kelola resource
Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Langkah berikutnya

Pelajari cara menggunakan embedding teks untuk penelusuran semantik dan retrieval-augmented generation (RAG).