Menangani error kuota dengan memanggil ML.GENERATE_TEXT secara berulang

Tutorial ini menunjukkan cara menggunakan prosedur tersimpan publik bqutil.procedure.bqml_generate_text BigQuery untuk melakukan iterasi melalui panggilan ke fungsi ML.GENERATE_TEXT. Memanggil fungsi secara berulang memungkinkan Anda mengatasi error yang dapat dicoba ulang yang terjadi karena melampaui kuota dan batas yang berlaku untuk fungsi tersebut.

Untuk meninjau kode sumber bqutil.procedure.bqml_generate_text prosedur tersimpan di GitHub, lihat bqml_generate_text.sqlx. Untuk mengetahui informasi selengkapnya tentang parameter dan penggunaan prosedur tersimpan, lihat file README.

Tutorial ini memandu Anda melakukan tugas-tugas berikut:

Membuat model jarak jauh melalui model gemini-2.5-flash.
Melakukan iterasi melalui panggilan ke fungsi ML.GENERATE_TEXT, menggunakan model jarak jauh dan tabel data publik bigquery-public-data.bbc_news.fulltext dengan prosedur tersimpan bqutil.procedure.bqml_generate_text.

Izin yang diperlukan

Untuk menjalankan tutorial ini, Anda memerlukan peran Identity and Access Management (IAM) berikut:

Membuat dan menggunakan set data, koneksi, dan model BigQuery: Admin BigQuery (roles/bigquery.admin).
Memberikan izin ke akun layanan koneksi: Project IAM Admin (roles/resourcemanager.projectIamAdmin).

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk melakukan tugas dalam dokumen ini. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Buat set data: bigquery.datasets.create
Membuat, mendelegasikan, dan menggunakan koneksi: bigquery.connections.*
Menetapkan koneksi default: bigquery.config.*
Tetapkan izin akun layanan: resourcemanager.projects.getIamPolicy dan resourcemanager.projects.setIamPolicy
Buat model dan jalankan inferensi:
- bigquery.jobs.create
- bigquery.models.create
- bigquery.models.getData
- bigquery.models.updateData
- bigquery.models.updateMetadata

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen Google Cloudyang dapat ditagih berikut:

BigQuery ML: You incur costs for the data that you process in BigQuery.
Vertex AI: You incur costs for calls to the Vertex AI model.

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Pengguna Google Cloud baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Untuk mengetahui informasi selengkapnya tentang harga BigQuery, lihat Harga BigQuery.

Untuk mengetahui informasi selengkapnya tentang harga Vertex AI, lihat Harga Vertex AI.

Sebelum memulai

Di konsol Google Cloud , pada halaman pemilih project, pilih atau buat project Google Cloud .
Peran yang diperlukan untuk memilih atau membuat project
- Pilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project mana pun yang telah diberi peran.
- Membuat project: Untuk membuat project, Anda memerlukan peran Pembuat Project (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.
Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

Buka pemilih project
Verifikasi bahwa penagihan diaktifkan untuk project Google Cloud Anda.
Aktifkan BigQuery, BigQuery Connection, dan Vertex AI API.
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.
Aktifkan API

Membuat set data

Buat set data BigQuery untuk menyimpan model dan data sampel Anda:

Di konsol Google Cloud , buka halaman BigQuery.

Buka halaman BigQuery
Di panel Explorer, klik nama project Anda.
Klik View actions > Create dataset.
Di halaman Create dataset, lakukan hal berikut:
1. Untuk Dataset ID, masukkan sample.
2. Untuk Location type, pilih Multi-region, lalu pilih US (multiple regions in United States).
3. Jangan ubah setelan default yang tersisa, lalu klik Create dataset.

Membuat model pembuatan teks

Buat model jarak jauh yang merepresentasikan model gemini-2.5-flash Vertex AI yang dihosting:

Di konsol Google Cloud , buka halaman BigQuery.

Buka BigQuery
Di editor kueri, jalankan pernyataan berikut:
```
CREATE OR REPLACE MODEL `sample.generate_text`
  REMOTE WITH CONNECTION DEFAULT
  OPTIONS (ENDPOINT = 'gemini-2.5-flash');
```
Kueri memerlukan waktu beberapa detik untuk diselesaikan, setelah itu model generate_text akan muncul di set data sample di panel Explorer. Karena kueri tersebut menggunakan pernyataan CREATE MODEL untuk membuat model, tidak akan ada hasil kueri.

Jalankan prosedur tersimpan

Jalankan prosedur tersimpan bqutil.procedure.bqml_generate_text, yang melakukan iterasi melalui panggilan ke fungsi ML.GENERATE_TEXT menggunakan model sample.generate_text dan tabel data publik bigquery-public-data.bbc_news.fulltext:

Di konsol Google Cloud , buka halaman BigQuery.

Buka BigQuery

Di editor kueri, jalankan pernyataan berikut:

CALL `bqutil.procedure.bqml_generate_text`(
    "bigquery-public-data.bbc_news.fulltext",   -- source table
    "PROJECT_ID.sample.news_generated_text",  -- destination table
    "PROJECT_ID.sample.generate_text",        -- model
    "body",                                     -- content column
    ["filename"],                               -- key columns
    '{}'                                        -- optional arguments
);

Ganti PROJECT_ID dengan project ID project yang Anda gunakan untuk tutorial ini.

Prosedur tersimpan membuat tabel sample.news_generated_text untuk berisi output fungsi ML.GENERATE_TEXT.

Setelah kueri selesai berjalan, konfirmasi bahwa tidak ada baris dalam tabel sample.news_generated_text yang berisi error yang dapat dicoba lagi. Di editor kueri, jalankan pernyataan berikut:
```
SELECT *
FROM `sample.news_generated_text`
WHERE ml_generate_text_status LIKE '%A retryable error occurred%';
```
Kueri menampilkan pesan No data to display.

Pembersihan

Perhatian: Penghapusan project memiliki efek berikut:

Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

Di Konsol Google Cloud , buka halaman Manage resources.
Buka Kelola resource
Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.