Ringkasan AI generatif

Dokumen ini menjelaskan fungsi kecerdasan buatan (AI) generatif yang didukung BigQuery. Fungsi ini menerima input bahasa natural dan menggunakan model Gemini Enterprise Agent Platform yang telah dilatih serta model BigQuery bawaan.

BigQuery menawarkan berbagai fungsi AI untuk membantu tugas seperti berikut:

  • Membuat konten kreatif.
  • Menganalisis, mendeteksi sentimen, dan menjawab pertanyaan tentang teks atau data tidak terstruktur, seperti gambar.
  • Merangkum ide atau kesan utama yang disampaikan oleh konten.
  • Mengekstrak data terstruktur dari teks.
  • Mengklasifikasikan teks atau data tidak terstruktur ke dalam kategori yang ditentukan pengguna.
  • Membuat embedding untuk menelusuri teks, gambar, dan video serupa.
  • Memberi rating pada input untuk mengurutkannya berdasarkan kualitas, kemiripan, atau kriteria lainnya.

Fungsi AI dikelompokkan ke dalam kategori berikut untuk membantu Anda menyelesaikan tugas ini:

  • Fungsi AI serbaguna: Fungsi ini memberi Anda kontrol dan transparansi penuh atas pilihan model, perintah, dan parameter yang akan digunakan.

    • Melakukan inferensi LLM, seperti menjawab pertanyaan tentang data Anda

      • AI.GENERATE adalah fungsi inferensi yang paling fleksibel, yang memungkinkan Anda menganalisis data terstruktur atau tidak terstruktur.
      • AI.GENERATE_TEXT adalah versi bernilai tabel dari AI.GENERATE yang juga mendukung model partner dan model terbuka.

    • Membuat output terstruktur, seperti mengekstrak nama, alamat, atau deskripsi objek dari teks, dokumen, atau gambar.

      • AI.GENERATE, saat Anda menentukan skema output.
      • AI.GENERATE_TABLE adalah versi bernilai tabel dari AI.GENERATE yang memanggil model jarak jauh dan memungkinkan Anda menentukan skema output kustom.
      • Jika skema output Anda memiliki satu kolom, Anda dapat menggunakan salah satu fungsi khusus: AI.GENERATE_BOOL, AI.GENERATE_DOUBLE, atau AI.GENERATE_INT.

    • Membuat embedding untuk penelusuran dan pengelompokan semantik

      • AI.EMBED: Membuat embedding dari data teks atau gambar.
      • AI.GENERATE_EMBEDDING: Fungsi bernilai tabel yang menambahkan kolom data teks, gambar, audio, video, atau dokumen tersemat ke tabel Anda.

  • **Fungsi AI terkelola**: Fungsi ini memiliki sintaksis yang disederhanakan dan dioptimalkan untuk biaya dan kualitas. Dengan mode yang dioptimalkan (Pratinjau), fungsi ini dapat diskalakan ke jutaan atau miliaran baris.

    • AI.IF: memfilter data Anda dengan kondisi bahasa natural.

    • AI.SCORE: memberi rating pada input, seperti berdasarkan kualitas atau sentimen.

    • AI.CLASSIFY: mengklasifikasikan input ke dalam kategori yang ditentukan pengguna.

    • AI.AGG: menggabungkan input untuk meringkas atau menganalisis data Anda.

  • Fungsi utilitas: Gunakan AI.COUNT_TOKENS fungsi untuk memperkirakan jumlah token dalam perintah input sebelum Anda menjalankan kueri.

  • Fungsi khusus tugas: Fungsi ini menggunakan Cloud AI API untuk membantu Anda melakukan tugas seperti natural language processing, terjemahan mesin, pemrosesan dokumen, transkripsi audio, dan computer vision.

Fungsi AI serbaguna

Fungsi AI serbaguna memberi Anda kontrol dan transparansi penuh atas pilihan model, perintah, dan parameter yang akan digunakan. Outputnya mencakup informasi mendetail tentang panggilan ke model, termasuk status dan respons model lengkap, yang mungkin menyertakan informasi tentang rating keamanan atau kutipan.

Melakukan inferensi LLM

Fungsi AI.GENERATE adalah fungsi inferensi fleksibel yang berfungsi dengan mengirimkan permintaan ke model Gemini Gemini Enterprise Agent Platform dan menampilkan respons model tersebut. Anda dapat menggunakan fungsi ini untuk menganalisis data teks, gambar, audio, video, atau PDF. Misalnya, Anda dapat menganalisis gambar perlengkapan rumah untuk membuat teks yang dihasilkan bagi kolom design_type, sehingga SKU perlengkapan memiliki deskripsi terkait, seperti mid-century modern atau farmhouse.

Anda dapat melakukan tugas AI generatif dengan menggunakan model jarak jauh di BigQuery ML untuk mereferensikan model yang di-deploy ke atau dihosting di Agent Platform dengan AI.GENERATE_TEXT fungsi bernilai tabel. Anda dapat menggunakan jenis model jarak jauh berikut: remote models:

Gunakan topik berikut untuk mencoba pembuatan teks di BigQuery ML:

Untuk beberapa model, Anda dapat memilih untuk mengonfigurasi tuning terawasi, yang memungkinkan Anda melatih model dengan data Anda sendiri agar lebih sesuai untuk kasus penggunaan Anda. Semua inferensi terjadi di Agent Platform. Hasilnya disimpan di BigQuery.

Membuat data terstruktur

Pembuatan data terstruktur sangat mirip dengan pembuatan teks, kecuali Anda dapat memformat respons dari model dengan menentukan skema SQL. Misalnya, Anda dapat membuat tabel yang berisi nama, nomor telepon, alamat, permintaan, dan kutipan harga pelanggan dari transkrip panggilan telepon.

Anda dapat membuat data terstruktur dengan cara berikut:

Membuat embedding

Embedding adalah vektor numerik berdimensi tinggi yang merepresentasikan entity tertentu, seperti potongan teks atau file audio. Membuat embedding memungkinkan Anda menangkap semantik data Anda dengan cara yang memudahkan Anda untuk memahami dan membandingkan data.

Beberapa kasus penggunaan umum untuk pembuatan embedding adalah sebagai berikut:

  • Menggunakan retrieval-augmented generation (RAG) untuk menambah respons model terhadap kueri pengguna dengan mereferensikan data tambahan dari sumber tepercaya. RAG memberikan akurasi faktual dan konsistensi respons yang lebih baik, serta memberikan akses ke data yang lebih baru daripada data pelatihan model.
  • Melakukan penelusuran multimodal. Misalnya, menggunakan input teks untuk menelusuri gambar.
  • Melakukan penelusuran semantik untuk menemukan item serupa untuk rekomendasi, penggantian, dan deduplikasi rekaman.
  • Membuat embedding untuk digunakan dengan model k-means untuk pengelompokan.

Untuk mengetahui informasi selengkapnya tentang cara membuat embedding dan menggunakannya untuk melakukan tugas ini, lihat Pengantar embedding dan penelusuran vektor.

Fungsi AI terkelola

Fungsi AI terkelola menyederhanakan tugas rutin, seperti pemfilteran, klasifikasi, atau agregasi. Fungsi ini dapat menganalisis data teks, gambar, audio, video, atau PDF. Fungsi ini menggunakan Gemini dan tidak memerlukan penyesuaian. BigQuery menggunakan rekayasa perintah dan dapat memilih model serta parameter yang sesuai untuk digunakan bagi tugas tertentu guna mengoptimalkan kualitas dan konsistensi hasil Anda. Setiap fungsi menampilkan nilai skalar, seperti BOOL, FLOAT64, atau STRING, dan tidak menyertakan informasi status tambahan dari model. Fungsi AI terkelola berikut tersedia:

  • AI.IF: Memfilter teks atau data multimodal, seperti dalam klausa WHERE atau JOIN, berdasarkan perintah. Misalnya, Anda dapat memfilter deskripsi produk berdasarkan deskripsi item yang akan menjadi hadiah yang bagus.
  • AI.SCORE: Memberi rating pada input berdasarkan perintah untuk mengurutkan baris berdasarkan kualitas, kemiripan, atau kriteria lainnya. Anda dapat menggunakan fungsi ini dalam klausa ORDER BY untuk mengekstrak K item teratas menurut skor. Misalnya, Anda dapat menemukan 10 ulasan pengguna teratas yang paling positif atau negatif untuk suatu produk.
  • AI.CLASSIFY: Mengklasifikasikan teks ke dalam kategori yang ditentukan pengguna. Anda dapat menggunakan fungsi ini dalam klausa GROUP BY untuk mengelompokkan input menurut kategori yang Anda tentukan. Misalnya, Anda dapat mengklasifikasikan tiket dukungan berdasarkan apakah tiket tersebut terkait dengan penagihan, pengiriman, kualitas produk, atau hal lainnya.
  • AI.AGG: Menggabungkan input berdasarkan petunjuk bahasa natural untuk meringkas atau menganalisis data Anda. Misalnya, Anda dapat memindai log sesi aplikasi pengguna untuk menentukan tempat pelanggan mengalami kesulitan, atau Anda dapat meringkas konten dari kumpulan gambar yang besar.

Untuk tutorial yang menunjukkan contoh cara menggunakan fungsi ini, lihat Melakukan analisis semantik dengan fungsi AI terkelola.

Untuk tutorial notebook yang menunjukkan cara menggunakan fungsi AI terkelola dan AI serbaguna, lihat Analisis semantik dengan fungsi AI.

Fungsi khusus tugas

Selain fungsi yang lebih umum yang dijelaskan di bagian sebelumnya, Anda dapat mengembangkan solusi khusus tugas di BigQuery ML menggunakan Cloud AI API. Tugas yang didukung mencakup hal berikut:

Untuk mengetahui informasi selengkapnya, lihat Ringkasan solusi khusus tugas.

Lokasi

Lokasi yang didukung untuk model pembuatan teks dan embedding bervariasi berdasarkan jenis dan versi model yang Anda gunakan. Untuk mengetahui informasi selengkapnya, lihat Lokasi.

BigQuery mendukung model berikut:

  • gemini-4-argon
  • gemini-3.8-flash
  • gemini-3.7-flash
  • gemini-3.6-flash
  • gemini-3.5-flash-lite
  • gemini-3.5-flash
  • gemini-3.1-flash-lite
Agent Platform hanya mendukung endpoint multi-region untuk model ini. Endpoint regional tidak didukung. Jika Anda menentukan nama endpoint singkat yang menghilangkan region, seperti gemini-3.5-flash, BigQuery akan memilih endpoint sesuai dengan aturan berikut:
  • Jika kueri Anda dijalankan di region us, atau satu region di AS, maka BigQuery akan menggunakan endpoint us.
  • Jika kueri Anda dijalankan di region eu, atau satu region di Uni Eropa selain europe-west2 atau europe-west6, BigQuery akan menggunakan endpoint eu.
  • Untuk semua lokasi lainnya, termasuk europe-west2 dan europe-west6, BigQuery akan menggunakan endpoint global.
Untuk menentukan endpoint tertentu, gunakan nama endpoint multi-region yang sepenuhnya memenuhi syarat dalam salah satu format berikut:
  • https://aiplatform.us.rep.googleapis.com/v1/projects/PROJECT_ID/locations/us/publishers/google/models/MODEL_ID
  • https://aiplatform.eu.rep.googleapis.com/v1/projects/PROJECT_ID/locations/eu/publishers/google/models/MODEL_ID
  • https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/MODEL_ID
Jika kueri Anda berjalan di region asia-south1, Anda harus menggunakan nama endpoint global yang sepenuhnya memenuhi syarat.

Batasan

Di dalam perimeter Kontrol Layanan VPC, fungsi AI tidak dapat memproses ObjectRef nilai yang menggunakan akses yang didelegasikan. Akses yang didelegasikan menghasilkan URL HTTPS bertanda tangan untuk objek, dan Agent Platform memblokir pengambilan HTTP dan HTTPS untuk project di dalam perimeter. Fungsi ini menulis error berikut ke kolom status outputnya:

INVALID_ARGUMENT: HTTP links are not supported for requests restricted by VPCSC.

Karena kolom ref tabel objek selalu menggunakan koneksi tabel objek sebagai pemberi otorisasi, meneruskan ref ke fungsi AI di dalam perimeter akan selalu menampilkan error ini. Untuk menganalisis objek, teruskan nilai argumen tunggal OBJ.MAKE_REF(uri) sebagai gantinya, yang menggunakan akses langsung dan mengirimkan Cloud Storage URI ke model tanpa membuat URL bertanda tangan.

Harga

Anda akan dikenai biaya untuk resource komputasi yang Anda gunakan untuk menjalankan kueri terhadap model. Model jarak jauh melakukan panggilan ke model Agent Platform, sehingga kueri terhadap model jarak jauh juga dikenai biaya dari Agent Platform.

Untuk mengetahui informasi selengkapnya, lihat Harga BigQuery ML.

Melacak penggunaan token

Saat Anda memanggil fungsi AI generatif yang menggunakan model Gemini selain model embedding, Anda dapat melihat jumlah total setiap jenis token yang diproses oleh kueri. Di panel Query results, klik Job information. Jumlah berikut akan muncul, yang dipecah berdasarkan modalitas jika berlaku:

  • Input token count: Jumlah total token input ke semua fungsi AI generatif yang dipanggil dalam kueri.
  • Output token count. Jumlah total token di semua respons kandidat yang dihasilkan oleh kueri.
  • Thought token count. Jumlah total token yang merupakan bagian dari pemikiran yang dihasilkan model, jika berlaku.
  • Cache token count. Jumlah total token input yang di- cache secara implisit oleh kueri.

Melacak biaya

Fungsi AI generatif di BigQuery berfungsi dengan mengirimkan permintaan ke Gemini Enterprise Agent Platform, yang dapat menimbulkan biaya. Untuk memperkirakan jumlah token input sebelum menjalankan kueri, gunakan fungsi AI.COUNT_TOKENS. Untuk melacak biaya Agent Platform yang ditimbulkan oleh tugas yang Anda jalankan di BigQuery, ikuti langkah-langkah berikut:

  1. Lihat laporan penagihan Anda di Penagihan Cloud.

  2. Gunakan filter untuk mempersempit hasil.

    Untuk layanan, pilih Vertex AI.

  3. Untuk melihat biaya tugas tertentu, filter menurut label.

    Tetapkan kunci ke bigquery_job_id_prefix dan nilai ke ID pekerjaan Anda. Jika ID pekerjaan Anda lebih panjang dari 63 karakter, gunakan hanya 63 karakter pertama. Jika ID pekerjaan Anda berisi karakter huruf besar, ubah menjadi huruf kecil. Atau, Anda dapat mengaitkan tugas dengan label kustom untuk membantu Anda mencarinya nanti.

Diperlukan waktu hingga 24 jam agar beberapa biaya muncul di Penagihan Cloud.

Pemantauan

Untuk lebih memahami perilaku fungsi AI yang Anda panggil di BigQuery, Anda dapat mengaktifkan logging permintaan dan respons. Untuk mencatat seluruh permintaan dan respons yang dikirim ke dan diterima dari Agent Platform, ikuti langkah-langkah berikut:

  1. Aktifkan log permintaan-respons di Gemini Enterprise Agent Platform. Log disimpan di BigQuery. Anda harus mengaktifkan logging secara terpisah untuk setiap model dasar dan region yang berbeda. Untuk mencatat kueri yang berjalan di region us, tentukan us-central1 region dalam permintaan Anda. Untuk mencatat kueri yang berjalan di region eu, tentukan region europe-west4 dalam permintaan Anda.

  2. Jalankan kueri menggunakan fungsi AI yang melakukan panggilan ke Agent Platform menggunakan model yang Anda aktifkan logging-nya pada langkah sebelumnya.

  3. Untuk melihat permintaan dan respons Agent Platform lengkap, kueri tabel logging Anda untuk baris tempat kolom labels.bigquery_job_id_prefix dari kolom full_request cocok dengan 63 karakter pertama ID pekerjaan Anda. Secara opsional, Anda dapat menggunakan label kueri kustom untuk membantu Anda mencari kueri dalam log.

    Misalnya, Anda dapat menggunakan kueri yang mirip dengan kueri berikut:

    SELECT *
FROM `my_project.my_dataset.request_response_logging`
WHERE JSON_VALUE(full_request, '$.labels.bigquery_job_id_prefix') = 'bquxjob_123456...';

Pengelolaan error

Error tingkat baris, seperti RESOURCE_EXHAUSTED, dapat terjadi jika fungsi AI melebihi kuota atau batas layanan jarak jauh. Saat error tingkat baris terjadi, fungsi akan menampilkan NULL untuk baris tersebut, yang dapat mengakibatkan hasil kueri yang tidak lengkap.

Semua fungsi AI dapat mengalami error ini. Namun, fungsi AI terkelola (AI.IF, AI.CLASSIFY, dan AI.SCORE) mendukung argumen max_error_ratio untuk membantu Anda mengelolanya. Gunakan argumen ini untuk menetapkan nilai minimum kegagalan yang memungkinkan kueri berhasil meskipun terjadi kegagalan tingkat baris.

Nilai default untuk max_error_ratio adalah 1.0. Untuk menurunkan toleransi error, tetapkan ke nilai yang lebih kecil (misalnya, 0.2) sehingga kueri gagal, bukan berhasil dengan kegagalan parsial. Untuk mengetahui detail sintaksis, lihat dokumentasi referensi untuk AI.IF,AI.CLASSIFY,atauAI.SCORE.

Jika kueri berhasil dengan kegagalan parsial, BigQuery akan menampilkan peringatan. Untuk mengetahui informasi selengkapnya tentang error fungsi, periksa kolom error fungsi AI generatif di tab Job information pada hasil kueri di the Google Cloud konsol.

Jika kueri Anda menyertakan klausa LIMIT, batas akan diterapkan setelah model memproses batch baris. Akibatnya, proporsi nilai NULL dalam kumpulan hasil akhir Anda mungkin tampak lebih tinggi daripada max_error_ratio yang ditentukan.

Misalnya, kueri Anda memiliki klausa LIMIT 10 dan max_error_ratio sebesar 0.2. Model mungkin memproses 20 baris sebelum batas diterapkan. Jika 3 dari 20 baris tersebut gagal, rasio error adalah 0.15 (15%), yang berada dalam nilai minimum 20%. Namun, jika subset baris yang dipilih oleh klausa LIMIT kebetulan menyertakan semua 3 baris yang gagal, output yang terlihat akan berisi 30% nilai NULL.

Langkah berikutnya