Ringkasan AI generatif

Dokumen ini menjelaskan fungsi kecerdasan buatan (AI) generatif yang didukung BigQuery. Fungsi ini menerima input bahasa alami dan menggunakan model Vertex AI yang telah dilatih sebelumnya dan model BigQuery bawaan.

Ringkasan

BigQuery menawarkan berbagai fungsi AI untuk membantu tugas seperti berikut:

  • Buat konten kreatif.
  • Menganalisis, mendeteksi sentimen, dan menjawab pertanyaan tentang teks atau data tidak terstruktur, seperti gambar.
  • Meringkas ide atau kesan utama yang disampaikan oleh konten.
  • Mengekstrak data terstruktur dari teks.
  • Mengklasifikasikan teks atau data tidak terstruktur ke dalam kategori yang ditentukan pengguna.
  • Buat embedding untuk menelusuri teks, gambar, dan video yang serupa.
  • Beri peringkat input untuk mengurutkannya berdasarkan kualitas, kemiripan, atau kriteria lainnya.

Ada dua kategori utama fungsi AI untuk membantu Anda menyelesaikan tugas-tugas ini:

  • Fungsi AI serbaguna: Fungsi ini memberi Anda kontrol dan transparansi penuh atas pilihan model, perintah, dan parameter yang akan digunakan.

    • Melakukan inferensi, seperti menjawab pertanyaan tentang data Anda

      • AI.GENERATE adalah fungsi inferensi paling fleksibel, yang memungkinkan Anda menganalisis kombinasi teks dan data tidak terstruktur, serta menghasilkan data terstruktur yang cocok dengan skema kustom Anda.

      • Jika Anda memerlukan output jenis tertentu, pilih salah satu fungsi inferensi yang lebih khusus berikut:

        • AI.GENERATE_BOOL
        • AI.GENERATE_DOUBLE
        • AI.GENERATE_INT

    • Membuat output terstruktur, seperti mengekstraksi nama dan alamat dari teks tidak terstruktur

      • AI.GENERATE, saat Anda menentukan output_schema
      • AI.GENERATE_TABLE

    • Buat teks dengan versi fungsi bernilai tabel dari AI.GENERATE

      • AI.GENERATE_TEXT

    • Membuat embedding untuk penelusuran dan pengelompokan semantik

      • AI.EMBED
      • AI.GENERATE_EMBEDDING
      • AI.SIMILARITY

  • Fungsi AI terkelola: Fungsi ini memiliki sintaks yang disederhanakan dan dioptimalkan untuk biaya dan kualitas. BigQuery memilih model untuk Anda.

    • Memfilter data dengan kondisi bahasa alami

      • AI.IF

    • Beri rating input, seperti berdasarkan kualitas atau sentimen

      • AI.SCORE

    • Mengklasifikasikan input ke dalam kategori yang ditentukan pengguna

      • AI.CLASSIFY

Fungsi AI serbaguna

Fungsi AI serbaguna memberi Anda kontrol dan transparansi penuh atas pilihan model, perintah, dan parameter yang akan digunakan. Outputnya mencakup informasi mendetail tentang panggilan ke model, termasuk status dan respons model lengkap, yang mungkin mencakup informasi tentang rating keamanan atau kutipan.

Membuat data terstruktur

Pembuatan data terstruktur sangat mirip dengan pembuatan teks, kecuali Anda dapat memformat respons dari model dengan menentukan skema SQL. Misalnya, Anda dapat membuat tabel yang berisi nama, nomor telepon, alamat, permintaan, dan penawaran harga pelanggan dari transkrip panggilan telepon.

Ada dua cara untuk membuat data terstruktur:

Membuat nilai jenis tertentu menurut baris

Anda dapat menggunakan fungsi AI generatif skalar dengan model Gemini untuk menganalisis data dalam tabel standar BigQuery. Data mencakup data teks dan data tidak terstruktur dari kolom yang berisi nilai ObjectRef. Untuk setiap baris dalam tabel, fungsi ini menghasilkan output yang berisi jenis tertentu. Misalnya, Anda dapat menganalisis gambar perlengkapan rumah untuk membuat teks untuk kolom design_type, sehingga SKU perlengkapan rumah memiliki deskripsi terkait, seperti mid-century modern atau farmhouse.

Fungsi AI berikut tersedia:

Saat menggunakan fungsi AI.GENERATE dengan model Gemini yang didukung, Anda dapat menggunakan Throughput yang Disediakan Vertex AI untuk memberikan throughput tinggi yang konsisten untuk permintaan. Untuk mengetahui informasi selengkapnya, lihat Menggunakan Throughput yang Disediakan Vertex AI.

Membuat teks dengan TVF

Anda dapat melakukan tugas AI generatif menggunakan fungsi bernilai tabel GENERATE_TEXT, yang menggunakan model jarak jauh di BigQuery ML untuk merujuk model yang di-deploy ke atau dihosting di Vertex AI. Anda dapat membuat jenis model jarak jauh berikut:

Setelah membuat model jarak jauh, Anda dapat menggunakan fungsi AI.GENERATE_TEXT untuk berinteraksi dengan model tersebut:

  • Untuk model jarak jauh berdasarkan model Gemini, Anda dapat melakukan hal berikut:

    • Gunakan fungsi AI.GENERATE_TEXT untuk membuat teks dari perintah yang Anda tentukan dalam kueri atau tarik dari kolom dalam tabel standar. Saat menentukan perintah dalam kueri, Anda dapat mereferensikan jenis kolom tabel berikut dalam perintah:

    • Gunakan fungsi AI.GENERATE_TEXT untuk menganalisis konten teks, gambar, audio, video, atau PDF dari tabel objek dengan perintah yang Anda berikan sebagai argumen fungsi.

  • Untuk semua jenis model jarak jauh lainnya, Anda dapat menggunakan fungsi AI.GENERATE_TEXT dengan perintah yang Anda berikan dalam kueri atau dari kolom dalam tabel standar.

Gunakan topik berikut untuk mencoba pembuatan teks di BigQuery ML:

Anda dapat menggunakan perujukan dan atribut keamanan saat menggunakan model Gemini dengan fungsi AI.GENERATE_TEXT, asalkan Anda menggunakan tabel standar untuk input. Dengan perujukan, model Gemini dapat menggunakan informasi tambahan dari internet untuk menghasilkan respons yang lebih spesifik dan faktual. Atribut keamanan memungkinkan model Gemini memfilter respons yang ditampilkan berdasarkan atribut yang Anda tentukan.

Untuk beberapa model, Anda dapat memilih untuk mengonfigurasi tuning terawasi, yang memungkinkan Anda melatih model pada data Anda sendiri agar lebih sesuai untuk kasus penggunaan Anda. Semua inferensi terjadi di Vertex AI. Hasilnya disimpan di BigQuery.

Untuk model Gemini yang didukung, Anda dapat menggunakan Throughput yang Disediakan Vertex AI untuk memberikan throughput tinggi yang konsisten untuk permintaan. Untuk mengetahui informasi selengkapnya, lihat Menggunakan Throughput yang Disediakan Vertex AI.

Membuat embedding

Embedding adalah vektor numerik berdimensi tinggi yang merepresentasikan entity tertentu, seperti potongan teks atau file audio. Membuat embedding memungkinkan Anda mencatat semantik data dengan cara yang mempermudah penalaran dan perbandingan data.

Beberapa kasus penggunaan umum untuk pembuatan embedding adalah sebagai berikut:

  • Menggunakan retrieval-augmented generation (RAG) untuk meningkatkan respons model terhadap kueri pengguna dengan merujuk data tambahan dari sumber tepercaya. RAG memberikan akurasi faktual dan konsistensi respons yang lebih baik, serta memberikan akses ke data yang lebih baru daripada data pelatihan model.
  • Melakukan penelusuran multimodal. Misalnya, menggunakan input teks untuk menelusuri gambar.
  • Melakukan penelusuran semantik untuk menemukan item serupa untuk rekomendasi, penggantian, dan penghapusan duplikat data.
  • Membuat embedding untuk digunakan dengan model k-means untuk pengelompokan.

Untuk mengetahui informasi selengkapnya tentang cara membuat embedding dan menggunakannya untuk melakukan tugas ini, lihat Pengantar embedding dan penelusuran vektor.

Fungsi AI terkelola

Fungsi AI terkelola dibuat khusus untuk mengotomatiskan tugas rutin, seperti klasifikasi, pengurutan, atau pemfilteran. Fungsi ini menggunakan Gemini dan tidak memerlukan penyesuaian. BigQuery menggunakan rekayasa perintah dan memilih model serta parameter yang sesuai untuk digunakan dalam tugas tertentu guna mengoptimalkan kualitas dan konsistensi hasil Anda. Setiap fungsi menampilkan nilai skalar, seperti BOOL, FLOAT64, atau STRING, dan tidak menyertakan informasi status tambahan dari model. Fungsi AI terkelola berikut tersedia:

  • AI.IF: Memfilter data tekstual atau multi-modal, seperti dalam klausa WHERE atau JOIN, berdasarkan perintah. Misalnya, Anda dapat memfilter deskripsi produk berdasarkan deskripsi item yang cocok untuk hadiah.
  • AI.SCORE: Beri peringkat input berdasarkan perintah untuk memberi peringkat baris menurut kualitas, kemiripan, atau kriteria lainnya. Anda dapat menggunakan fungsi ini dalam klausa ORDER BY untuk mengekstrak K item teratas menurut skor. Misalnya, Anda dapat menemukan 10 ulasan pengguna yang paling positif atau negatif untuk suatu produk.
  • AI.CLASSIFY: Mengklasifikasikan teks ke dalam kategori yang ditentukan pengguna. Anda dapat menggunakan fungsi ini dalam klausa GROUP BY untuk mengelompokkan input menurut kategori yang Anda tentukan. Misalnya, Anda dapat mengklasifikasikan tiket dukungan berdasarkan apakah tiket tersebut terkait dengan penagihan, pengiriman, kualitas produk, atau hal lainnya.

Untuk tutorial yang menunjukkan contoh cara menggunakan fungsi ini, lihat Melakukan analisis semantik dengan fungsi AI terkelola.

Untuk tutorial notebook yang menunjukkan cara menggunakan fungsi AI yang dikelola dan serbaguna, lihat Analisis semantik dengan fungsi AI.

Lokasi

Lokasi yang didukung untuk model pembuatan dan penyematan teks bervariasi berdasarkan jenis dan versi model yang Anda gunakan. Untuk mengetahui informasi selengkapnya, lihat Lokasi.

Harga

Anda akan dikenai biaya untuk resource komputasi yang Anda gunakan untuk menjalankan kueri terhadap model. Model jarak jauh melakukan panggilan ke model Vertex AI, sehingga kueri terhadap model jarak jauh juga dikenai biaya dari Vertex AI.

Untuk mengetahui informasi selengkapnya, lihat Harga BigQuery ML.

Melacak biaya

Fungsi AI generatif di BigQuery berfungsi dengan mengirim permintaan ke Vertex AI, yang dapat menimbulkan biaya. Untuk melacak biaya Vertex AI yang dikeluarkan oleh tugas yang Anda jalankan di BigQuery, ikuti langkah-langkah berikut:

  1. Melihat laporan penagihan di Penagihan Cloud.

  2. Gunakan filter untuk menyaring hasil.

    Untuk layanan, pilih Vertex AI.

  3. Untuk melihat biaya tugas tertentu, filter menurut label.

    Tetapkan kunci ke bigquery_job_id_prefix dan nilai ke ID tugas tugas Anda. Jika ID tugas Anda lebih panjang dari 63 karakter, gunakan hanya 63 karakter pertama. Jika ID tugas Anda berisi karakter huruf besar, ubah menjadi huruf kecil. Atau, Anda dapat mengaitkan tugas dengan label kustom untuk membantu Anda mencarinya nanti.

Diperlukan waktu hingga 24 jam agar beberapa tagihan muncul di Cloud Billing.

Langkah berikutnya