Ringkasan indeks AI

Indeks AI memungkinkan Anda melakukan penelusuran bahasa alami di seluruh kolom tabel tanpa membuat embedding atau mengelola model secara manual. Anda dapat menggunakan fungsi AI.SEARCH untuk mengkueri data, sementara BigQuery secara otomatis menangani pemilihan kolom, pengoptimalan indeks, dan pemeliharaan berkelanjutan.

Tentang indeks AI

Indeks AI adalah abstraksi pengindeksan terkelola yang mengoptimalkan dirinya sendiri, yang memungkinkan Anda menggunakan penelusuran bahasa alami di satu atau beberapa kolom dalam tabel BigQuery dengan fungsi AI.SEARCH. Gunakan indeks AI jika Anda menginginkan penelusuran bahasa alami di satu atau beberapa kolom teks tanpa mengelola model embedding, kolom embedding, atau indeks vektor. Jika Anda memerlukan model embedding tertentu, atau opsi indeks vektor kustom, buat embedding dan buat indeks vektor.

Indeks AI BigQuery membantu Anda melakukan tugas berikut dengan lebih efisien:

  • Melakukan penelusuran bahasa alami tanpa mengelola model: Anda dapat menelusuri data menggunakan kueri bahasa alami tanpa membuat embedding atau mengonfigurasi indeks vektor.
  • Pemilihan kolom otomatis: saat Anda membuat indeks AI dengan opsi AUTO COLUMNS, BigQuery akan otomatis mengidentifikasi dan memilih kolom kandidat dalam tabel untuk diindeks, atau memungkinkan Anda menentukan daftar kolom eksplisit untuk disertakan.
  • Pengindeksan adaptif: BigQuery otomatis menentukan dan menerapkan strategi pengindeksan dan pengambilan yang optimal untuk data dan kueri Anda.
  • Siklus proses yang terkelola sepenuhnya: saat data tabel Anda berubah, BigQuery otomatis mengelola pembuatan, pemeliharaan, pembaruan, dan pemuatan ulang indeks, tanpa mengharuskan Anda mengelola artefak AI yang mendasarinya.

Pengelolaan workload

Secara default, BigQuery menggunakan slot on-demand dan kumpulan slot bersama untuk menangani pemrosesan latar belakang yang diperlukan untuk membangun, memperbarui, dan mengoptimalkan indeks AI. Untuk memastikan performa pengindeksan yang dapat diprediksi dan konsisten pada workload produksi yang lebih besar, atau untuk membuat indeks AI pada tabel dengan lebih dari 1.000.000 baris, lakukan hal berikut:

  • Membuat pemesanan di region tempat tabel Anda berada
  • Tetapkan project Anda ke pemesanan dengan job_type ditetapkan ke BACKGROUND.

Jika ada pemesanan BACKGROUND, BigQuery akan menggunakannya untuk menjalankan tugas latar belakang yang mengelola indeks AI.

Harga

Biaya indeks AI termasuk dalam kategori berikut:

  • Pernyataan DDL: tidak ada biaya tambahan untuk menjalankan pernyataan CREATE AI INDEX dan DROP AI INDEX.
  • Pemrosesan data indeks latar belakang (tugas gc_): semua pemrosesan data berjalan langsung dalam BigQuery menggunakan slot BigQuery. Secara default, BigQuery menggunakan slot on-demand untuk menangani tugas ini, dan project tabel ditagih sesuai dengan model penagihan on-demand DML. Jika pemesanan BACKGROUND ditetapkan ke project, BigQuery akan menggunakan pemesanan BACKGROUND untuk menjalankan tugas DML latar belakang ini, dan pemesanan akan ditagih untuk penggunaan waktu slot. Untuk mempelajari lebih lanjut, lihat Melacak biaya tugas latar belakang.
  • Pembuatan embedding: pembuatan embedding untuk indeks AI, termasuk embedding yang dibuat untuk kueri AI.SEARCH pada tabel dengan indeks AI, ditagih sesuai tarif yang dipublikasikan untuk model dasar yang digunakan indeks AI. Google dapat memperbarui model default yang digunakan oleh indeks AI dari waktu ke waktu untuk siklus proses model atau peningkatan performa, dan menagih sesuai harga BigQuery yang dipublikasikan untuk model tersebut.
  • Pelatihan dan pengoptimalan indeks: tidak ada biaya tambahan untuk pemrosesan yang diperlukan untuk melatih dan mengoptimalkan struktur indeks saat Anda menggunakan gabungan slot bersama default, asalkan ukuran total data tabel yang diindeks berada di bawah batas organisasi Anda.
  • Penyimpanan: Indeks AI akan dikenai biaya penyimpanan selama indeks tersebut ada di tabel. Anda dapat melihat ukuran penyimpanan indeks AI di kolom total_logical_bytes pada tampilan INFORMATION_SCHEMA.AI_INDEXES.
  • Kueri: kueri yang menggunakan fungsi AI.SEARCH akan ditagih sesuai harga komputasi BigQuery standar. Pembuatan embedding untuk kueri ditagih seperti yang dijelaskan sebelumnya dalam daftar ini.

Batasan pada indeks AI

Saat Anda menggunakan indeks AI, batasan berikut berlaku:

  • Jika teks gabungan dari kolom yang diindeks dalam baris sangat panjang, seperti dokumen lengkap atau banyak kolom STRING yang panjang, hanya sebagian teks yang digunakan untuk penelusuran. Untuk memastikan kolom yang paling informatif digunakan, tentukan daftar kolom eksplisit di CREATE AI INDEX dengan kolom sinyal tertinggi dicantumkan terlebih dahulu.
  • Kueri yang memerlukan pencocokan persis pada nilai ID tanpa makna bahasa alami, seperti ID, UUID, hash, atau kode sistem, tidak didukung. Secara default, AUTO COLUMNS menyertakan semua kolom STRING tingkat teratas tanpa memfilter kolom ID buram. Untuk mengecualikan kolom ID buram dari indeks AI, tentukan daftar kolom eksplisit di CREATE AI INDEX.
  • Kueri yang berisi batasan numerik yang ketat atau memerlukan pemfilteran terstruktur pada kolom non-STRING tidak didukung oleh teks penelusuran natural language saja. Terapkan filter terstruktur atau numerik menggunakan klausa WHERE dalam subkueri pemfilteran di awal.
  • Kualitas penelusuran dapat menurun jika indeks AI menyertakan kolom dengan teks yang tidak mendeskripsikan baris, seperti log mentah, stack trace, URL, atau string yang dihasilkan mesin. Untuk mengecualikan kolom ini, cantumkan kolom yang akan diindeks, bukan menggunakan AUTO COLUMNS.
  • Pernyataan CREATE OR REPLACE AI INDEX dan ALTER AI INDEX tidak didukung. Anda juga tidak dapat menghapus, mengganti nama, atau mengubah jenis data kolom sumber yang disertakan dalam indeks AI. Untuk mengubah kolom yang diindeks, hapus indeks AI dan buat lagi.
  • Operasi tabel berikut tidak didukung pada tabel dengan indeks AI. Untuk melakukan operasi ini, hapus indeks AI.

    • Buat tabel dari skema tabel (CREATE TABLE ... LIKE).
    • Menyalin tabel (bq cp atau CREATE TABLE ... COPY), termasuk salinan lintas region, atau menyalin data ke tabel yang sudah ada yang memiliki indeks AI.
    • Clone tabel (CREATE TABLE ... CLONE).
    • Membuat snapshot tabel (CREATE SNAPSHOT TABLE).
    • Ganti nama tabel (ALTER TABLE ... RENAME TO).
    • Pulihkan tabel (RESTORE TABLE).

Langkah berikutnya