Ringkasan indeks AI
Indeks AI memungkinkan Anda melakukan penelusuran bahasa alami di seluruh kolom tabel
tanpa membuat embedding atau mengelola model secara manual. Anda dapat menggunakan fungsi
AI.SEARCH
untuk mengkueri data, sementara BigQuery secara otomatis
menangani pemilihan kolom, pengoptimalan indeks, dan pemeliharaan berkelanjutan.
Tentang indeks AI
Indeks AI adalah abstraksi pengindeksan terkelola yang mengoptimalkan dirinya sendiri, yang memungkinkan Anda menggunakan penelusuran bahasa alami di satu atau beberapa kolom dalam tabel BigQuery dengan fungsi AI.SEARCH.
Gunakan indeks AI jika Anda menginginkan penelusuran bahasa alami di satu atau beberapa kolom teks tanpa mengelola model embedding, kolom embedding, atau indeks vektor. Jika Anda memerlukan model embedding tertentu, atau opsi indeks vektor kustom,
buat embedding dan
buat indeks vektor.
Indeks AI BigQuery membantu Anda melakukan tugas berikut dengan lebih efisien:
- Melakukan penelusuran bahasa alami tanpa mengelola model: Anda dapat menelusuri data menggunakan kueri bahasa alami tanpa membuat embedding atau mengonfigurasi indeks vektor.
- Pemilihan kolom otomatis: saat Anda membuat indeks AI dengan opsi
AUTO COLUMNS, BigQuery akan otomatis mengidentifikasi dan memilih kolom kandidat dalam tabel untuk diindeks, atau memungkinkan Anda menentukan daftar kolom eksplisit untuk disertakan. - Pengindeksan adaptif: BigQuery otomatis menentukan dan menerapkan strategi pengindeksan dan pengambilan yang optimal untuk data dan kueri Anda.
- Siklus proses yang terkelola sepenuhnya: saat data tabel Anda berubah, BigQuery otomatis mengelola pembuatan, pemeliharaan, pembaruan, dan pemuatan ulang indeks, tanpa mengharuskan Anda mengelola artefak AI yang mendasarinya.
Pengelolaan workload
Secara default, BigQuery menggunakan slot on-demand dan kumpulan slot bersama untuk menangani pemrosesan latar belakang yang diperlukan untuk membangun, memperbarui, dan mengoptimalkan indeks AI. Untuk memastikan performa pengindeksan yang dapat diprediksi dan konsisten pada workload produksi yang lebih besar, atau untuk membuat indeks AI pada tabel dengan lebih dari 1.000.000 baris, lakukan hal berikut:
- Membuat pemesanan di region tempat tabel Anda berada
- Tetapkan project Anda ke pemesanan dengan
job_typeditetapkan keBACKGROUND.
Jika ada pemesanan BACKGROUND, BigQuery akan menggunakannya untuk menjalankan tugas latar belakang yang mengelola indeks AI.
Harga
Biaya indeks AI termasuk dalam kategori berikut:
- Pernyataan DDL: tidak ada biaya tambahan untuk menjalankan pernyataan
CREATE AI INDEXdanDROP AI INDEX. - Pemrosesan data indeks latar belakang (tugas
gc_): semua pemrosesan data berjalan langsung dalam BigQuery menggunakan slot BigQuery. Secara default, BigQuery menggunakan slot on-demand untuk menangani tugas ini, dan project tabel ditagih sesuai dengan model penagihan on-demand DML. Jika pemesananBACKGROUNDditetapkan ke project, BigQuery akan menggunakan pemesananBACKGROUNDuntuk menjalankan tugas DML latar belakang ini, dan pemesanan akan ditagih untuk penggunaan waktu slot. Untuk mempelajari lebih lanjut, lihat Melacak biaya tugas latar belakang. - Pembuatan embedding: pembuatan embedding untuk indeks AI, termasuk embedding yang dibuat untuk kueri
AI.SEARCHpada tabel dengan indeks AI, ditagih sesuai tarif yang dipublikasikan untuk model dasar yang digunakan indeks AI. Google dapat memperbarui model default yang digunakan oleh indeks AI dari waktu ke waktu untuk siklus proses model atau peningkatan performa, dan menagih sesuai harga BigQuery yang dipublikasikan untuk model tersebut. - Pelatihan dan pengoptimalan indeks: tidak ada biaya tambahan untuk pemrosesan yang diperlukan untuk melatih dan mengoptimalkan struktur indeks saat Anda menggunakan gabungan slot bersama default, asalkan ukuran total data tabel yang diindeks berada di bawah batas organisasi Anda.
- Penyimpanan: Indeks AI akan dikenai biaya penyimpanan selama indeks tersebut ada di tabel. Anda dapat melihat ukuran penyimpanan indeks AI di kolom
total_logical_bytespada tampilanINFORMATION_SCHEMA.AI_INDEXES. - Kueri: kueri yang menggunakan fungsi
AI.SEARCHakan ditagih sesuai harga komputasi BigQuery standar. Pembuatan embedding untuk kueri ditagih seperti yang dijelaskan sebelumnya dalam daftar ini.
Batasan pada indeks AI
Saat Anda menggunakan indeks AI, batasan berikut berlaku:
- Jika teks gabungan dari kolom yang diindeks dalam baris sangat panjang, seperti dokumen lengkap atau banyak kolom
STRINGyang panjang, hanya sebagian teks yang digunakan untuk penelusuran. Untuk memastikan kolom yang paling informatif digunakan, tentukan daftar kolom eksplisit diCREATE AI INDEXdengan kolom sinyal tertinggi dicantumkan terlebih dahulu. - Kueri yang memerlukan pencocokan persis pada nilai ID tanpa makna bahasa alami, seperti ID, UUID, hash, atau kode sistem, tidak didukung. Secara default,
AUTO COLUMNSmenyertakan semua kolom STRING tingkat teratas tanpa memfilter kolom ID buram. Untuk mengecualikan kolom ID buram dari indeks AI, tentukan daftar kolom eksplisit diCREATE AI INDEX. - Kueri yang berisi batasan numerik yang ketat atau memerlukan pemfilteran terstruktur pada kolom non-
STRINGtidak didukung oleh teks penelusuran natural language saja. Terapkan filter terstruktur atau numerik menggunakan klausaWHEREdalam subkueri pemfilteran di awal. - Kualitas penelusuran dapat menurun jika indeks AI menyertakan kolom dengan teks yang tidak mendeskripsikan baris, seperti log mentah, stack trace, URL, atau string yang dihasilkan mesin. Untuk mengecualikan kolom ini, cantumkan kolom yang akan diindeks, bukan menggunakan
AUTO COLUMNS. - Pernyataan
CREATE OR REPLACE AI INDEXdanALTER AI INDEXtidak didukung. Anda juga tidak dapat menghapus, mengganti nama, atau mengubah jenis data kolom sumber yang disertakan dalam indeks AI. Untuk mengubah kolom yang diindeks, hapus indeks AI dan buat lagi. Operasi tabel berikut tidak didukung pada tabel dengan indeks AI. Untuk melakukan operasi ini, hapus indeks AI.
- Buat tabel dari skema tabel (
CREATE TABLE ... LIKE). - Menyalin tabel (
bq cpatauCREATE TABLE ... COPY), termasuk salinan lintas region, atau menyalin data ke tabel yang sudah ada yang memiliki indeks AI. - Clone tabel (
CREATE TABLE ... CLONE). - Membuat snapshot tabel (
CREATE SNAPSHOT TABLE). - Ganti nama tabel (
ALTER TABLE ... RENAME TO). - Pulihkan tabel (
RESTORE TABLE).
- Buat tabel dari skema tabel (
Langkah berikutnya
- Pelajari cara menggunakan indeks AI.
- Pelajari cara menelusuri tabel menggunakan fungsi
AI.SEARCH.