Google menggunakan teknologi AI untuk menerjemahkan konten ke dalam bahasa pilihan Anda. Terjemahan AI mungkin mengandung kesalahan.

Menyesuaikan performa kueri vektor di AlloyDB untuk PostgreSQL

Menyesuaikan indeks vektor di AlloyDB untuk PostgreSQL memungkinkan Anda mengoptimalkan kecepatan eksekusi kueri dan mengingat penelusuran untuk workload penelusuran vektor. Anda dapat menyesuaikan parameter build indeks dan kueri untuk indeks ScaNN, IVF, IVFFlat, dan HNSW agar sesuai dengan ukuran set data dan persyaratan performa Anda.

Sebelum memulai

Sebelum membuat indeks ScaNN, selesaikan langkah-langkah berikut:

Buat tabel dengan data Anda.
Untuk menghindari masalah kehabisan memori saat membuat indeks ScaNN, pastikan flag database maintenance_work_mem dan shared_buffers ditetapkan ke nilai yang lebih kecil dari total memori mesin.
Untuk menggunakan indeks empat tingkat, Anda harus mengaktifkan Pratinjau fitur untuk instance AlloyDB terlebih dahulu. Untuk mengaktifkan fitur Pratinjau, pilih salah satu dari dua metode berikut:
- Aktifkan flag database scann.enable_preview_features.
  
  Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi flag database, lihat Mengonfigurasi flag database.
- Tetapkan flag database tingkat sesi scann.max_allowed_num_levels ke 3.
```
SET scann.max_allowed_num_levels = 3;
```

Menyesuaikan indeks ScaNN

Untuk menentukan jumlah tingkat yang diperlukan untuk indeks ScaNN, lihat tabel berikut.

Jumlah baris vektor dalam tabel	Jumlah tingkat untuk indeks ScaNN
[0..10 juta]	Dua
[10 juta..100 juta]	Pilih salah satu metrik berikut untuk diprioritaskan: Mengingat penelusuran: dua Waktu build indeks: tiga
[100 juta..1 miliar]	Pilih salah satu metrik berikut untuk diprioritaskan: Mengingat penelusuran: tiga Waktu build indeks: empat (dalam Pratinjau)
[1 miliar..10 miliar]	Empat (dalam Pratinjau)

Gunakan indeks ScaNN berikut sebagai contoh parameter penyesuaian untuk tabel dengan 1 juta baris.

Indeks hierarki dua tingkat

SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my_scann_index ON my_table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 1/2)]);

Indeks hierarki tiga tingkat

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my_scann_index ON my_table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 2/3)], max_num_levels = 2);

Indeks hierarki empat tingkat

SET LOCAL scann.num_leaves_to_search = 100;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 3/4)], max_num_levels = 3);

Untuk mengetahui informasi selengkapnya tentang indeks ScaNN, lihat halaman berikut:

Menangani pembatalan DML karena akselerasi dengan columnar engine

Jika Anda memilih untuk mempercepat penelusuran vektor dengan columnar engine, perlu diketahui bahwa pembatalan DML dan DDL pada tabel dasar dapat memengaruhi performa kueri vektor. Jika throughput DML tinggi, pertimbangkan untuk menyesuaikan flag database google_columnar_engine.refresh_threshold_percentage atau memperbarui indeks secara manual menggunakan perintah google_columnar_engine_refresh_index.

Menganalisis kueri

Gunakan perintah EXPLAIN ANALYZE untuk menganalisis Query Insights Anda seperti yang ditunjukkan dalam contoh kueri SQL berikut.

  EXPLAIN ANALYZE SELECT result-column
  FROM my_table
  ORDER BY EMBEDDING_COLUMN <-> embedding('text-embedding-005', 'What is a database?')::vector
  LIMIT 1;

Respons contoh QUERY PLAN mencakup informasi seperti waktu yang diperlukan, jumlah baris yang dipindai atau ditampilkan, dan resource yang digunakan.

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my_scann_index on my_table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <-> embedding('text-embedding-005', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

Melihat metrik indeks vektor

Anda dapat menggunakan metrik indeks vektor untuk meninjau performa indeks vektor, mengidentifikasi area yang perlu ditingkatkan, dan menyesuaikan indeks berdasarkan metrik, jika diperlukan. Tampilan pg_stat_ann_indexes membantu Anda memahami status penggunaan indeks, sedangkan tampilan pg_stat_ann_index_creation memberikan informasi tentang baris yang dibuat pada saat pembuatan indeks.

Untuk melihat metrik penggunaan indeks, jalankan perintah berikut:

SELECT * FROM pg_stat_ann_indexes;

Anda akan melihat output yang mirip dengan berikut ini:

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                  | 271236
indexrelid             | 271242
schemaname             | public
relname                | t1
indexrelname           | t1_ix1
indextype              | scann
indexconfig            | {num_leaves=100,max_num_levels=1,quantizer=SQ8}
indexsize              | 832 kB
indexscan              | 0
insertcount            | 250
deletecount            | 0
updatecount            | 0
partitioncount         | 100
distribution           | {"average": 3.54, "maximum": 37, "minimum": 0, "outliers": [37, 12, 11, 10, 10, 9, 9, 9, 9, 9]}
distributionpercentile |{"10": { "num_vectors": 0, "num_partitions": 0 }, "25": { "num_vectors": 0, "num_partitions": 30 }, "50": { "num_vectors": 3, "num_partitions": 30 }, "75": { "num_vectors": 5, "num_partitions": 19 }, "90": { "num_vectors": 7, "num_partitions": 11 }, "95": { "num_vectors": 9, "num_partitions": 5 }, "99": { "num_vectors": 12, "num_partitions": 4 }, "100": { "num_vectors": 37, "num_partitions": 1 }}

Untuk melihat jumlah baris yang dibuat pada saat pembuatan indeks, jalankan perintah berikut:

SELECT * FROM pg_stat_ann_index_creation;