Google menggunakan teknologi AI untuk menerjemahkan konten ke dalam bahasa pilihan Anda. Terjemahan AI mungkin mengandung kesalahan.

Menyesuaikan performa kueri vektor di AlloyDB untuk PostgreSQL

Menyesuaikan indeks vektor di AlloyDB untuk PostgreSQL memungkinkan Anda mengoptimalkan kecepatan eksekusi kueri dan perolehan penelusuran untuk workload penelusuran vektor. Anda dapat menyesuaikan parameter build indeks dan kueri untuk indeks ScaNN, IVF, IVFFlat, dan HNSW agar sesuai dengan ukuran set data dan persyaratan performa Anda.

Sebelum memulai

Sebelum Anda membuat indeks ScaNN, selesaikan langkah-langkah berikut:

Buat tabel dengan data Anda.
Untuk menghindari masalah kehabisan memori saat Anda membuat indeks ScaNN, pastikan flag database maintenance_work_mem dan shared_buffers ditetapkan ke nilai yang lebih kecil dari total memori mesin.

Menyesuaikan indeks ScaNN

Untuk menentukan jumlah level yang diperlukan untuk indeks ScaNN, lihat tabel berikut.

Jumlah baris vektor dalam tabel Anda	Jumlah level untuk indeks ScaNN Anda
[0..10 juta]	Dua
[10 juta..100 juta]	Pilih salah satu metrik berikut untuk diprioritaskan: Perolehan penelusuran: dua Waktu pembuatan indeks: tiga
[100 million..1 billion]	Pilih salah satu metrik berikut untuk diprioritaskan: Search recall: three Waktu pembuatan indeks: empat
[1 billion..10 billion]	Empat

Gunakan indeks ScaNN berikut sebagai contoh untuk menyesuaikan parameter untuk tabel dengan 1 juta baris.

Indeks hierarki dua tingkat

SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my_scann_index ON my_table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 1/2)]);

Indeks hierarki tiga tingkat

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my_scann_index ON my_table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 2/3)], max_num_levels = 2);

Indeks hierarki empat tingkat

SET LOCAL scann.num_leaves_to_search = 100;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my_scann_index ON my_table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 3/4)], max_num_levels = 3);

Untuk mengetahui informasi selengkapnya tentang indeks ScaNN, lihat halaman berikut:

Menangani pembatalan DML karena akselerasi dengan columnar engine

Jika Anda memilih untuk mempercepat penelusuran vektor dengan mesin kolom, perlu diketahui bahwa pembatalan DML dan DDL pada tabel dasar dapat memengaruhi performa kueri vektor. Jika throughput DML tinggi, pertimbangkan untuk menyesuaikan flag database google_columnar_engine.refresh_threshold_percentage atau memperbarui indeks secara manual menggunakan perintah google_columnar_engine_refresh_index.

Menganalisis kueri Anda

Gunakan perintah EXPLAIN ANALYZE untuk menganalisis Query Insights Anda seperti yang ditunjukkan dalam contoh kueri SQL berikut.

  EXPLAIN ANALYZE SELECT result-column
  FROM my_table
  ORDER BY EMBEDDING_COLUMN <-> embedding('text-embedding-005', 'What is a database?')::vector
  LIMIT 1;

Contoh respons QUERY PLAN mencakup informasi seperti waktu yang diperlukan, jumlah baris yang dipindai atau ditampilkan, dan resource yang digunakan.

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my_scann_index on my_table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <-> embedding('text-embedding-005', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

Melihat metrik indeks vektor

Anda dapat menggunakan metrik indeks vektor untuk meninjau performa indeks vektor, mengidentifikasi area yang perlu ditingkatkan, dan menyesuaikan indeks berdasarkan metrik, jika diperlukan. Tampilan pg_stat_ann_indexes membantu Anda memahami status pemanfaatan indeks, sedangkan tampilan pg_stat_ann_index_creation memberikan informasi tentang baris yang dibuat pada saat pembuatan indeks.

Untuk melihat metrik pemakaian indeks, jalankan perintah berikut:

SELECT * FROM pg_stat_ann_indexes;

Anda akan melihat output yang mirip dengan berikut ini:

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                  | 271236
indexrelid             | 271242
schemaname             | public
relname                | t1
indexrelname           | t1_ix1
indextype              | scann
indexconfig            | {num_leaves=100,max_num_levels=1,quantizer=SQ8}
indexsize              | 832 kB
indexscan              | 0
insertcount            | 250
deletecount            | 0
updatecount            | 0
partitioncount         | 100
distribution           | {"average": 3.54, "maximum": 37, "minimum": 0, "outliers": [37, 12, 11, 10, 10, 9, 9, 9, 9, 9]}
distributionpercentile |{"10": { "num_vectors": 0, "num_partitions": 0 }, "25": { "num_vectors": 0, "num_partitions": 30 }, "50": { "num_vectors": 3, "num_partitions": 30 }, "75": { "num_vectors": 5, "num_partitions": 19 }, "90": { "num_vectors": 7, "num_partitions": 11 }, "95": { "num_vectors": 9, "num_partitions": 5 }, "99": { "num_vectors": 12, "num_partitions": 4 }, "100": { "num_vectors": 37, "num_partitions": 1 }}

Untuk melihat jumlah baris yang dibuat pada saat pembuatan indeks, jalankan perintah berikut:

SELECT * FROM pg_stat_ann_index_creation;