L'ottimizzazione degli indici vettoriali in AlloyDB per PostgreSQL consente di ottimizzare la velocità di esecuzione delle query e il richiamo della ricerca per i workload di Vector Search. Puoi modificare i parametri di creazione e query degli indici ScaNN, IVF, IVFFlat e HNSW in base alle dimensioni del set di dati e ai requisiti di prestazioni.
Prima di iniziare
Prima di creare un indice ScaNN, completa i seguenti passaggi:
Crea una tabella con i tuoi dati.
Per evitare problemi di memoria insufficiente durante la creazione dell'indice ScaNN, assicurati che i flag di database
maintenance_work_memeshared_bufferssiano impostati su un valore inferiore alla memoria totale della macchina.
Ottimizza un indice ScaNN
Per determinare il numero di livelli necessari per l'indice ScaNN, consulta la tabella seguente.
| Numero di righe di vettori nella tabella | Numero di livelli per l'indice ScaNN |
|---|---|
| [0..10 million] | Due |
| [10 million..100 million] |
Scegli una delle seguenti metriche a cui dare la priorità:
|
| [100 million..1 billion] |
Scegli una delle seguenti metriche a cui dare la priorità:
|
| [1 billion..10 billion] | Quattro |
Utilizza i seguenti indici ScaNN come esempi per l'ottimizzazione dei parametri per una tabella con 1 milione di righe.
Indice ad albero a due livelli
SET LOCAL scann.num_leaves_to_search = 1; SET LOCAL scann.pre_reordering_num_neighbors=50; CREATE INDEX my_scann_index ON my_table USING scann (vector_column cosine) WITH (num_leaves = [power(1000000, 1/2)]);
Indice ad albero a tre livelli
SET LOCAL scann.num_leaves_to_search = 10; SET LOCAL scann.pre_reordering_num_neighbors=50; CREATE INDEX my_scann_index ON my_table USING scann (vector_column cosine) WITH (num_leaves = [power(1000000, 2/3)], max_num_levels = 2);
Indice ad albero a quattro livelli
SET LOCAL scann.num_leaves_to_search = 100; SET LOCAL scann.pre_reordering_num_neighbors=50; CREATE INDEX my_scann_index ON my_table USING scann (vector_column cosine) WITH (num_leaves = [power(1000000, 3/4)], max_num_levels = 3);
Per saperne di più sugli indici ScaNN, consulta le seguenti pagine:
Gestisci gli annullamenti di convalida DML dovuti all'accelerazione con il motore colonnare
Se hai scelto di accelerare le ricerche vettoriali con il motore colonnare, tieni presente che le invalidazioni DML e DDL sulle tabelle di base possono influire sulle prestazioni delle query vettoriali. In caso di throughput DML elevato, valuta la possibilità di ottimizzare il flag di database google_columnar_engine.refresh_threshold_percentage o di aggiornare manualmente l'indice utilizzando il comando google_columnar_engine_refresh_index.
Analizza le query
Utilizza il comando EXPLAIN ANALYZE per analizzare Query Insights, come mostrato nella query SQL di esempio seguente.
EXPLAIN ANALYZE SELECT result-column
FROM my_table
ORDER BY EMBEDDING_COLUMN <-> embedding('text-embedding-005', 'What is a database?')::vector
LIMIT 1;
La risposta di esempio QUERY PLAN include informazioni come il tempo impiegato, il numero di righe analizzate o restituite e le risorse utilizzate.
Limit (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
-> Index Scan using my_scann_index on my_table (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
Order By: (embedding_column <-> embedding('text-embedding-005', 'What is a database?')::vector(768))
Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms
Visualizza le metriche dell'indice vettoriale
Puoi utilizzare le metriche dell'indice vettoriale per esaminare le prestazioni dell'indice vettoriale, identificare le aree di miglioramento e ottimizzare l'indice in base alle metriche, se necessario. La vista pg_stat_ann_indexes ti aiuta a comprendere lo stato di utilizzo dell'indice, mentre la vista pg_stat_ann_index_creation fornisce informazioni sulle righe create al momento della creazione dell'indice.
Per visualizzare le metriche di utilizzo dell'indice, esegui questo comando:
SELECT * FROM pg_stat_ann_indexes;
Viene visualizzato un output simile al seguente:
-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid | 271236
indexrelid | 271242
schemaname | public
relname | t1
indexrelname | t1_ix1
indextype | scann
indexconfig | {num_leaves=100,max_num_levels=1,quantizer=SQ8}
indexsize | 832 kB
indexscan | 0
insertcount | 250
deletecount | 0
updatecount | 0
partitioncount | 100
distribution | {"average": 3.54, "maximum": 37, "minimum": 0, "outliers": [37, 12, 11, 10, 10, 9, 9, 9, 9, 9]}
distributionpercentile |{"10": { "num_vectors": 0, "num_partitions": 0 }, "25": { "num_vectors": 0, "num_partitions": 30 }, "50": { "num_vectors": 3, "num_partitions": 30 }, "75": { "num_vectors": 5, "num_partitions": 19 }, "90": { "num_vectors": 7, "num_partitions": 11 }, "95": { "num_vectors": 9, "num_partitions": 5 }, "99": { "num_vectors": 12, "num_partitions": 4 }, "100": { "num_vectors": 37, "num_partitions": 1 }}
Per visualizzare il numero di righe create al momento della creazione dell'indice, esegui questo comando:
SELECT * FROM pg_stat_ann_index_creation;
Viene visualizzato un output simile al seguente:
-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid | 271236
indexrelid | 271242
schemaname | public
relname | t1
indexrelname | t1_ix1
index_rows_at_creation_time | 262144
Per saperne di più sull'elenco completo delle metriche, consulta Metriche dell'indice vettoriale.