Ottimizzare le prestazioni delle query vettoriali in AlloyDB per PostgreSQL

L'ottimizzazione degli indici vettoriali in AlloyDB per PostgreSQL consente di ottimizzare la velocità di esecuzione delle query e il richiamo della ricerca per i workload di Vector Search. Puoi modificare i parametri di creazione e query degli indici ScaNN, IVF, IVFFlat e HNSW in base alle dimensioni del set di dati e ai requisiti di prestazioni.

Prima di iniziare

Prima di creare un indice ScaNN, completa i seguenti passaggi:

  • Crea una tabella con i tuoi dati.

  • Per evitare problemi di memoria insufficiente durante la creazione dell'indice ScaNN, assicurati che i flag di database maintenance_work_mem e shared_buffers siano impostati su un valore inferiore alla memoria totale della macchina.

Ottimizza un indice ScaNN

Per determinare il numero di livelli necessari per l'indice ScaNN, consulta la tabella seguente.

Numero di righe di vettori nella tabella Numero di livelli per l'indice ScaNN
[0..10 million] Due
[10 million..100 million]

Scegli una delle seguenti metriche a cui dare la priorità:

  • Richiamo della ricerca: due
  • Tempo di creazione dell'indice: tre
[100 million..1 billion]

Scegli una delle seguenti metriche a cui dare la priorità:

  • Richiamo della ricerca: tre
  • Tempo di creazione dell'indice: quattro
[1 billion..10 billion] Quattro

Utilizza i seguenti indici ScaNN come esempi per l'ottimizzazione dei parametri per una tabella con 1 milione di righe.

Indice ad albero a due livelli

SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my_scann_index ON my_table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 1/2)]);

Indice ad albero a tre livelli

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my_scann_index ON my_table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 2/3)], max_num_levels = 2);

Indice ad albero a quattro livelli

SET LOCAL scann.num_leaves_to_search = 100;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my_scann_index ON my_table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 3/4)], max_num_levels = 3);

Per saperne di più sugli indici ScaNN, consulta le seguenti pagine:

Gestisci gli annullamenti di convalida DML dovuti all'accelerazione con il motore colonnare

Se hai scelto di accelerare le ricerche vettoriali con il motore colonnare, tieni presente che le invalidazioni DML e DDL sulle tabelle di base possono influire sulle prestazioni delle query vettoriali. In caso di throughput DML elevato, valuta la possibilità di ottimizzare il flag di database google_columnar_engine.refresh_threshold_percentage o di aggiornare manualmente l'indice utilizzando il comando google_columnar_engine_refresh_index.

Analizza le query

Utilizza il comando EXPLAIN ANALYZE per analizzare Query Insights, come mostrato nella query SQL di esempio seguente.

  EXPLAIN ANALYZE SELECT result-column
  FROM my_table
  ORDER BY EMBEDDING_COLUMN <-> embedding('text-embedding-005', 'What is a database?')::vector
  LIMIT 1;

La risposta di esempio QUERY PLAN include informazioni come il tempo impiegato, il numero di righe analizzate o restituite e le risorse utilizzate.

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my_scann_index on my_table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <-> embedding('text-embedding-005', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

Visualizza le metriche dell'indice vettoriale

Puoi utilizzare le metriche dell'indice vettoriale per esaminare le prestazioni dell'indice vettoriale, identificare le aree di miglioramento e ottimizzare l'indice in base alle metriche, se necessario. La vista pg_stat_ann_indexes ti aiuta a comprendere lo stato di utilizzo dell'indice, mentre la vista pg_stat_ann_index_creation fornisce informazioni sulle righe create al momento della creazione dell'indice.

Per visualizzare le metriche di utilizzo dell'indice, esegui questo comando:

SELECT * FROM pg_stat_ann_indexes;

Viene visualizzato un output simile al seguente:

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                  | 271236
indexrelid             | 271242
schemaname             | public
relname                | t1
indexrelname           | t1_ix1
indextype              | scann
indexconfig            | {num_leaves=100,max_num_levels=1,quantizer=SQ8}
indexsize              | 832 kB
indexscan              | 0
insertcount            | 250
deletecount            | 0
updatecount            | 0
partitioncount         | 100
distribution           | {"average": 3.54, "maximum": 37, "minimum": 0, "outliers": [37, 12, 11, 10, 10, 9, 9, 9, 9, 9]}
distributionpercentile |{"10": { "num_vectors": 0, "num_partitions": 0 }, "25": { "num_vectors": 0, "num_partitions": 30 }, "50": { "num_vectors": 3, "num_partitions": 30 }, "75": { "num_vectors": 5, "num_partitions": 19 }, "90": { "num_vectors": 7, "num_partitions": 11 }, "95": { "num_vectors": 9, "num_partitions": 5 }, "99": { "num_vectors": 12, "num_partitions": 4 }, "100": { "num_vectors": 37, "num_partitions": 1 }}

Per visualizzare il numero di righe create al momento della creazione dell'indice, esegui questo comando:

SELECT * FROM pg_stat_ann_index_creation;

Viene visualizzato un output simile al seguente:

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                         | 271236
indexrelid                    | 271242
schemaname                    | public
relname                       | t1
indexrelname                  | t1_ix1
index_rows_at_creation_time   | 262144

Per saperne di più sull'elenco completo delle metriche, consulta Metriche dell'indice vettoriale.

Passaggi successivi