Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Ottimizzare le prestazioni delle query vettoriali in AlloyDB per PostgreSQL

Questa pagina descrive come ottimizzare gli indici per ottenere prestazioni delle query più veloci e un migliore richiamo in AlloyDB per PostgreSQL.

Prima di iniziare

Prima di creare un indice ScaNN, completa le seguenti operazioni:

Crea una tabella con i tuoi dati.
Per evitare problemi di memoria insufficiente durante la creazione dell'indice ScaNN, assicurati che i flag di database maintenance_work_mem e shared_buffers siano impostati su un valore inferiore alla memoria totale della macchina.
Per utilizzare gli indici a quattro livelli, devi prima abilitare la funzionalità Anteprima per la tua istanza AlloyDB. Per attivare la funzionalità Anteprima, scegli uno dei seguenti due metodi:
- Attiva il flag di database scann.enable_preview_features.
  
  Per saperne di più sulla configurazione dei flag di database, vedi Configurare i flag di database.
- Imposta il flag del database scann.max_allowed_num_levels a livello di sessione su 3.
```
SET scann.max_allowed_num_levels = 3;
```

Ottimizzare un indice ScaNN

Per determinare il numero di livelli necessari per l'indice ScaNN, consulta la seguente tabella.

Numero di righe di vettori nella tabella	Numero di livelli per l'indice ScaNN
[0..10 milioni]	Due
[10 milioni..100 milioni]	Scegli una delle seguenti metriche da dare la priorità: Richiamo della ricerca: due Tempo di creazione dell'indice: tre
[100 milioni..1 miliardo]	Scegli una delle seguenti metriche da dare la priorità: Richiamo della ricerca: tre Tempo di compilazione dell'indice: quattro (in anteprima)
[1 miliardo..10 miliardi]	Quattro (in anteprima)

Utilizza i seguenti indici ScaNN come esempi per l'ottimizzazione dei parametri per una tabella con 1 milione di righe.

Indice ad albero a due livelli

SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my_scann_index ON my_table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 1/2)]);

Indice ad albero a tre livelli

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my_scann_index ON my_table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 2/3)], max_num_levels = 2);

Indice ad albero a quattro livelli

SET LOCAL scann.num_leaves_to_search = 100;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 3/4)], max_num_levels = 3);

Per saperne di più sugli indici ScaNN, consulta le seguenti pagine:

Gestire le invalidazioni DML dovute all'accelerazione con il motore colonnare

Se hai scelto di accelerare le ricerche vettoriali con il motore colonnare, tieni presente che le invalidazioni DML e DDL sulle tabelle di base possono influire sul rendimento delle query vettoriali. In caso di throughput DML elevato, valuta la possibilità di ottimizzare il flag del database google_columnar_engine.refresh_threshold_percentage o di aggiornare manualmente l'indice utilizzando il comando google_columnar_engine_refresh_index.

Analizzare le query

Utilizza il comando EXPLAIN ANALYZE per analizzare gli approfondimenti sulle query, come mostrato nella seguente query SQL di esempio.

  EXPLAIN ANALYZE SELECT result-column
  FROM my_table
  ORDER BY EMBEDDING_COLUMN <-> embedding('text-embedding-005', 'What is a database?')::vector
  LIMIT 1;

La risposta di esempio QUERY PLAN include informazioni quali il tempo impiegato, il numero di righe scansionate o restituite e le risorse utilizzate.

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my_scann_index on my_table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <-> embedding('text-embedding-005', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

Visualizzare le metriche dell'indice vettoriale

Puoi utilizzare le metriche dell'indice vettoriale per esaminare il rendimento dell'indice vettoriale, identificare le aree di miglioramento e ottimizzare l'indice in base alle metriche, se necessario. La visualizzazione pg_stat_ann_indexes ti aiuta a comprendere lo stato di utilizzo dell'indice, mentre la visualizzazione pg_stat_ann_index_creation fornisce informazioni sulle righe create al momento della creazione dell'indice.

Per visualizzare le metriche di utilizzo dell'indice, esegui questo comando:

SELECT * FROM pg_stat_ann_indexes;

Vedrai un output simile al seguente:

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                  | 271236
indexrelid             | 271242
schemaname             | public
relname                | t1
indexrelname           | t1_ix1
indextype              | scann
indexconfig            | {num_leaves=100,max_num_levels=1,quantizer=SQ8}
indexsize              | 832 kB
indexscan              | 0
insertcount            | 250
deletecount            | 0
updatecount            | 0
partitioncount         | 100
distribution           | {"average": 3.54, "maximum": 37, "minimum": 0, "outliers": [37, 12, 11, 10, 10, 9, 9, 9, 9, 9]}
distributionpercentile |{"10": { "num_vectors": 0, "num_partitions": 0 }, "25": { "num_vectors": 0, "num_partitions": 30 }, "50": { "num_vectors": 3, "num_partitions": 30 }, "75": { "num_vectors": 5, "num_partitions": 19 }, "90": { "num_vectors": 7, "num_partitions": 11 }, "95": { "num_vectors": 9, "num_partitions": 5 }, "99": { "num_vectors": 12, "num_partitions": 4 }, "100": { "num_vectors": 37, "num_partitions": 1 }}

Per visualizzare il numero di righe create al momento della creazione dell'indice, esegui questo comando:

SELECT * FROM pg_stat_ann_index_creation;