Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Ottimizzare le prestazioni delle query vettoriali in AlloyDB per PostgreSQL

Questa pagina descrive come ottimizzare gli indici per ottenere prestazioni delle query più veloci e un migliore richiamo in AlloyDB per PostgreSQL.

Prima di iniziare

Prima di creare un indice ScaNN, completa i seguenti passaggi:

Crea una tabella con i tuoi dati.
Per evitare problemi di memoria insufficiente durante la creazione dell'indice ScaNN, assicurati che the maintenance_work_mem and shared_buffers i flag di database siano impostati su un valore inferiore alla memoria totale della macchina.
Per utilizzare gli indici a quattro livelli, devi prima abilitare la funzionalità di anteprima per l'istanza AlloyDB. Per abilitare la funzionalità di anteprima, scegli uno dei due metodi seguenti:
- Abilita il scann.enable_preview_features flag di database.
  
  Per ulteriori informazioni sulla configurazione dei flag di database, consulta Configurare i flag di database.
- Imposta il flag di database a livello di sessione scann.max_allowed_num_levels su 3.
```
SET scann.max_allowed_num_levels = 3;
```

Ottimizzare un indice ScaNN

Per determinare il numero di livelli necessari per l'indice ScaNN, consulta la tabella seguente.

Numero di righe vettoriali nella tabella	Numero di livelli per l'indice ScaNN
[0-10 milioni]	Due
[10-100 milioni]	Scegli una delle seguenti metriche da dare la priorità: Richiamo di ricerca: due Tempo di creazione dell'indice: tre
[100 milioni-1 miliardo]	Scegli una delle seguenti metriche da dare la priorità: Richiamo di ricerca: tre Tempo di compilazione dell'indice: quattro (in anteprima)
[1-10 miliardi]	Quattro (in anteprima)

Utilizza i seguenti indici ScaNN come esempi per l'ottimizzazione dei parametri di una tabella con 1 milione di righe.

Indice ad albero a due livelli

SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my_scann_index ON my_table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 1/2)]);

Indice ad albero a tre livelli

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my_scann_index ON my_table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 2/3)], max_num_levels = 2);

Indice ad albero a quattro livelli

SET LOCAL scann.num_leaves_to_search = 100;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 3/4)], max_num_levels = 3);

Per ulteriori informazioni sugli indici ScaNN, consulta le seguenti pagine:

Gestire le invalidazioni DML dovute all'accelerazione con il motore colonnare

Se hai scelto di accelerare le ricerche vettoriali con il motore colonnare, tieni presente che le invalidazioni DML e DDL sulle tabelle di base possono influire sul rendimento delle query vettoriali. In caso di elevata velocità effettiva DML, valuta la possibilità di ottimizzare il flag di database google_columnar_engine.refresh_threshold_percentage o di aggiornare manualmente l'indice utilizzando il comando google_columnar_engine_refresh_index.

Analizzare le query

Utilizza il comando EXPLAIN ANALYZE per analizzare gli insight delle query, come mostrato nella seguente query SQL di esempio.

  EXPLAIN ANALYZE SELECT result-column
  FROM my_table
  ORDER BY EMBEDDING_COLUMN <-> embedding('text-embedding-005', 'What is a database?')::vector
  LIMIT 1;

La risposta di esempio QUERY PLAN include informazioni come il tempo impiegato, il numero di righe scansionate o restituite e le risorse utilizzate.

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my_scann_index on my_table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <-> embedding('text-embedding-005', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

Visualizzare le metriche dell'indice vettoriale

Puoi utilizzare le metriche dell'indice vettoriale per esaminare il rendimento dell'indice vettoriale, identificare le aree da migliorare e ottimizzare l'indice in base alle metriche, se necessario. La visualizzazione pg_stat_ann_indexes ti aiuta a comprendere lo stato di utilizzo dell'indice, mentre la visualizzazione pg_stat_ann_index_creation fornisce informazioni sulle righe create al momento della creazione dell'indice.

Per visualizzare le metriche di utilizzo dell'indice, esegui il comando seguente:

SELECT * FROM pg_stat_ann_indexes;

Vedrai un output simile al seguente:

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                  | 271236
indexrelid             | 271242
schemaname             | public
relname                | t1
indexrelname           | t1_ix1
indextype              | scann
indexconfig            | {num_leaves=100,max_num_levels=1,quantizer=SQ8}
indexsize              | 832 kB
indexscan              | 0
insertcount            | 250
deletecount            | 0
updatecount            | 0
partitioncount         | 100
distribution           | {"average": 3.54, "maximum": 37, "minimum": 0, "outliers": [37, 12, 11, 10, 10, 9, 9, 9, 9, 9]}
distributionpercentile |{"10": { "num_vectors": 0, "num_partitions": 0 }, "25": { "num_vectors": 0, "num_partitions": 30 }, "50": { "num_vectors": 3, "num_partitions": 30 }, "75": { "num_vectors": 5, "num_partitions": 19 }, "90": { "num_vectors": 7, "num_partitions": 11 }, "95": { "num_vectors": 9, "num_partitions": 5 }, "99": { "num_vectors": 12, "num_partitions": 4 }, "100": { "num_vectors": 37, "num_partitions": 1 }}

Per visualizzare il numero di righe create al momento della creazione dell'indice, esegui il comando seguente:

SELECT * FROM pg_stat_ann_index_creation;