Questa pagina documenta la versione 18.3.0 di AlloyDB Omni che utilizza l'opzione di deployment RPM. Scegli un'altra opzione di deployment.

Google utilizza la tecnologia AI per tradurre i contenuti nella tua lingua preferita. Le traduzioni generate dall'AI potrebbero contenere errori.

Ottimizzare le prestazioni delle query sui vettori in AlloyDB Omni

Seleziona una versione della documentazione:

Questo documento descrive come ottimizzare gli indici per ottenere prestazioni delle query più veloci e un richiamo migliore in AlloyDB Omni.

Prima di iniziare

Prima di creare un indice ScaNN, completa i seguenti passaggi:

Assicurati che sia già stata creata una tabella con i tuoi dati.
Per evitare problemi durante la generazione dell'indice, assicurati che il valore impostato per il flag maintenance_work_mem e shared_buffers sia inferiore alla memoria totale della macchina.
Per utilizzare gli indici a quattro livelli, devi prima abilitare la funzionalità di anteprima per l'istanza. Per abilitare la funzionalità di anteprima, scegli uno dei due metodi seguenti:
- Abilita il scann.enable_preview_features flag di database.
- Imposta il flag di database scann.max_allowed_num_levels a livello di sessione su 3. sql SET scann.max_allowed_num_levels = 3;

Ottimizzare un indice `ScaNN`

Utilizza le seguenti indicazioni per determinare il numero di livelli necessari per l'indice ScaNN:

Per 0-10 milioni di righe: scegli un indice a due livelli.
Per 10-100 milioni di righe:
- Per dare la priorità al richiamo della ricerca, scegli un indice a due livelli.
- Per dare la priorità al tempo di compilazione dell'indice, scegli un indice a tre livelli.
Per 100 milioni - 1 miliardo di righe:
- Per dare la priorità al richiamo della ricerca, scegli un indice a tre livelli.
- Per dare la priorità al tempo di compilazione dell'indice, scegli un indice a quattro livelli (in anteprima).
Per 1-10 miliardi di righe: scegli un indice a quattro livelli (in anteprima).

Considera i seguenti esempi di indici ScaNN a due, tre e quattro livelli che mostrano come vengono impostati i parametri di ottimizzazione per una tabella con 1.000.000 di righe:

Indice a due livelli

-- Setting num_leaves to 1000 as power(1000000, 1/2) for two-level index
BEGIN;

SET LOCAL maintenance_work_mem = '300MB';

CREATE INDEX my_scann_index ON my_table
  USING scann (vector_column cosine)
  WITH (num_leaves = 1000);
END;

Indice a tre livelli

-- Setting num_leaves to 10000 as power(1000000, 2/3) for three-level index
BEGIN;

SET LOCAL maintenance_work_mem = '3000MB';

CREATE INDEX my_scann_index ON my_table
  USING scann (vector_column cosine)
  WITH (num_leaves = 10000, max_num_levels = 2);
END;

Indice a quattro livelli

(in anteprima)

-- Setting num_leaves to 31623 as power(1000000, 3/4) for four-level index
BEGIN;

SET LOCAL maintenance_work_mem = '9300MB';

CREATE INDEX my_scann_index ON my_table
  USING scann (vector_column cosine)
  WITH (num_leaves = 31623, max_num_levels = 3);
END;

Gestire le invalidazioni DML dovute all'accelerazione con il motore colonnare

Se hai scelto di accelerare le ricerche vettoriali con il motore colonnare, tieni presente che le invalidazioni DML e DDL sulle tabelle di base possono influire sul rendimento delle query vettoriali. In caso di un'elevata velocità effettiva DML, valuta la possibilità di ottimizzare il flag di database google_columnar_engine.refresh_threshold_percentage o di aggiornare manualmente l'indice utilizzando il comando google_columnar_engine_refresh_index.

Analizzare le query

Utilizza il comando EXPLAIN ANALYZE per analizzare gli insight delle query, come mostrato nella seguente query SQL di esempio.

  EXPLAIN ANALYZE SELECT result_column
  FROM my_table
  ORDER BY EMBEDDING_COLUMN <=> embedding('text-embedding-005', 'What is a database?')::vector
  LIMIT 1;

La risposta di esempio QUERY PLAN include informazioni come il tempo impiegato, il numero di righe sottoposte a scansione o restituite e le risorse utilizzate.

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my_scann_index on my_table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <=> embedding('text-embedding-005', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

Visualizzare le metriche dell'indice vettoriale

Puoi utilizzare le metriche dell'indice vettoriale per esaminare il rendimento dell'indice vettoriale, identificare le aree di miglioramento e ottimizzare l'indice in base alle metriche, se necessario.

Per visualizzare tutte le metriche dell'indice vettoriale, esegui la seguente query SQL, che utilizza la visualizzazione pg_stat_ann_indexes:

SELECT * FROM pg_stat_ann_indexes;

Vedrai un output simile al seguente:

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                  | 271236
indexrelid             | 271242
schemaname             | public
relname                | t1
indexrelname           | t1_ix1
indextype              | scann
indexconfig            | {num_leaves=100,max_num_levels=1,quantizer=SQ8}
indexsize              | 832 kB
indexscan              | 0
insertcount            | 250
deletecount            | 0
updatecount            | 0
partitioncount         | 100
distribution           | {"average": 3.54, "maximum": 37, "minimum": 0, "outliers": [37, 12, 11, 10, 10, 9, 9, 9, 9, 9]}
distributionpercentile |{"10": { "num_vectors": 0, "num_partitions": 0 }, "25": { "num_vectors": 0, "num_partitions": 30 }, "50": { "num_vectors": 3, "num_partitions": 30 }, "75": { "num_vectors": 5, "num_partitions": 19 }, "90": { "num_vectors": 7, "num_partitions": 11 }, "95": { "num_vectors": 9, "num_partitions": 5 }, "99": { "num_vectors": 12, "num_partitions": 4 }, "100": { "num_vectors": 37, "num_partitions": 1 }}

Per visualizzare il numero di righe create al momento della creazione dell'indice, esegui il seguente comando:

SELECT * FROM pg_stat_ann_index_creation;