Questa pagina documenta la versione 16.8.0 di AlloyDB Omni utilizzando l'opzione di deployment Kubernetes. Scegli un'altra opzione di implementazione.

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Misurare il richiamo delle query vettoriali

Seleziona una versione della documentazione:

Questa pagina descrive come misurare il richiamo delle query vettoriali in AlloyDB Omni. Nel contesto della ricerca vettoriale, il richiamo si riferisce alla percentuale di vettori restituiti dall'indice che sono i veri vicini più prossimi. Ad esempio, se una query del vicino più prossimo per i 20 vicini più prossimi restituisce 19 dei vicini più prossimi della verità di base, il richiamo è 19/20x100 = 95%.

In una query vettoriale, il richiamo è importante perché misura la percentuale di risultati pertinenti recuperati da una ricerca. Il richiamo ti aiuta a valutare l'accuratezza dei risultati di una ricerca del vicino più prossimo approssimato (ANN) rispetto ai risultati di una ricerca del vicino più prossimo (KNN).

ANN è un algoritmo che trova punti dati simili a un punto di query specificato e migliora la velocità trovando i vicini approssimativi anziché i vicini effettivi. Quando utilizzi ANN, bilanci la velocità con il richiamo.

KNN è un algoritmo che trova i vettori k più simili a un vettore di query specificato all'interno di un set di dati, in base a una metrica di similarità. k è il numero di vicini che vuoi che la query restituisca.

Puoi misurare il richiamo della query di ricerca vettoriale per diversi indici vettoriali, tra cui:

Scalable Nearest Neighbors (ScaNN): un algoritmo per la ricerca efficiente della similarità vettoriale.
Hierarchical Navigable Small World (HNSW): un algoritmo basato su grafici utilizzato per la ricerca efficiente del vicino più prossimo approssimato nei database vettoriali.
Inverted File with Flat Compression (IVFFLAT) e Inverted File Flat (IVF): tipi di indici vettoriali utilizzati per le ricerche ANN, in particolare in database come l'estensione pgvector di PostgreSQL.

Questa pagina presuppone che tu abbia familiarità con PostgreSQL, AlloyDB Omni e la ricerca vettoriale.

Prima di iniziare

Installa o aggiorna l'estensione pgvector.
1. Se l'estensione pgvector non è installata, installa la vector versione dell'estensione 0.8.0.google-3 o successive per archiviare gli embedding generati come valori vector. L'vector extension include pgvector funzioni e operatori. Google estende questa versione di pgvector con ottimizzazioni per AlloyDB Omni.
```
CREATE EXTENSION IF NOT EXISTS vector WITH VERSION '0.8.0.google-3';
```
  Per ulteriori informazioni, consulta Archiviare, indicizzare ed eseguire query sui vettori.
2. Se l'estensione pgvector è già installata, esegui l'upgrade dell' vector estensione alla versione 0.8.0.google-3 o successive per ottenere le funzionalità di valutazione del richiamo.
```
ALTER EXTENSION vector UPDATE TO '0.8.0.google-3';
```
Per creare indici ScaNN, installa l'estensione alloydb_scann.
```
CREATE EXTENSION IF NOT EXISTS alloydb_scann;
```

Valutare il richiamo per le query vettoriali su un indice vettoriale

Puoi trovare il richiamo per una query vettoriale su un indice vettoriale per una determinata configurazione utilizzando la funzione evaluate_query_recall. Questa funzione ti consente di ottimizzare i parametri per ottenere i risultati di richiamo delle query vettoriali che ti interessano. Il richiamo è la metrica utilizzata per la qualità della ricerca ed è definita come la percentuale di risultati restituiti che sono oggettivamente più vicini ai vettori di query. La funzione evaluate_query_recall è attivata per impostazione predefinita.

Trovare il richiamo per una query vettoriale

Apri un editor SQL in AlloyDB Studio o un client psql.
Crea un indice vettoriale ScaNN, HNSW o IVFFLAT.

Nota: puoi creare indici di metodi diversi su una singola colonna vettoriale e confrontare il rendimento della query utilizzando ciascuno degli indici creati. Questa operazione è consigliata solo per i carichi di lavoro di sviluppo.
Assicurati che il enable_indexscan flag sia attivo. Se il flag è disattivato, non viene scelta alcuna scansione dell'indice e il richiamo per tutti gli indici è 1.

Esegui la funzione evaluate_query_recall, che accetta la query come parametro e restituisce il seguente richiamo:

SELECT * FROM evaluate_query_recall( QUERY_TEXT, QUERY_TIME_CONFIGURATIONS, INDEX_METHODS )

Prima di eseguire questo comando, effettua le seguenti sostituzioni:

QUERY_TEXT: la query SQL, racchiusa tra $$.
QUERY_TIME_CONFIGURATIONS: Optional: the configuration that you can set for the ANN query. This must be in JSON format. The default value is NULL.

INDEX_METHODS: Optional: a text array that contains different vector index methods for which you want to calculate the recall. If you set an index method for which a corresponding index doesn't exist, the recall is 1. The input must be a subset of {scann, hnsw, ivf, ivfflat}. If no value is provided, the ScaNN method is used.

To view differences between query recall and execution time, change the query time parameters for your index.

The following table lists query time parameters for ScaNN, HNSW, and IVF/IVFFLAT index methods. The parameters are formatted as {"scann.num_leaves_to_search":1, "scann.pre_reordering_num_neighbors":10, "hnsw.ef_search": 1}.

Index type	Parameters
ScaNN	`scann.num_leaves_to_search` `scann.pre_reordering_num_neighbors` `scann.pct_leaves_to_search` `scann.num_search_threads`
HNSW	`hnsw.ef_search` `hnsw.iterative_scan` `hnsw.max_scan_tuples` `hnsw.scan_mem_multiplier`
IVF	`ivf.probes`
IVFFLAT	`ivfflat.probes` `ivfflat.iterative_scan` `ivfflat.max_probes`

For more information about ScaNN index methods, see AlloyDB Omni ScaNN Index reference. For more information about HNSW and IVF/IVFFLAT index methods, see pgvector.

Optional: You can also add configurations from pg_settings to the QUERY_TIME_CONFIGURATIONS. For example, to run a query with columnar engine scan enabled, add the following config from pg_settings as {"google_columnar_engine.enable_columnar_scan" : on}.

The configurations are set locally in the function. Adding these configurations doesn't impact the configurations that you set in your session. If you don't set any configurations, AlloyDB uses all of the configurations that you set in the session. You can also set only those configurations that are best suited for your use case.
Optional: To view the default configuration settings, run the SHOW command or view the pg_settings.

Optional: If you have a ScaNN index for which you want to tune the recall, see the tuning parameters in ScaNN index reference.

The following is an example output, where ann_execution_time is the time that it takes a vector query to execute using index scans. ground_truth_execution_time is the time that it takes the query to run using a sequential scan.

ann_execution_time and ground_truth_execution_time are different from but directly dependent on Execution time in the query plan. Execution time is the total time to execute the query from the client.

t=# SELECT * FROM evaluate_query_recall( $$ SELECT id FROM t1 ORDER BY val <=> '[1000,1000,49000]' LIMIT 10 $$, '{"scann.num_leaves_to_search":1, "scann.pre_reordering_num_neighbors":10, "hnsw.ef_search": 1}', ARRAY['scann', 'hnsw']);
NOTICE:  Recall is 1. This might mean that the vector index is not present on the table or index scan not chosen during query execution.
id|               query                                               |                                         configurations                                         |  recall |ann_execution_time | ground_truth_execution_time |  index_type
----+-------------------------------------------------------------------+------------------------------------------------------------------------------------------------+--------+--------------------+-----------------------------+------------
1 |  SELECT id FROM t1 ORDER BY val <=> '[1000,1000,49000]' LIMIT 10  | {"scann.num_leaves_to_search":1, "scann.pre_reordering_num_neighbors":10, "hnsw.ef_search": 1} |    0.5 |               4.23 |                     118.211 | scann
2 |  SELECT id FROM t1 ORDER BY val <=> '[1000,1000,49000]' LIMIT 10  | {"scann.num_leaves_to_search":1, "scann.pre_reordering_num_neighbors":10, "hnsw.ef_search": 1} |      1 |            107.198 |                     118.211 | hnsw
(2 rows)

Se il risultato è Recall is 1 (il richiamo della query è
1), potrebbe indicare che l'indice vettoriale non è presente nella tabella o
che l'indice vettoriale non è stato scelto durante l'esecuzione della query. Questa situazione si verifica quando non esiste alcun indice vettoriale nella tabella o quando il pianificatore non sceglie la scansione dell'indice vettoriale.
Nota: non utilizzare colonne nelle query il cui valore potrebbe restituire valori NULL. Se queste colonne sono obbligatorie, aggiungi la funzione COALESCE alla query.
Se la query è select id, name from table order by embedding <->'[1,2,3]' LIMIT 10;.
e il valore previsto del nome della colonna è NULL, modifica la
query in uno dei seguenti modi:
select id, COALESCE(name, 'NULL') as name from table order by embedding <-> '[1,2,3]' LIMIT 10;

Oppure
select id from table order by embedding <-> '[1,2,3]' LIMIT 10;