Scegliere un indice di vettori in AlloyDB AI

La selezione della strategia di Vector Search e dell'indice corretti in AlloyDB AI ti consente di bilanciare la latenza delle query e l'accuratezza della ricerca per il tuo workload. Per impostazione predefinita, AlloyDB per PostgreSQL utilizza la ricerca esatta dei k-nearest neighbors (KNN) per trovare vettori simili. Quando crei un indice vettoriale, AlloyDB AI utilizza la ricerca Approximate Nearest Neighbor (ANN) per accelerare le prestazioni delle query su larga scala, sacrificando una quantità configurabile di richiamo.

Il richiamo misura l'efficacia con cui una ricerca recupera tutti gli elementi pertinenti per una determinata query. Ad esempio, immagina di avere 100 embedding, ognuno dei quali rappresenta un'entità nel tuo database. Esegui una query sugli embedding con un vettore target e la limiti a 10 risultati. Una Vector Search KNN trova i 10 vettori più vicini esatti utilizzando un metodo di calcolo di forza bruta, che genera un richiamo del 100%. AlloyDB AI utilizza questo metodo per impostazione predefinita se non viene creato o scelto un indice di ricerca vettoriale. Quando crei un indice vettoriale in AlloyDB, in genere viene utilizzato l'algoritmo ANN, che potrebbe partizionare i vettori in base alla somiglianza per facilitare un recupero più rapido. Di conseguenza, utilizzando l'ANN, i 10 vettori restituiti nell'esempio precedente potrebbero non essere esattamente i 10 vettori più vicini. Se 9 dei 10 vettori recuperati sono i più vicini nello spazio al vettore della query, il recall è del 90%. Per saperne di più, consulta Misura il recall delle query vettoriali.

La latenza delle query definisce la velocità con cui vengono generati i risultati di ricerca. Ad esempio, la latenza viene calcolata in base al tempo impiegato per una ricerca per restituire i vettori dopo l'invio di una query.

Scegli la tua strategia di ricerca

Quando esegui la ricerca vettoriale in AlloyDB, scegli una delle seguenti strategie di ricerca:

Strategia di ricerca Descrizione Casi d'uso
K-nearest neighbors (KNN)

Un algoritmo che trova i punti dati dei k-nearest neighbor rispetto a un determinato punto dati della query. Quando esegui una ricerca vettoriale senza creare un indice, per impostazione predefinita viene eseguita una ricerca KNN.

Per migliorare ulteriormente le prestazioni della ricerca KNN, aggiungi la colonna di embedding e altre colonne correlate alla query all'archivio di colonne nel motore colonnare. Puoi aggiungere le colonne manualmente o utilizzando l'auto-colonnarizzazione.

  • La tua applicazione è molto sensibile all'accuratezza e hai bisogno delle corrispondenze più vicine esatte.
  • Hai decine di migliaia di vettori
Approximate Nearest Neighbors (ANN) Un algoritmo che trova approssimativamente i punti dati più vicini. La rete neurale artificiale divide i punti dati dei clienti esistenti in piccoli gruppi in base alle somiglianze.
  • La tua applicazione richiede una bassa latenza.
  • Hai più di 100.000 vettori.

I due tipi di indici vettoriali basati su ANN più comuni per AlloyDB sono ScaNN e HNSW. Utilizza le seguenti linee guida per decidere quale tipo di indice è più adatto al tuo caso d'uso:

Tipo di indice Scopo dell'utilizzo Vantaggi Accelerazione del motore colonnare
ScaNN

In genere è adatto per dati a bassa dimensionalità o set di dati di grandi dimensioni che superano la memoria.

Scalabilità fino a 10 miliardi di vettori.

Offre diversi vantaggi rispetto a HNSW su PostgreSQL standard:

  • Query vettoriali fino a 6 volte più veloci e query di ricerca vettoriale con filtro fino a 10 volte più veloci
  • Creazione dell'indice fino a 16 volte più veloce
  • Throughput di scrittura fino a 24 volte superiore
  • Utilizza fino a 4 volte meno memoria
La ricerca vettoriale con l'indice ScaNN può essere accelerata dal motore colonnare AlloyDB. Per saperne di più, consulta Accelera la Vector Search con il motore colonnare.
HNSW

In genere sono adatti per dati con dimensioni più elevate che rientrano in gran parte nella memoria cache.

Scalabilità ottimale fino a 10-20 milioni di vettori.

L'indice HNSW accelerato dal motore colonnare pgvector in AlloyDB offre query vettoriali fino a 5 volte più veloci rispetto a PostgreSQL standard La ricerca vettoriale con l'indice HNSW può essere accelerata dal motore colonnare AlloyDB. Per saperne di più, consulta Accelera la Vector Search con il motore colonnare.

Google consiglia di creare un indice vettoriale per ottimizzare le prestazioni delle query di ricerca vettoriale. Per saperne di più su come viene utilizzato l'indice ANN per le ricerche di somiglianza, consulta Crea indici utilizzando ScaNN.

Per accelerare la ricerca KNN filtrata, utilizza il motore colonnare.

Passaggi successivi