Leistung von ScaNN-Vektorabfragen

Der ScaNN-Index (Scalable Nearest Neighbors) in AlloyDB for PostgreSQL beschleunigt Vektorähnlichkeitsabfragen und reduziert gleichzeitig die Speichernutzung durch Baumquantisierungsindexierung. Bei Baumquantisierungstechniken lernen Indexe einen Suchbaum zusammen mit einer Quantisierungs- oder Hash-Funktion. Wenn Sie eine Abfrage ausführen, wird der Suchraum durch den Suchbaum beschnitten, während die Quantisierung die Indexgröße komprimiert. Dadurch wird die Ähnlichkeitsbewertung zwischen dem Abfragevektor und Ihren Datenbankvektoren beschleunigt.

Damit Sie mit Ihren Abfragen nach nächsten Nachbarn sowohl eine hohe Anzahl von Abfragen pro Sekunde (QPS) als auch einen hohen Recall erzielen, müssen Sie den Baum Ihres ScaNN-Index so partitionieren, dass er am besten zu Ihren Daten und Abfragen passt.

Ein gängiges Merkmal der aktuellen Generation von hochdimensionalen Einbettungsmodellen ist, dass sie auch bei einer viel geringeren Dimensionalität einen Großteil der Informationen beibehalten können. Beispielsweise können 90% der Informationen mit nur 20% der Dimensionen der Einbettung beibehalten werden. Um solche Datasets zu beschleunigen, führt AlloyDB AI ScaNN automatisch eine Dimensionsreduktion mithilfe der Hauptkomponentenanalyse (scann.enable_pca in der ScaNN-Indexreferenz) für die indexierten Vektoren durch. Dadurch werden die CPU- und Arbeitsspeichernutzung für die Vektorsuche weiter reduziert. Da die Dimensionsreduktion immer noch zu einem geringen Recall-Verlust im Index führt, kompensiert AlloyDB AI ScaNN dies durch einen anfänglichen Ranking-Schritt mit einer größeren Anzahl von PCA-reduzierten Vektorkandidaten aus dem Index und ordnet sie dann nach den ursprünglichen Vektoren neu (scann.pre_reordering_num_neighbors in der ScaNN-Indexreferenz).

Nächste Schritte