Google verwendet KI-Technologie, um Inhalte in Ihre bevorzugte Sprache zu übersetzen. KI-Übersetzungen können Fehler enthalten.

Vektorsuche mit der spaltenbasierten Engine beschleunigen

Mit der spaltenbasierten Engine von AlloyDB for PostgreSQL können Sie Vektorsuchen beschleunigen, die ScaNN- (Scalable Nearest Neighbors) oder HNSW-Indizes (Hierarchical Navigable Small World) verwenden. Durch das Caching von Vektorindexen in einer leseoptimierten In-Memory-Darstellung verarbeitet die spaltenbasierte Engine Abfragen direkt aus dem Arbeitsspeicher und erhöht die Abfragen pro Sekunde (QPS) für Vektorsuch-Arbeitslasten.

Sie können HNSW mit der spaltenorientierten Engine nur für AlloyDB-Cluster verwenden, auf denen PostgreSQL 17 oder höher ausgeführt wird. ScaNN mit spaltenbasierter Engine hat diese Einschränkung nicht.

Hinweis

Setzen Sie die Datenbank-Flags google_columnar_engine.enabled und google_columnar_engine.enable_index_caching auf on, um die spaltenbasierte Engine und die Index-Caching-Funktion zu aktivieren.
```
gcloud alloydb instances update INSTANCE_ID \
    --database-flags google_columnar_engine.enabled=on,google_columnar_engine.enable_index_caching=on \
    --region=REGION \
    --cluster=CLUSTER_ID \
    --project=PROJECT_ID
```
Ersetzen Sie Folgendes:
- INSTANCE_ID: die ID der Instanz, auf der Sie die spaltenorientierte Engine aktivieren möchten.
- REGION: die Region, in der sich Ihre Instanz befindet, z. B. us-central1.
- CLUSTER_ID: die ID des Clusters, in dem sich Ihre Instanz befindet.
- PROJECT_ID: die ID des Projekts, in dem sich Ihr Cluster befindet.
Weitere Informationen zum Festlegen von Flags finden Sie unter Datenbank-Flags konfigurieren.
Erstellen Sie einen ScaNN-Index oder einen HNSW-Index in Ihrer Datenbank.

Index zur spaltenbasierten Engine hinzufügen

Nachdem Sie die spaltenbasierte Engine aktiviert haben, können Sie mit der SQL-Funktion google_columnar_engine_add_index() einen vorhandenen Index zum Cache hinzufügen.

So fügen Sie der spaltenorientierten Engine einen Index hinzu:

Rufen Sie in der Google Cloud Console die Seite Cluster auf.

Zu den Clustern
Klicken Sie in der Spalte Ressourcenname auf den Namen des AlloyDB-Clusters, um die Übersichtsseite des Clusters aufzurufen.
Klicken Sie im Navigationsbereich auf AlloyDB Studio.
Melden Sie sich mit dem Namen Ihrer Datenbank, Ihrem Nutzernamen und Ihrem Passwort in AlloyDB Studio an.
Geben Sie im Tab Editor 1 die folgende Abfrage ein:
```
SELECT google_columnar_engine_add_index('INDEX_NAME');
```
Ersetzen Sie INDEX_NAME durch den Namen Ihres Vektorindex.
1. Klicken Sie auf Ausführen.

Nachdem Sie der spaltenbasierten Engine einen Index hinzugefügt haben, werden alle Abfragen, die diesen Index verwenden, automatisch von der spaltenbasierten Engine beschleunigt. Sie können prüfen, ob Ihre Vektorabfragen von der spaltenorientierten Engine beschleunigt werden, indem Sie den EXPLAIN (ANALYZE, COLUMNAR_ENGINE)-Plan für Ihre Abfrage verwenden.

Cache-Nutzung prüfen

Wenn Sie prüfen möchten, ob Ihre Vektorabfragen von der spaltenbasierten Engine beschleunigt werden, können Sie den EXPLAIN (ANALYZE, COLUMNAR_ENGINE)-Plan für Ihre Abfrage verwenden.

Beispiel für einen ScaNN-Ausführungsplan (Vorabversion)

Im Folgenden finden Sie ein Beispiel für einen Ausführungsplan für eine Abfrage, die einen ScaNN-Index verwendet, der der spaltenbasierten Engine hinzugefügt wurde:

EXPLAIN (ANALYZE TRUE, SCANN TRUE, COSTS FALSE, TIMING FALSE, SUMMARY FALSE, VERBOSE FALSE, COLUMNAR_ENGINE TRUE)
SELECT * FROM t ORDER BY val <=> '[0.5,0.5,0.5,0.5]' LIMIT 100;

--This contains details about ScaNN's usage from the columnar engine. Example:
------------------------------------------------------------------------------------------------------
 Index Scan using scann_idx on t t_1 (actual rows=100 loops=1)
      Order By: (val <=> '[0.5,0.5,0.5,0.5]'::vector)
      Limit: 100
      ScaNN Info: (... columnar engine nodes hit=6...)
      Columnar Engine ScaNN Info: (index found=true)
(5 rows)

Wenn columnar engine nodes hit und Columnar Engine ScaNN Info: (index found=true) in der Ausgabe vorhanden sind, wird die spaltenbasierte Engine für die Abfrage verwendet.

Beispiel für einen HNSW-Ausführungsplan

Im Ausführungsplan wird der Abschnitt Columnar Engine HNSW Info für den jeweiligen Index angezeigt. Dort finden Sie Messwerte wie das Verhältnis der Elemente, die von der spaltenbasierten Engine (elements_from_ce) und vom Laufwerk (elements_from_disk) abgerufen wurden.

Im Folgenden finden Sie ein Beispiel für einen Ausführungsplan für eine Abfrage, die einen HNSW-Index verwendet, der der spaltenbasierten Engine hinzugefügt wurde:

EXPLAIN (ANALYZE, COLUMNAR_ENGINE) SELECT * FROM documents ORDER BY embedding <=> '[0.1, 0.2, 0.3, 0.4, 0.5]'::vector LIMIT 5;

--This contains details about HNSW's usage from the columnar engine. Example:
------------------------------------------------------------------------------------------------------
 Limit (actual rows=5 loops=1)
   ->  Index Scan using hnsw_idx on documents (actual rows=5 loops=1)
         Order By: (embedding '[0.1, 0.2, 0.3, 0.4, 0.5]'::vector)
         Columnar Engine HNSW Info: (index found=true elements_from_ce=385 elements_from_disk=0)
         Columnar Check: table is not in the columnar store
(5 rows)

Die Antwort zeigt, dass der Index von der spaltenbasierten Engine beschleunigt wird, da alle Elemente von der spaltenbasierten Engine (elements_from_ce=385) und keine vom Laufwerk (elements_from_disk=0) abgerufen wurden.

Wenn Datenänderungen wie INSERT-, UPDATE- oder DELETE-Anweisungen Cache-Einträge ungültig machen, verwendet die spaltenorientierte Engine einen hybriden Ansatz, um Genauigkeit und Leistung aufrechtzuerhalten. Gültige, im Cache gespeicherte Vektoren werden direkt aus dem Arbeitsspeicher gelesen und nur die geänderten oder neuen Vektoren werden vom Laufwerk abgerufen.

Wenn Sie eine große Datenmenge ändern, kann es vorübergehend zu einem Anstieg von „elements_from_disk“ und einem Leistungsabfall kommen, bis der Cache aktualisiert wird.

Im Cache gespeicherten Index verwalten

So verwalten Sie den Lebenszyklus Ihrer im Cache gespeicherten Indexe:

Rufen Sie in der Google Cloud Console die Seite Cluster auf.

Zu den Clustern
Klicken Sie in der Spalte Ressourcenname auf den Namen des AlloyDB-Clusters, um die Übersichtsseite des Clusters aufzurufen.
Klicken Sie im Navigationsbereich auf AlloyDB Studio.
Melden Sie sich mit dem Namen Ihrer Datenbank, Ihrem Nutzernamen und Ihrem Passwort in AlloyDB Studio an.
Geben Sie auf dem Tab Editor 1 den SQL-Befehl für die ausgewählte Aufgabe ein:
- Führen Sie den folgenden Befehl aus, um den Cache manuell zu aktualisieren:
```
SELECT google_columnar_engine_refresh_index('INDEX_NAME');
```
- Führen Sie den folgenden Befehl aus, um den Indexstatus zu prüfen:
```
SELECT google_columnar_engine_verify('INDEX_NAME');
```
- Führen Sie den folgenden Befehl aus, um den Index aus dem Cache zu löschen:
```
SELECT google_columnar_engine_drop_index('INDEX_NAME');
```
- Führen Sie den folgenden Befehl aus, um aktive Indexe aufzurufen:
```
SELECT * FROM g_columnar_indexes;
```
- Führen Sie den folgenden Befehl aus, um partitionierte Indexe aufzurufen:
```
SELECT * FROM g_columnar_index_partitions;
```
Ersetzen Sie INDEX_NAME durch den Namen Ihres Index.
Klicken Sie auf Ausführen.

Beschränkungen

Beim Aktualisieren von HNSW-Indexen, die durch die spaltenbasierte Engine beschleunigt werden, kann vorübergehend bis zu doppelt so viel Arbeitsspeicher wie die Indexgröße verbraucht werden.