Leistung von Vektorabfragen in AlloyDB for PostgreSQL optimieren

Auf dieser Seite wird beschrieben, wie Sie Ihre Indexe optimieren, um in AlloyDB for PostgreSQL eine schnellere Abfrageleistung und einen besseren Recall zu erzielen.

Hinweise

Bevor Sie einen ScaNN-Index erstellen, müssen Sie Folgendes tun:

  • Prüfen Sie, ob bereits eine Tabelle mit Ihren Daten erstellt wurde.
  • Damit beim Generieren des Index keine Probleme auftreten, muss der Wert, den Sie für das Flag maintenance_work_mem und shared_buffers festlegen, kleiner als der gesamte Arbeitsspeicher der Maschine sein .

ScaNN-Index optimieren

Die folgenden Hinweise helfen Ihnen bei der Auswahl zwischen einem zwei- und einem dreistufigen ScaNN-Index:

  • Wählen Sie einen Index mit zwei Ebenen aus, wenn die Anzahl der Vektorzeilen weniger als 10 Millionen beträgt.
  • Wählen Sie einen Index mit drei Ebenen aus, wenn die Anzahl der Vektorzeilen 100 Millionen überschreitet.
  • Wählen Sie einen dreistufigen Index aus, um die Indexerstellungszeit zu optimieren, oder einen zweistufigen Index, um den Suchabruf zu optimieren, wenn die Anzahl der Vektorzeilen zwischen 10 Millionen und 100 Millionen liegt.

Sehen Sie sich die folgenden Beispiele für ScaNN-Indexe mit zwei und drei Ebenen an, in denen gezeigt wird, wie die Optimierungsparameter für eine Tabelle mit 1.000.000 Zeilen festgelegt werden:

Index mit zwei Ebenen

SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = [power(1000000, 1/2)]);

Index mit drei Ebenen

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = [power(1000000, 2/3)], max_num_levels = 2);

Informationen zum Optimieren des Gleichgewichts zwischen Recall und QPS beim Optimieren von ScaNN-Indexen finden Sie unter Best Practices für die Optimierung von ScaNN-Indexen.

Abfragen analysieren

Verwenden Sie den Befehl EXPLAIN ANALYZE, um Ihre Abfragestatistiken zu analysieren, wie in der folgenden SQL-Beispielabfrage gezeigt.

  EXPLAIN ANALYZE SELECT result-column
  FROM my-table
  ORDER BY EMBEDDING_COLUMN <-> embedding('text-embedding-005', 'What is a database?')::vector
  LIMIT 1;

Die Beispielantwort QUERY PLAN enthält Informationen wie die benötigte Zeit, die Anzahl der gescannten oder zurückgegebenen Zeilen und die verwendeten Ressourcen.

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my-scann-index on my-table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <-> embedding('text-embedding-005', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

Messwerte für Vektorindex ansehen

Sie können Messwerte für Vektorindexe verwenden, um die Leistung Ihres Vektorindex zu prüfen, Bereiche mit Verbesserungspotenzial zu identifizieren und den Index bei Bedarf anhand der Messwerte zu optimieren. In der Ansicht pg_stat_ann_indexes können Sie den Status der Indexnutzung nachvollziehen. Die Ansicht pg_stat_ann_index_creation enthält Informationen zu Zeilen, die zum Zeitpunkt der Indexerstellung erstellt wurden.

Führen Sie den folgenden Befehl aus, um Messwerte zur Indexnutzung aufzurufen:

SELECT * FROM pg_stat_ann_indexes;

Die Ausgabe sollte in etwa so aussehen:

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                  | 271236
indexrelid             | 271242
schemaname             | public
relname                | t1
indexrelname           | t1_ix1
indextype              | scann
indexconfig            | {num_leaves=100,quantizer=SQ8}
indexsize              | 832 kB
indexscan              | 0
insertcount            | 250
deletecount            | 0
updatecount            | 0
partitioncount         | 100
distribution           | {"average": 3.54, "maximum": 37, "minimum": 0, "outliers": [37, 12, 11, 10, 10, 9, 9, 9, 9, 9]}
distributionpercentile |{"10": { "num_vectors": 0, "num_partitions": 0 }, "25": { "num_vectors": 0, "num_partitions": 30 }, "50": { "num_vectors": 3, "num_partitions": 30 }, "75": { "num_vectors": 5, "num_partitions": 19 }, "90": { "num_vectors": 7, "num_partitions": 11 }, "95": { "num_vectors": 9, "num_partitions": 5 }, "99": { "num_vectors": 12, "num_partitions": 4 }, "100": { "num_vectors": 37, "num_partitions": 1 }}

Führen Sie den folgenden Befehl aus, um die Anzahl der Zeilen anzuzeigen, die zum Zeitpunkt der Indexerstellung erstellt wurden:

SELECT * FROM pg_stat_ann_index_creation;

Die Ausgabe sollte in etwa so aussehen:

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                         | 271236
indexrelid                    | 271242
schemaname                    | public
relname                       | t1
indexrelname                  | t1_ix1
index_rows_at_creation_time   | 262144

Weitere Informationen zur vollständigen Liste der Messwerte finden Sie unter Messwerte für Vektorindex.

Nächste Schritte