調整 AlloyDB Omni 中的向量查詢效能

選取文件版本：

本文說明如何調整索引，在 AlloyDB Omni 中提高查詢效能並改善召回率。

事前準備

建立 ScaNN 索引前，請先完成下列步驟：

  • 確認已建立含有資料的資料表。
  • 為避免產生索引時發生問題，請確保為 maintenance_work_mem 和 shared_buffers 旗標設定的值小於機器總記憶體。
  • 如要使用四層索引，您必須先為執行個體啟用「預覽」功能。如要啟用預覽功能，請選擇下列任一方法：

調整 ScaNN 索引

請按照下列指引，判斷 ScaNN 索引所需的層級數量：

  • 0 到 1 千萬列：選擇兩層索引。
  • 1,000 萬至 1 億列：
    • 如要優先提高搜尋喚回率，請選擇兩層索引。
    • 如要優先處理索引建構時間，請選擇三層索引。
  • 1 億到 10 億列：
    • 如要優先提高搜尋喚回率，請選擇三層索引。
    • 如要優先處理索引建構時間，請選擇四層索引 (位於「預覽」)。
  • 10 億至 100 億列：選擇四層索引 (在「預覽」中)。

請參考下列兩層、三層和四層 ScaNN 索引的範例，瞭解如何為 1,000,000 個資料列的資料表設定調整參數：

兩層索引

SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = [power(1000000, 1/2)]);

三層索引

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = [power(1000000, 2/3)], max_num_levels = 2);

四層索引

(在預覽中)

SET LOCAL scann.num_leaves_to_search = 100;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = [power(1000000, 3/4)], max_num_levels = 3);

處理因資料欄引擎加速而導致的 DML 失效

如果您選擇使用資料欄引擎加快向量搜尋速度，請注意，基礎資料表上的 DML 和 DDL 失效可能會影響向量查詢效能。如果 DML 輸送量偏高，請考慮調整 google_columnar_engine.refresh_threshold_percentage 資料庫旗標，或使用 google_columnar_engine_refresh_index 指令手動重新整理索引。

分析查詢

使用 EXPLAIN ANALYZE 指令分析查詢洞察，如下列 SQL 查詢範例所示。

  EXPLAIN ANALYZE SELECT result-column
  FROM my-table
  ORDER BY EMBEDDING_COLUMN <-> embedding('text-embedding-005', 'What is a database?')::vector
  LIMIT 1;

範例回應 QUERY PLAN 包含所花時間、掃描或傳回的資料列數，以及使用的資源等資訊。

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my-scann-index on my-table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <-> embedding('text-embedding-005', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

查看向量索引指標

您可以運用向量索引指標查看向量索引的效能、找出需要改進的地方，並視需要根據指標調整索引。

如要查看所有向量索引指標，請執行下列 SQL 查詢，使用 pg_stat_ann_indexes 檢視畫面：

SELECT * FROM pg_stat_ann_indexes;

畫面會顯示類似以下內容的輸出：

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                  | 271236
indexrelid             | 271242
schemaname             | public
relname                | t1
indexrelname           | t1_ix1
indextype              | scann
indexconfig            | {num_leaves=100,max_num_levels=1,quantizer=SQ8}
indexsize              | 832 kB
indexscan              | 0
insertcount            | 250
deletecount            | 0
updatecount            | 0
partitioncount         | 100
distribution           | {"average": 3.54, "maximum": 37, "minimum": 0, "outliers": [37, 12, 11, 10, 10, 9, 9, 9, 9, 9]}
distributionpercentile |{"10": { "num_vectors": 0, "num_partitions": 0 }, "25": { "num_vectors": 0, "num_partitions": 30 }, "50": { "num_vectors": 3, "num_partitions": 30 }, "75": { "num_vectors": 5, "num_partitions": 19 }, "90": { "num_vectors": 7, "num_partitions": 11 }, "95": { "num_vectors": 9, "num_partitions": 5 }, "99": { "num_vectors": 12, "num_partitions": 4 }, "100": { "num_vectors": 37, "num_partitions": 1 }}

如要查看建立索引時建立的資料列數，請執行下列指令：

SELECT * FROM pg_stat_ann_index_creation;

畫面會顯示類似以下內容的輸出：

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                         | 271236
indexrelid                    | 271242
schemaname                    | public
relname                       | t1
indexrelname                  | t1_ix1
index_rows_at_creation_time   | 262144

如要進一步瞭解完整的指標清單，請參閱「向量索引指標」。

後續步驟