PostgreSQL용 AlloyDB에서 벡터 쿼리 성능 조정

PostgreSQL용 AlloyDB에서 다음 벡터 색인을 조정하여 더 빠른 쿼리 성능과 더 나은 재현율을 달성하는 방법을 알아봅니다.

쿼리를 분석하고 벡터 색인 측정항목을 확인하여 쿼리 성능을 모니터링하고 개선할 수도 있습니다.

시작하기 전에

ScaNN 색인을 빌드하기 전에 다음을 완료합니다.

  • 데이터가 포함된 테이블이 이미 생성되어 있는지 확인합니다.
  • 색인을 생성하는 동안 문제가 발생하지 않도록 maintenance_work_mem 및 shared_buffers 플래그에 설정한 값이 총 머신 메모리보다 작은지 확인합니다 .

ScaNN 색인 조정

인덱스 생성 및 쿼리 런타임 매개변수를 모두 사용하여 MANUAL 모드에서 생성된 인덱스를 조정할 수 있습니다. 자동 조정 색인에 대한 자세한 내용은 자동 조정 색인 만들기를 참고하세요.

다음 안내에 따라 2단계 및 3단계 ScaNN 색인 중에서 선택합니다.

  • 벡터 행 수가 1,000만 개 미만이면 2단계 색인을 선택합니다.
  • 벡터 행 수가 1억 개를 초과하면 3단계 색인을 선택합니다.
  • 벡터 행 수가 1,000만~1억 개 사이인 경우 색인 빌드 시간을 최적화하려면 3단계 색인을, 검색 재현율을 최적화하려면 2단계 색인을 선택합니다.

다음은 100만 행을 가진 테이블에서 2단계 및 3단계 ScaNN 색인의 조정 파라미터를 설정하는 방법을 보여주는 예시입니다.

2단계 색인

SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = 1000); -- Note: 1000 is the square root of 1,000,000 rows.

3단계 색인

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors = 50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = 10000, max_num_levels = 2);

ScaNN 색인을 조정할 때 재현율과 QPS 간의 균형을 최적화하려면 ScaNN 색인 조정 권장사항을 참고하세요.

쿼리 분석

다음 예시 SQL 쿼리에서와 같이 EXPLAIN ANALYZE 명령어를 사용해 쿼리 통계를 분석합니다.

  EXPLAIN ANALYZE SELECT result-column
  FROM my-table
  ORDER BY EMBEDDING_COLUMN <=> embedding('text-embedding-005', 'What is a database?')::vector
  LIMIT 1;

예시 응답의 QUERY PLAN에는 소요 시간, 스캔되거나 반환된 행 수, 사용된 리소스 등의 정보가 포함됩니다.

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my-scann-index on my-table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <=> embedding('text-embedding-005', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

벡터 색인 측정항목 보기

벡터 색인 측정항목을 사용하면 벡터 색인의 성능을 검토하고, 개선이 필요한 영역을 식별하며, 필요할 경우 해당 측정항목에 따라 색인을 조정할 수 있습니다.

모든 벡터 색인 측정항목을 보려면 pg_stat_ann_indexes 뷰를 사용하는 다음 SQL 쿼리를 실행하세요.

SELECT * FROM pg_stat_ann_indexes;

다음과 비슷한 출력이 표시됩니다.

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                  | 271236
indexrelid             | 271242
schemaname             | public
relname                | t1
indexrelname           | t1_ix1
indextype              | scann
indexconfig            | {num_leaves=100,quantizer=SQ8}
indexsize              | 832 kB
indexscan              | 0
insertcount            | 250
deletecount            | 0
updatecount            | 0
partitioncount         | 100
distribution           | {"average": 3.54, "maximum": 37, "minimum": 0, "outliers": [37, 12, 11, 10, 10, 9, 9, 9, 9, 9]}
distributionpercentile |{"10": { "num_vectors": 0, "num_partitions": 0 }, "25": { "num_vectors": 0, "num_partitions": 30 }, "50": { "num_vectors": 3, "num_partitions": 30 }, "75": { "num_vectors": 5, "num_partitions": 19 }, "90": { "num_vectors": 7, "num_partitions": 11 }, "95": { "num_vectors": 9, "num_partitions": 5 }, "99": { "num_vectors": 12, "num_partitions": 4 }, "100": { "num_vectors": 37, "num_partitions": 1 }}

전체 측정항목 목록에 대한 자세한 내용은 벡터 색인 측정항목을 참조하세요.

다음 단계