PostgreSQL용 AlloyDB에서 ScaNN 색인 조정 권장사항

ScaNN 색인에 권장되는 파라미터는 2단계 또는 3단계 트리 색인을 빌드할지 여부에 따라 다릅니다. 이 페이지에서는 재현율과 QPS 간의 최적의 균형을 위해 PostgreSQL용 AlloyDB 색인 파라미터를 조정하는 방법에 관한 권장사항을 제공합니다.

ScaNN 색인 만들기

자세한 내용은 ScaNN 색인 참조를 확인하세요.

2단계 트리 색인

데이터 세트에 적합한 num_leaves 및 num_leaves_to_search의 최적 값을 찾는 데 도움이 되는 권장사항을 적용하려면 다음 단계를 따르세요.

  1. 다음 사례에 최적화된 ScaNN 색인을 만들려면 num_leaves 파라미터를 다음 값으로 설정합니다. 여기서 rows는 색인이 생성된 테이블의 행 수입니다.
    • 균형 잡힌 색인 빌드 시간과 품질 num_leaves를 sqrt(rows)로 설정합니다.
    • quality num_leaves를 rows/100으로 설정합니다.
  2. 목표 재현율 범위(예: 95%)에 도달할 때까지 scann.num_of_leaves_to_search 값을 늘려 테스트 쿼리를 실행합니다. 쿼리 분석에 대한 자세한 내용은 쿼리 분석을 참조하세요.
  3. scann.num_leaves_to_search와 num_leaves 간의 비율을 기록해 둡니다. 이는 후속 단계에서 사용됩니다. 이 비율은 목표 재현율을 달성하는 데 도움이 되는 데이터 세트의 근사치를 제공합니다.

    고차원 벡터(500차원 이상)로 작업하고 재현율을 개선하려면 scann.pre_reordering_num_neighbors 값을 조정해 보세요. 기본값은 500 * K로 설정됩니다. 여기서 K는 쿼리에서 설정한 한도입니다.
  4. 쿼리가 목표 재현율을 달성한 후 QPS가 너무 낮으면 다음 단계를 따르세요.
    1. 다음 안내에 따라 num_leaves 및 scann.num_leaves_to_search 값을 늘려 색인을 다시 만듭니다.
      • num_leaves를 행 수 제곱근의 더 큰 계수로 설정합니다. 예를 들어 색인의 num_leaves이 행 수의 제곱근으로 설정되어 있으면 제곱근의 두 배로 설정해 보세요. 값이 이미 두 배인 경우 제곱근의 세 배로 설정해 보세요.
      • 3단계에서 기록한 num_leaves와의 비율을 유지하기 위해 필요에 따라 scann.num_leaves_to_search를 늘립니다.
      • num_leaves를 행 수를 100으로 나눈 값 이하로 설정합니다.
    2. 테스트 쿼리를 다시 실행합니다. 테스트 쿼리를 실행하는 동안 scann.num_leaves_to_search를 줄여 실행하면서 재현율을 높게 유지하면서 QPS를 높이는 값을 찾아보세요. 색인을 다시 빌드하지 않고 scann.num_leaves_to_search 값을 다양하게 시도해 보세요.
  5. QPS와 재현율 범위가 모두 허용되는 값에 도달할 때까지 4단계를 반복합니다.

3단계 트리 색인

2단계 트리 ScaNN 색인에 대한 권장사항과 더불어 다음 안내를 따르세요.

권장사항을 적용하여 num_leaves 및 max_num_levels 색인 파라미터의 최적 값을 찾으려면 다음 단계를 따르세요.

  1. 성능 목표에 따라 다음 num_leaves 및 max_num_levels 조합으로 ScaNN 색인을 만듭니다.

    • 색인 빌드 시간과 품질의 균형: max_num_levels를 2로, num_leaves를 power(rows, ⅔)로 설정합니다.
    • 품질을 위한 최적화: max_num_levels를 2로, num_leaves를 rows/100로 설정합니다.

  2. 테스트 쿼리를 실행합니다. 쿼리 분석에 대한 자세한 내용은 쿼리 분석을 참조하세요.

  3. scann.num_leaves_to_search와 num_leaves 간의 비율을 기록해 둡니다. 이는 후속 단계에서 사용됩니다. 이 비율은 목표 재현율을 달성하는 데 도움이 되는 데이터 세트에 관한 대략적인 정보를 제공합니다.

고차원 벡터(500차원 이상)로 작업하고 재현율을 개선하려면 scann.pre_reordering_num_neighbors 값을 조정해 보세요. 기본값은 500 * K로 설정됩니다. 여기서 K는 쿼리에서 설정한 한도입니다.

  1. 쿼리가 목표 재현율을 달성한 후 QPS가 너무 낮으면 다음 단계를 따르세요.

    • 다음 안내에 따라 num_leaves 및 scann.num_leaves_to_search 값을 늘려 색인을 다시 만듭니다.
    • num_leaves를 power(rows, ⅔)의 더 큰 계수로 설정합니다. 예를 들어 색인의 num_leaves가 power(rows, ⅔)로 설정된 경우 power(rows, ⅔)의 두 배로 설정해 보세요. 값이 이미 두 배인 경우 power(rows, ⅔)의 세 배로 설정해 보세요.
    • 3단계에서 기록한 num_leaves와의 비율을 유지하기 위해 필요에 따라 scann.num_leaves_to_search를 늘립니다.
    • num_leaves를 rows/100 이하의 값으로 설정합니다.
    • 테스트 쿼리를 다시 실행합니다. 테스트 쿼리를 실행하는 동안 scann.num_leaves_to_search를 줄여 실행하면서 재현율을 높게 유지하면서 QPS를 높이는 값을 찾아보세요. 색인을 다시 빌드하지 않고 scann.num_leaves_to_search 값을 다양하게 시도해 보세요.

  2. QPS와 재현율 범위가 모두 허용되는 값에 도달할 때까지 4단계를 반복합니다.

필터링된 검색의 재현율 개선

필터를 포함하는 k-최근접 이웃 (KNN) 벡터 검색을 수행할 때 쿼리에서 LIMIT 절에 요청된 것보다 적은 결과를 반환하는 상황이 발생할 수 있습니다. 이로 인해 불충분한 리콜이 발생할 수 있으며, 선택성이 높은 필터를 사용할 때 발생할 가능성이 더 높습니다. 이는 ScaNN이 검색하는 초기 파티션 또는 리프에 필터 조건을 충족하는 벡터가 충분히 포함되어 있지 않기 때문입니다.

이 문제를 해결하기 위해 AlloyDB는 검색이 초기 리프 집합을 넘어 동적으로 확장되어 충분한 일치 결과를 찾을 수 있는 기능을 제공합니다.

스트리밍 작동 방식

scann.satisfy_limit 파라미터를 relaxed_order로 설정하여 스트리밍 기능을 사용 설정할 수 있습니다. 이 기능을 사용 설정하면 벡터 스캔이 쿼리의 LIMIT를 충족하는 결과를 충분히 찾을 때까지 추가 리프 파티션을 계속 검색하여 재현율을 개선합니다.

검색이 너무 오래 지속되지 않도록 하고 성능 영향을 제어하려면 scann.max_pct_leaves_to_search 매개변수를 사용하면 됩니다. 이 설정은 쿼리가 방문할 수 있는 전체 리프의 비율에 상한을 설정하여 안전 장치 역할을 합니다. 이 값의 기본값은 15%입니다.

스트리밍을 사용해야 하는 경우

다음과 같은 경우 스트리밍 기능을 사용하는 것이 좋습니다.

  • 벡터 검색에 필터를 사용합니다.
  • LIMIT 절에 따라 예상되는 것보다 적은 수의 결과가 쿼리에 의해 반환됩니다.

scann.satisfy_limit를 사용 설정하면 필터링된 검색의 재현율을 개선할 수 있습니다. 재현율과 쿼리 성능 간의 균형을 유지하도록 scann.max_pct_leaves_to_search도 구성하는 것이 좋습니다.

색인 유지보수

테이블이 자주 업데이트되거나 삽입되는 경우, 재현율 정확도를 높이기 위해 기존 ScaNN 색인을 주기적으로 다시 만드는 것이 좋습니다. 색인이 빌드된 이후 색인 측정항목을 모니터링하여 벡터 분포 또는 벡터 변형의 변경사항을 확인한 다음 그에 따라 색인을 다시 만들 수 있습니다. 측정항목에 대한 자세한 내용은 벡터 색인 측정항목 보기를 참조하세요.

다음 단계