Ajustar os índices de vizinhos mais próximos escalonáveis (ScaNN) no AlloyDB para PostgreSQL ajuda a equilibrar o recall de pesquisa e as consultas por segundo (QPS) para suas cargas de trabalho vetoriais. Os parâmetros e valores de configuração recomendados dependem do uso de um índice ScaNN de dois, três ou quatro níveis.
Para informações sobre como criar índices ScaNN, consulte Criar um índice ScaNN.
Limitações
O parâmetro num_leaves controla o número de partições no índice. O
número máximo de partições permitidas é:
- 100 milhões para o PostgreSQL 17 e versões mais recentes.
- 30 milhões para o PostgreSQL 16 e versões anteriores.
Índice de árvore de dois níveis
Para aplicar recomendações que ajudem a encontrar os valores ideais de num_leaves e num_leaves_to_search para seu conjunto de dados,
siga estas etapas:
- Para criar o índice
ScaNNotimizado para os casos a seguir, defina o parâmetronum_leavescom o valor abaixo, em que rows é o número de linhas na tabela indexada:- tempo e qualidade de criação de índice equilibrados: defina
num_leavescomosqrt(rows). - quality: define num_leaves como rows/100.
- tempo e qualidade de criação de índice equilibrados: defina
- Execute as consultas de teste, aumentando o valor de
scann.num_leaves_to_search(ouscann.pct_leaves_to_search), até atingir o intervalo de recall desejado, por exemplo, 95%. Para mais informações sobre como analisar suas consultas, consulte Analisar suas consultas. - Anote a proporção entre
scann.num_leaves_to_searchenum_leavesque será usada nas próximas etapas. Essa proporção fornece uma aproximação do conjunto de dados que vai ajudar você a atingir o recall desejado.
Se você estiver trabalhando com vetores de alta dimensão (500 dimensões ou mais) e quiser melhorar o recall, tente ajustar o valor descann.pre_reordering_num_neighbors. O valor padrão é definido como50 * K, em queKé o limite definido na consulta. - Se as QPS estiverem muito baixas depois que as consultas atingirem um recall desejado, siga estas etapas:
- Recrie o índice, aumentando o valor de
num_leavesescann.num_leaves_to_searchde acordo com as seguintes orientações:- Defina
num_leavescomo um fator maior da raiz quadrada da contagem de linhas. Por exemplo, se o índice tivernum_leavesdefinido como a raiz quadrada da contagem de linhas, tente definir como o dobro da raiz quadrada. Se o valor já for o dobro, tente definir como o triplo da raiz quadrada. - Aumente
scann.num_leaves_to_searchconforme necessário para manter a proporção comnum_leaves, que você anotou na Etapa 3. - Defina
num_leavescomo um valor menor ou igual à contagem de linhas dividida por 100.
- Defina
- Execute as consultas de teste novamente.
Enquanto estiver executando as consultas de teste, tente reduzir
scann.num_leaves_to_search, encontrando um valor que aumente as QPS e mantenha o recall alto. Teste valores diferentes descann.num_leaves_to_searchsem recriar o índice.
- Recrie o índice, aumentando o valor de
- Repita a etapa 4 até que as QPS e o intervalo de recall tenham atingido valores aceitáveis.
Índice de árvore de três níveis
Além das recomendações para o índice ScaNN de árvore de dois níveis, use as orientações a seguir.
Para aplicar recomendações e encontrar o valor ideal dos parâmetros de índice num_leaves e max_num_levels, siga estas etapas:
Crie o índice
ScaNNcom as seguintes combinações denum_leavesemax_num_levelscom base nas suas metas de performance:- Equilibrar o tempo de criação e a qualidade do índice: defina
max_num_levelscomo2enum_leavescomopower(rows, ⅔). - Otimizar para qualidade: defina
max_num_levelscomo2enum_leavescomorows/100.
- Equilibrar o tempo de criação e a qualidade do índice: defina
Execute as consultas de teste. Para mais informações sobre como analisar consultas, consulte Analisar suas consultas.
Anote a proporção entre
scann.num_leaves_to_searchenum_leavesque será usada nas próximas etapas. Essa proporção fornece uma aproximação do conjunto de dados que vai ajudar você a alcançar o recall desejado.
Se você estiver trabalhando com vetores de alta dimensão (500 dimensões ou mais) e quiser melhorar o recall, tente ajustar o valor de scann.pre_reordering_num_neighbors. O valor padrão é definido como 50 * K, em que K é o limite definido na consulta.
Se as QPS estiverem muito baixas depois que as consultas atingirem um recall desejado, siga estas etapas:
- Recrie o índice, aumentando o valor de
num_leavesescann.num_leaves_to_searchde acordo com as seguintes orientações: - Defina
num_leavescomo um fator maior depower(rows, ⅔). Por exemplo, se o índice tivernum_leavesdefinido comopower(rows, ⅔), tente definir como o dobro depower(rows, ⅔). Se o valor já estiver duplicado, tente triplicar opower(rows, ⅔). - Aumente
scann.num_leaves_to_searchconforme necessário para manter a proporção comnum_leaves, que você anotou na Etapa 3. - Defina
num_leavescomo um valor menor ou igual arows/100. - Execute as consultas de teste novamente. Enquanto estiver executando as consultas de teste, tente reduzir
scann.num_leaves_to_search, encontrando um valor que aumente as QPS e mantenha o recall alto. Teste valores diferentes descann.num_leaves_to_searchsem recriar o índice.
- Recrie o índice, aumentando o valor de
Repita a etapa 4 até que as QPS e o intervalo de recall tenham atingido valores aceitáveis.
Índice de árvore de quatro níveis
Além das recomendações para
índices de árvore de três níveis, use as seguintes
orientações para encontrar o valor ideal para
num_leaves e
max_num_levels:
Crie um índice ScaNN com as seguintes combinações de
num_leavesemax_num_levelscom base nas suas metas de performance:Equilibre o tempo e a qualidade da criação do índice: defina
max_num_levelscomo3enum_leavescomopower(ROWS, 3/4).Otimize a qualidade: defina
max_num_levelscomo3enum_leavescomoROWS/100.
Execute as consultas de teste. Para mais informações sobre como analisar consultas, consulte Analisar suas consultas.
Observe a proporção entre
scann.num_leaves_to_searchenum_leaves. Use essa proporção para alcançar o recall desejado nas etapas seguintes.Se você estiver trabalhando com vetores de alta dimensão (500 dimensões ou mais) e quiser melhorar o recall, tente ajustar o valor de
scann.pre_reordering_num_neighbors.Se as QPS estiverem muito baixas depois que as consultas alcançarem um recall desejado, recrie o índice, aumentando o valor de
num_leavesescann.num_leaves_to_searchde acordo com as seguintes orientações:Defina
num_leavescomo um fator maior depower(ROWS, 3/4). Por exemplo, se o índice tivernum_leavesdefinido comopower(ROWS, 3/4), tente definir o dobro desse valor. Se o valor já estiver definido como o dobro, tente definir como o triplo.Aumente
scann.num_leaves_to_searchconforme necessário para manter a proporção comnum_leaves, que você anotou na etapa três.Defina
num_leavescomo um valor menor ou igual aROWS/100.Execute as consultas de teste novamente. Enquanto você executa as consultas de teste, tente reduzir
scann.num_leaves_to_search. Encontre um valor que aumente as QPS e mantenha o recall alto. Tente usar valores diferentes descann.num_leaves_to_searchsem recriar o índice.
Repita a etapa quatro até que o intervalo de recall e as QPS alcancem valores aceitáveis.
Melhorar o recall de pesquisas filtradas
Ao realizar uma pesquisa vetorial de vizinho mais próximo (KNN) que inclui um filtro, talvez a consulta retorne menos resultados do que o solicitado na cláusula LIMIT. Isso pode levar ao que é conhecido como recall insuficiente e é mais provável que ocorra ao usar filtros altamente seletivos. Isso acontece porque as partições iniciais, ou folhas, que o ScaNN pesquisa não contêm vetores suficientes que atendam às condições de filtro.
Para resolver isso, o AlloyDB oferece um recurso que permite que a pesquisa se expanda dinamicamente além do conjunto inicial de folhas para encontrar resultados correspondentes suficientes.
Como funciona o streaming
Para ativar a funcionalidade de streaming, defina o parâmetro scann.satisfy_limit como relaxed_order. Quando ativada, a verificação de vetor continua pesquisando em outras partições de folha até encontrar resultados suficientes para atender ao LIMIT da consulta, melhorando o recall.
Para evitar que uma pesquisa continue por muito tempo e controlar o impacto no desempenho, use o parâmetro scann.max_num_leaves_to_search_pct. Essa configuração define um limite superior para a porcentagem de folhas totais que uma consulta pode visitar. O valor padrão é 15%.
Quando usar o streaming
Considere usar o recurso de streaming quando:
- Você usa filtros com suas pesquisas vetoriais.
- Você observa que as consultas retornam menos resultados do que o esperado com base na cláusula
LIMIT.
Para melhorar o recall das suas pesquisas filtradas, ative scann.satisfy_limit. Recomendamos que você configure scann.max_num_leaves_to_search_pct para alcançar o equilíbrio entre o recall e o desempenho da consulta.
Otimizar o desempenho de consultas filtradas
Para um desempenho ideal em consultas filtradas, recomendamos criar um índice de árvore B nas colunas filtradas. Isso permite que o planejador de consultas selecione a estratégia de filtragem mais eficiente e reduza significativamente o tempo de execução da consulta.
Manutenção de índice
Se a tabela está sujeita a atualizações ou inserções frequentes, recomendamos reindexar periodicamente o índice ScaNN para melhorar a acurácia de recall.
Você pode monitorar as métricas de índice para visualizar alterações nas distribuições de vetores ou mutações de vetores desde que o índice foi criado e, em seguida, reindexá-lo corretamente. Para mais informações sobre métricas, consulte Visualizar métricas de índice vetorial.