Métricas de índice vetorial

Selecione uma versão da documentação:

Esta página lista as métricas relacionadas aos índices vetoriais gerados no AlloyDB Omni. É possível conferir essas mét0/étricas usando a visualização pg_stat_ann_indexes, disponível ao instalar a extensão alloydb_scann.

Para mais informações sobre como conferir as métricas, consulte Visualizar métricas de índice vetorial.

Métricas de usabilidade

As métricas de usabilidade incluem métricas que ajudam a entender o estado de utilização do índice, como a configuração do índice e o número de verificações de índice.

Nome da métrica Tipo de dado Descrição
relid OID Identificador exclusivo da tabela que contém o índice vetorial
indexrelid OID Identificador exclusivo do índice vetorial
schemaname NAME Nome do esquema proprietário do índice
relname NAME Nome da tabela que contém o índice
indexrelname NAME Nome do índice
indextype NAME Tipo do índice. Esse valor é sempre definido como scann
indexconfig TEXT[] Configuração, como contagem de folhas e quantizador, definida para o índice quando ele foi criado
indexsize TEXT Tamanho do índice
indexscan BIGINT Número de verificações de índice iniciadas no índice

Métricas de ajuste

As métricas de ajuste fornecem insights sobre a otimização atual do índice, permitindo que você aplique recomendações para um desempenho de consulta mais rápido.

Nome da métrica Tipo de dado Descrição
insertcount BIGINT Número de operações de inserção no índice. Essa métrica também inclui o número de linhas que existiam antes da criação do índice.
updatecount BIGINT Número de operações de atualização no índice. Essa métrica não considera atualizações HOT.
deletecount BIGINT Número de operações de exclusão no índice.
distribution JSONB Distribuições de vetores em todas as partições do índice.

Os campos a seguir mostram a distribuição:
  • maximum (INT8): número máximo de vetores em todas as partições.
  • minimum (INT8): número mínimo de vetores em todas as partições.
  • average (FLOAT) : número médio de vetores em todas as partições.
  • outliers (INT8[]): principais outliers em todas as partições. Esse valor mostra os 20 principais outliers.

Observação:devido às características inerentes do algoritmo de clusterização K-means, sempre haverá algum grau de variância na distribuição de vetores entre as partições, mesmo quando o índice for criado inicialmente.
distributionpercentile JSONB A distribuição do índice vetorial ajuda a entender a distribuição de vetores entre as partições do índice ScaNN. As partições são criadas com base no valor num_leaves definido durante a criação do índice.

A distribuição do índice vetorial contém buckets para os percentis 10, 25, 50, 75, 90, 95, 99 e 100. Cada bucket contém os seguintes valores:
  • Número de vetores presentes na partição no percentil especificado.
  • Número de partições que têm vetores dentro do intervalo definido pelos percentis atual e anterior.

Observação:devido às características inerentes do algoritmo de clusterização K-means, sempre haverá algum grau de variância na distribuição de vetores entre as partições, mesmo quando o índice for criado inicialmente.

Recomendação de ajuste com base nas métricas

Mutação
As métricas insertcount, updatecount, e deletecount mostram as mudanças ou mutações no vetor do índice.
O índice é criado com um número específico de vetores e partições. Quando operações como inserção, atualização ou exclusão são realizadas no índice vetorial, elas afetam apenas o conjunto inicial de partições em que os vetores residem. Consequentemente, o número de vetores em cada partição flutua ao longo do tempo, o que pode afetar a recuperação, o QPS ou ambos.
Se você encontrar problemas de lentidão ou acurácia, como QPS baixo ou recall ruim, nas consultas de pesquisa de ANN ao longo do tempo, considere revisar essas métricas. Um grande número de mutações em relação ao número total de vetores pode indicar a necessidade de reindexação.
Distribuição
A métrica distribution mostra as distribuições de vetores em todas as partições.
Ao criar um índice, ele é criado com um número específico de vetores e partições fixas. O processo de particionamento e a distribuição subsequente ocorrem com base nessa consideração. Se vetores adicionais forem adicionados, eles serão particionados entre as partições atuais, resultando em uma distribuição diferente em comparação com a distribuição quando o índice foi criado. Como a distribuição final não considera todos os vetores simultaneamente, a recuperação, o QPS ou ambos podem ser afetados.
Se você observar um declínio gradual no desempenho das consultas de pesquisa de ANN, como tempos de resposta mais lentos ou acurácia reduzida nos resultados (medida por QPS ou recall), considere verificar essa métrica e reindexar.
Percentil de distribuição
A métrica distributionpercentile é uma distribuição de índice vetorial na visualização pg_stat_ann_indexes que ajuda a entender a distribuição de vetores entre as partições do índice ScaNN. As partições são criadas com base no valor num_leaves definido durante a criação do índice.
Ao criar um índice alloydb_scann no conjunto inicial de linhas definindo num_leaves, o índice pode mudar a distribuição de vetores nas partições devido a operações de dados (mutações de inclinação) ou o número de vetores pode aumentar significativamente. Essas mudanças podem levar à degradação do QPS, da recuperação ou de ambos. A distribuição do índice vetorial pode fornecer sinais se a mutação causar uma mudança na distribuição do índice. Essas informações podem ajudar a determinar se uma reindexação é necessária ou se uma mudança nas configurações de tempo de pesquisa pode ajudar a melhorar a performance da consulta.
Em um índice vetorial, a distribuição de vetores entre as partições raramente é perfeitamente uniforme. Esse desequilíbrio é chamado de distribuição não uniforme. Um certo grau de não uniformidade é esperado e não significa que você precise reindexar. Uma distribuição não uniforme tem as seguintes características:
  • A variância do número de vetores é baixa. A variância pode ser calculada como
    $(P100(num\_vectors) - p10(num\_vectors))*(\frac{num\_leaves}{total\_num\_row})$
  • O número de partições com 0 vetores é baixo e pode ser menor que 30% das partições.
  • A variância do número de partições é baixa.
    $ variance _{p} = abs(p_{num\_partitions} - num\_leaves * (p_{percentile} - p-1_{percentile})) $ em que "p" é um bucket de distribuição de índice vetorial.
  • O número de vetores em qualquer percentil é
    $< 8 x (\frac{num\_rows\ during\ index\ creation\ time}{ num\_leaves})$

    Quando essas condições não são atendidas, REINDEX pode ser necessário com base no quanto o QPS e a recuperação são afetados.
Os cenários a seguir, embora menos comuns do que a distribuição não uniforme, podem ocorrer:
  • Índice uniforme aproximado:quando a maioria das partições tem o mesmo número de vetores diferentes de zero e a variância do número de vetores é baixa, é um índice uniforme aproximado. REINDEX é necessário se o número de vetores em cada partição for $> 8 * average vector$ em index_creation_time.
  • Índice esparso:um índice esparso também ocorre quando > 50% das partições estão vazias. Por exemplo, o índice esparso é criado quando várias exclusões ocorrem em uma tabela. Esse cenário faz com que os vetores sejam concentrados em um pequeno número de partições, o que aumenta o número de vetores em cada partição. Quando isso acontece, solte o índice e recrie-o.