Escolher um índice vetorial no AlloyDB AI

Selecione uma versão da documentação:

Nesta página, descrevemos as estratégias de pesquisa vetorial da IA do AlloyDB e explicamos quando usar cada uma delas. Por padrão, o AlloyDB Omni usa a pesquisa de vizinhos mais próximos (KNN, na sigla em inglês) para encontrar vetores semelhantes a uma consulta. Os índices vetoriais implementam uma estratégia de pesquisa chamada de vizinho mais próximo aproximado (ANN, na sigla em inglês). Quando você cria um índice de vetor, a IA do AlloyDB usa ANN, que oferece um desempenho melhor do que o KNN. Ao selecionar um índice de vetor, é preciso equilibrar a latência da consulta e o recall.

O recall mede a eficácia com que uma pesquisa recupera todos os itens relevantes para uma determinada consulta. Por exemplo, imagine que você tem 100 embeddings, cada um representando uma entidade no seu banco de dados. Você consulta os embeddings com um vetor de destino e limita a 10 resultados. Uma busca vetorial KNN encontra os 10 vetores mais próximos usando um método de cálculo de força bruta, o que resulta em 100% de recall. A IA do AlloyDB usa esse método por padrão se nenhum índice de pesquisa vetorial for criado ou escolhido. Quando você cria um índice vetorial no AlloyDB Omni, ele geralmente usa ANN, que pode particionar vetores de acordo com a similaridade para facilitar uma recuperação mais rápida. Como resultado, ao usar a ANN, os 10 vetores retornados no exemplo anterior podem não ser exatamente os 10 vetores mais próximos em distância. Se 9 dos 10 vetores recuperados forem os mais próximos no espaço do vetor de consulta, o recall será de 90%. Para mais informações, consulte Medir o recall de consultas vetoriais.

A latência da consulta define a rapidez com que os resultados da pesquisa são gerados. Por exemplo, a latência é calculada com base no tempo gasto em uma pesquisa para retornar os vetores depois que você envia uma consulta.

Escolha sua estratégia de pesquisa

Ao realizar uma pesquisa vetorial no AlloyDB Omni, escolha uma das seguintes estratégias:

Estratégia de pesquisa Descrição Casos de uso
Vizinhos mais próximos (KNN)

Um algoritmo que encontra os pontos de dados dos k vizinhos mais próximos de um determinado ponto de dados de consulta. Quando você realiza uma busca vetorial sem criar um índice, uma busca KNN é realizada por padrão.

Para melhorar ainda mais o desempenho da pesquisa KNN, adicione a coluna de embedding e outras colunas relacionadas à consulta ao armazenamento de colunas no mecanismo colunar. É possível adicionar as colunas manualmente ou usar a colunização automática.

  • Seu aplicativo é muito sensível à precisão, e você precisa das correspondências exatas mais próximas.
  • Você tem dezenas de milhares de vetores
Vizinhos mais próximos aproximados (ANN, na sigla em inglês) Um algoritmo que encontra aproximadamente os pontos de dados mais próximos. A ANN divide os pontos de dados dos clientes em pequenos grupos com base em semelhanças.
  • Seu aplicativo requer baixa latência.
  • Você tem mais de 100.000 vetores.

Os dois tipos comuns de índice vetorial baseados em ANN para o AlloyDB Omni são ScaNN e HNSW. Use as diretrizes a seguir para decidir qual tipo de índice é melhor para seu caso de uso:

Tipo de índice Quando usar Vantagens Aceleração do mecanismo colunar
ScaNN

Geralmente, são adequados para dados de baixa dimensão ou conjuntos de dados massivos que excedem a memória.

Escalona bem para 10 bilhões de vetores.

Oferece vários benefícios em relação ao HNSW no PostgreSQL padrão:

  • Consultas vetoriais até 6 vezes mais rápidas e consultas de pesquisa vetorial filtradas até 10 vezes mais rápidas
  • Criação de índices até 16 vezes mais rápida
  • Capacidade de processamento de gravação até 24 vezes maior
  • Usa até 4 vezes menos memória
A pesquisa vetorial com o índice ScaNN pode ser acelerada pelo mecanismo colunar do AlloyDB Omni. Para mais informações, consulte Acelerar a pesquisa vetorial com o mecanismo colunar.
HNSW

Geralmente, é adequado para dados de dimensões mais altas que se encaixam em grande parte no cache em memória.

Escalona bem para 10 a 20 milhões de vetores.

O índice HNSW acelerado pelo mecanismo colunar pgvector no AlloyDB Omni oferece consultas vetoriais até 5 vezes mais rápidas do que o PostgreSQL padrão. A pesquisa vetorial com o índice HNSW pode ser acelerada pelo mecanismo colunar do AlloyDB Omni. Para mais informações, consulte Acelerar a pesquisa vetorial com o mecanismo colunar.

O Google recomenda criar um índice vetorial para otimizar o desempenho das consultas de pesquisa vetorial. Para mais informações sobre como o índice ANN é usado para pesquisas de similaridade, consulte Criar índices usando o ScaNN.

Para acelerar sua pesquisa de KNN filtrada, use o mecanismo colunar.

A seguir