O Google usa tecnologia de IA na tradução de conteúdos para seu idioma de preferência. As traduções com IA podem ter erros.

Ajustar a performance da consulta vetorial no AlloyDB para PostgreSQL

Ajustar os índices vetoriais no AlloyDB para PostgreSQL permite otimizar a velocidade de execução de consultas e a recuperação de pesquisas para cargas de trabalho de pesquisa vetorial. É possível ajustar os parâmetros de build e consulta de índice para ScaNN, IVF, IVFFlat e HNSW para corresponder ao tamanho do conjunto de dados e aos requisitos de performance.

Antes de começar

Antes de criar um índice ScaNN, faça o seguinte:

Crie uma tabela com seus dados.
Para evitar problemas de falta de memória ao criar o índice ScaNN, verifique se as maintenance_work_mem e shared_buffers flags de banco de dados estão definidas como um valor menor que a memória total da máquina.
Para usar índices de quatro níveis, primeiro ative o recurso de visualização da instância do AlloyDB. Para ativar o recurso de visualização, escolha um dos dois métodos a seguir:
- Ative a scann.enable_preview_features flag de banco de dados.
  
  Para mais informações sobre como configurar flags de banco de dados, consulte Configurar flags de banco de dados.
- Defina a flag de banco de dados no nível da sessão scann.max_allowed_num_levels como 3.
```
SET scann.max_allowed_num_levels = 3;
```

Ajustar um índice ScaNN

Para determinar o número de níveis necessários para o índice ScaNN, consulte a tabela a seguir.

Número de linhas de vetor na tabela	Número de níveis para o índice ScaNN
[0 a 10 milhões]	Dois
[10 milhões a 100 milhões]	Escolha uma das seguintes métricas para priorizar: Recuperação de pesquisa: dois Tempo de criação do índice: três
[100 milhões a 1 bilhão]	Escolha uma das seguintes métricas para priorizar: Recuperação de pesquisa: três Tempo de criação do índice: quatro (na visualização)
[1 bilhão a 10 bilhões]	Quatro (na visualização)

Use os índices ScaNN a seguir como exemplos de parâmetros de ajuste para uma tabela com 1 milhão de linhas.

Índice de árvore de dois níveis

SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my_scann_index ON my_table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 1/2)]);

Índice de árvore de três níveis

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my_scann_index ON my_table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 2/3)], max_num_levels = 2);

Índice de árvore de quatro níveis

SET LOCAL scann.num_leaves_to_search = 100;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 3/4)], max_num_levels = 3);

Para mais informações sobre índices ScaNN, consulte as seguintes páginas:

Processar invalidações de DML devido à aceleração com o mecanismo colunar

Se você optar por acelerar as pesquisas vetoriais com o mecanismo colunar, esteja ciente de que as invalidações de DML e DDL nas tabelas de base podem afetar a performance da consulta vetorial. Em caso de alta taxa de transferência de DML, considere ajustar a flag de banco de dados google_columnar_engine.refresh_threshold_percentage ou atualizar manualmente o índice usando o comando google_columnar_engine_refresh_index.

Analisar suas consultas

Use o comando EXPLAIN ANALYZE para analisar o Query Insights, conforme mostrado no exemplo de consulta SQL a seguir.

  EXPLAIN ANALYZE SELECT result-column
  FROM my_table
  ORDER BY EMBEDDING_COLUMN <-> embedding('text-embedding-005', 'What is a database?')::vector
  LIMIT 1;

A resposta de exemplo QUERY PLAN inclui informações como o tempo gasto, o número de linhas verificadas ou retornadas e os recursos usados.

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my_scann_index on my_table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <-> embedding('text-embedding-005', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

Visualizar métricas de índice vetorial

É possível usar métricas de índice vetorial para analisar a performance do índice vetorial, identificar áreas de melhoria e ajustar o índice com base nas métricas, se necessário. A visualização pg_stat_ann_indexes ajuda a entender o estado de utilização do índice, enquanto a visualização pg_stat_ann_index_creation fornece informações sobre as linhas criadas no momento da criação do índice.

Para conferir as métricas de utilização do índice, execute o seguinte comando:

SELECT * FROM pg_stat_ann_indexes;

Você verá uma saída semelhante a esta:

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                  | 271236
indexrelid             | 271242
schemaname             | public
relname                | t1
indexrelname           | t1_ix1
indextype              | scann
indexconfig            | {num_leaves=100,max_num_levels=1,quantizer=SQ8}
indexsize              | 832 kB
indexscan              | 0
insertcount            | 250
deletecount            | 0
updatecount            | 0
partitioncount         | 100
distribution           | {"average": 3.54, "maximum": 37, "minimum": 0, "outliers": [37, 12, 11, 10, 10, 9, 9, 9, 9, 9]}
distributionpercentile |{"10": { "num_vectors": 0, "num_partitions": 0 }, "25": { "num_vectors": 0, "num_partitions": 30 }, "50": { "num_vectors": 3, "num_partitions": 30 }, "75": { "num_vectors": 5, "num_partitions": 19 }, "90": { "num_vectors": 7, "num_partitions": 11 }, "95": { "num_vectors": 9, "num_partitions": 5 }, "99": { "num_vectors": 12, "num_partitions": 4 }, "100": { "num_vectors": 37, "num_partitions": 1 }}

Para conferir o número de linhas criadas no momento da criação do índice, execute o seguinte comando:

SELECT * FROM pg_stat_ann_index_creation;