Ajusta el rendimiento de las consultas vectoriales en AlloyDB para PostgreSQL

Ajustar los índices vectoriales en AlloyDB para PostgreSQL te permite optimizar la velocidad de ejecución de las consultas y la recuperación de búsquedas para tus cargas de trabajo de Vector Search. Puedes ajustar los parámetros de compilación de índices y de consultas para los índices de ScaNN, IVF, IVFFlat y HNSW para que coincidan con el tamaño de tu conjunto de datos y los requisitos de rendimiento.

ScaNN IVF IVFFlat HNSW

Antes de comenzar

Antes de compilar un índice de ScaNN, completa lo siguiente:

• Crea una tabla con tus datos.

• Para evitar problemas de falta de memoria cuando crees el índice de ScaNN, asegúrate de que las maintenance_work_mem y shared_buffers marcas de base de datos estén establecidas en un valor inferior a la memoria total de la máquina.

• Para usar índices de cuatro niveles, primero debes habilitar la función de vista previa para tu instancia de AlloyDB. Para habilitar la función de vista previa, elige uno de los siguientes dos métodos:

  • Habilita la scann.enable_preview_features marca de base de datos.

    Para obtener más información sobre la configuración de marcas de bases de datos, consulta Configura marcas de bases de datos.

  • Establece la marca de base de datos a nivel de la sesión scann.max_allowed_num_levels en 3.

    SET scann.max_allowed_num_levels = 3;
    

Ajusta un índice de ScaNN

Vista previa

Esta función está sujeta a las "Condiciones de la oferta previa a la DG" en la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de la fase previa a la DG están disponibles “sin modificaciones” y pueden tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Para determinar la cantidad de niveles necesarios para tu índice de ScaNN, consulta la siguiente tabla.

Cantidad de filas vectoriales en tu tabla	Cantidad de niveles para tu índice de ScaNN
[0 a 10 millones]	Dos
[10 millones a 100 millones]	Elige una de las siguientes métricas para priorizar: Recuperación de búsqueda: dos Tiempo de compilación de índices: tres
[100 millones a 1,000 millones]	Elige una de las siguientes métricas para priorizar: Recuperación de búsqueda: tres Tiempo de compilación de índices: cuatro (en versión preliminar)
[1,000 millones a 10,000 millones]	Cuatro (en versión preliminar)

Usa los siguientes índices de ScaNN como ejemplos para ajustar los parámetros de una tabla con 1 millón de filas.

Índice de árbol de dos niveles

SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my_scann_index ON my_table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 1/2)]);

Índice de árbol de tres niveles

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my_scann_index ON my_table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 2/3)], max_num_levels = 2);

Índice de árbol de cuatro niveles

SET LOCAL scann.num_leaves_to_search = 100;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 3/4)], max_num_levels = 3);

Para obtener más información sobre los índices de ScaNN, consulta las siguientes páginas:

• Crea un índice de ScaNN
• Prácticas recomendadas para ajustar los índices de ScaNN

Controla las invalidaciones de DML debido a la aceleración con el motor de columnas

Si elegiste acelerar tus búsquedas de vectores con el motor de columnas, ten en cuenta que las invalidaciones de DML y DDL en las tablas base pueden afectar el rendimiento de las consultas vectoriales. En caso de un alto rendimiento de DML, considera ajustar la marca de base de datos google_columnar_engine.refresh_threshold_percentage o actualizar el índice de forma manual con el comando google_columnar_engine_refresh_index.

Analiza tus consultas

Usa el comando EXPLAIN ANALYZE para analizar las estadísticas de consultas, como se muestra en la siguiente consulta en SQL de ejemplo.

  EXPLAIN ANALYZE SELECT result-column
  FROM my_table
  ORDER BY EMBEDDING_COLUMN <-> embedding('text-embedding-005', 'What is a database?')::vector
  LIMIT 1;

La respuesta de ejemplo QUERY PLAN incluye información como el tiempo transcurrido, la cantidad de filas analizadas o devueltas y los recursos usados.

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my_scann_index on my_table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <-> embedding('text-embedding-005', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

Consulta las métricas de los índices vectoriales

Puedes usar las métricas de los índices vectoriales para revisar el rendimiento de tu índice vectorial, identificar áreas de mejora y ajustar el índice según las métricas, si es necesario. La vista pg_stat_ann_indexes te ayuda a comprender el estado del uso del índice, mientras que la vista pg_stat_ann_index_creation proporciona información sobre las filas creadas en el momento de la creación del índice.

Para ver las métricas de uso del índice, ejecuta el siguiente comando:

SELECT * FROM pg_stat_ann_indexes;

Verás un resultado similar al siguiente:

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                  | 271236
indexrelid             | 271242
schemaname             | public
relname                | t1
indexrelname           | t1_ix1
indextype              | scann
indexconfig            | {num_leaves=100,max_num_levels=1,quantizer=SQ8}
indexsize              | 832 kB
indexscan              | 0
insertcount            | 250
deletecount            | 0
updatecount            | 0
partitioncount         | 100
distribution           | {"average": 3.54, "maximum": 37, "minimum": 0, "outliers": [37, 12, 11, 10, 10, 9, 9, 9, 9, 9]}
distributionpercentile |{"10": { "num_vectors": 0, "num_partitions": 0 }, "25": { "num_vectors": 0, "num_partitions": 30 }, "50": { "num_vectors": 3, "num_partitions": 30 }, "75": { "num_vectors": 5, "num_partitions": 19 }, "90": { "num_vectors": 7, "num_partitions": 11 }, "95": { "num_vectors": 9, "num_partitions": 5 }, "99": { "num_vectors": 12, "num_partitions": 4 }, "100": { "num_vectors": 37, "num_partitions": 1 }}

Para ver la cantidad de filas creadas en el momento de la creación del índice, ejecuta el siguiente comando:

SELECT * FROM pg_stat_ann_index_creation;

Verás un resultado similar al siguiente:

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                         | 271236
indexrelid                    | 271242
schemaname                    | public
relname                       | t1
indexrelname                  | t1_ix1
index_rows_at_creation_time   | 262144

Para obtener más información sobre la lista completa de métricas, consulta Métricas de los índices vectoriales.

¿Qué sigue?

• Mantén los índices vectoriales.
• Obtén información sobre un ejemplo de flujo de trabajo de embeddings.