Crea un índice de HNSW

Selecciona una versión de la documentación:

En esta página, se describe cómo usar embeddings almacenados para generar índices y consultar embeddings con un índice HNSW con AlloyDB Omni. Para obtener más información sobre el almacenamiento de embeddings, consulta Almacena embeddings de vectores.

Antes de comenzar

Antes de comenzar a crear índices, debes completar los siguientes requisitos previos.

  • Los vectores de embedding se agregan a una tabla en tu base de datos de AlloyDB Omni.

  • Se instala la versión 0.5.0 o posterior de la extensión vector basada en pgvector, que Google extendió para AlloyDB Omni.

    CREATE EXTENSION IF NOT EXISTS vector;

Crea un índice HNSW

AlloyDB Omni admite la creación de un índice hnsw basado en gráficos disponible con pgvector de stock mediante la extensión pgvector de AlloyDB Omni. El uso de un índice hnsw da como resultado una búsqueda voraz que se mueve a través del grafo y busca constantemente el vecino más cercano al vector de consulta hasta que encuentra un resultado óptimo. Proporciona un rendimiento de consulta más rápido, pero tiempos de compilación más lentos en comparación con IVF.

Para obtener más información sobre el algoritmo HNSW, consulta Gráficos jerárquicos de Small World navegables.

Para crear un índice hnsw, ejecuta la siguiente consulta:

CREATE INDEX INDEX_NAME ON TABLE
  USING hnsw (EMBEDDING_COLUMN DISTANCE_FUNCTION)
  WITH (m = NUMBER_OF_CONNECTIONS, ef_construction = 'CANDIDATE_LIST_SIZE');

Reemplaza lo siguiente:

  • INDEX_NAME: Es el nombre del índice que deseas crear, por ejemplo, my-hnsw-index.

  • TABLE: Es la tabla a la que se agregará el índice.

  • EMBEDDING_COLUMN: Es una columna que almacena datos vector.

  • DISTANCE_FUNCTION: Es la función de distancia que se usará con este índice. Elige una de estas opciones:

    • Distancia de L2: vector_l2_ops

    • Producto interno: vector_ip_ops

    • Distancia de coseno: vector_cosine_ops

  • NUMBER_OF_CONNECTIONS: Es la cantidad máxima de conexiones por nodo en el gráfico. Puedes comenzar con el valor predeterminado como 16 y experimentar con valores más altos según el tamaño de tu conjunto de datos.

  • CANDIDATE_LIST_SIZE: Es el tamaño de una lista de candidatos que se mantiene durante la construcción del gráfico, que actualiza constantemente los mejores candidatos actuales para los vecinos más cercanos de un nodo. Establece este valor en cualquier valor superior al doble del valor m, por ejemplo, 64.

Para ver el progreso de la indexación, usa la vista pg_stat_progress_create_index:

SELECT * FROM pg_stat_progress_create_index;

La columna phase muestra el estado actual de la creación del índice, y la fase building graph desaparece después de que se crea el índice.

Para ajustar el índice para una recuperación objetivo y un balance de QPS, consulta Ajusta un hnsw índice.

Ejecuta una consulta

Después de almacenar y, también, indexar las embeddings en tu base de datos, puedes comenzar a realizar consultas con la funcionalidad de consulta pgvector .

Para encontrar los vecinos semánticos más cercanos para un vector de embedding, puedes ejecutar la siguiente consulta de ejemplo, en la que estableces la misma función de distancia que usaste durante la creación del índice.

  SELECT * FROM TABLE
    ORDER BY EMBEDDING_COLUMN DISTANCE_FUNCTION_QUERY ['EMBEDDING']
    LIMIT ROW_COUNT

Reemplaza lo siguiente:

  • TABLE: Es la tabla que contiene la embedding con la que comparas el texto.

  • INDEX_NAME: Es el nombre del índice que deseas usar, por ejemplo, my-hnsw-index.

  • EMBEDDING_COLUMN: Es la columna que contiene las embeddings almacenadas.

  • DISTANCE_FUNCTION_QUERY: Es la función de distancia que se usará con esta consulta. Elige una de las siguientes opciones según la función de distancia que se usó durante la creación del índice:

    • Distancia de L2: <->

    • Producto interno: <#>

    • Distancia de coseno: <=>

  • EMBEDDING: Es el vector de embedding del que deseas encontrar los vecinos semánticos almacenados más cercanos.

  • ROW_COUNT: Es la cantidad de filas que se mostrarán.

    Especifica 1 si solo deseas la mejor coincidencia.

Para obtener más información sobre otros ejemplos de consultas, consulta Consultas.

También puedes usar la embedding() función para traducir el texto a un vector. Aplicas el vector a uno de los pgvector operadores de vecino más cercano, <-> para la distancia de L2, para encontrar las filas de la base de datos con las embeddings semánticamente más similares.

Debido a que embedding() muestra un array real, debes convertir explícitamente la llamada embedding() en vector para usar estos valores con operadores pgvector.

¿Qué sigue?