Cómo filtrar búsquedas por relevancia a nivel del documento

Nota: Esta función es una oferta de vista previa, sujeta a las “Condiciones de las ofertas de la fase previa a la DG” de las Condiciones específicas del servicio de GCP. La asistencia de los productos y las características de la fase previa a la DG puede ser limitada, y es posible que los cambios en estos productos y características no sean compatibles con otras versiones de la fase previa a la DG. Para obtener más información, consulta las descripciones de la etapa de lanzamiento. Además, al usar esta función, aceptas los Términos y Condiciones de la versión preliminar de IA generativa (“Términos de la versión preliminar”). Para usar esta función, puedes procesar datos personales según está descrito en el Anexo de Tratamiento de Datos de Cloud, sujeto a las restricciones y obligaciones aplicables en el Acuerdo (como se define en los Términos de la versión preliminar).

Cuando realizas búsquedas en tu app de Vertex AI Search, puedes especificar filtros de relevancia a nivel del documento para que solo se muestren como resultados los documentos que cumplan con el umbral del filtro. En esta página, se explican los tipos de umbral, la importancia de optimizarlo y cómo especificar los filtros de relevancia y su umbral.

Acerca del filtrado por relevancia a nivel del documento

Cuando una búsqueda devuelve un resultado, se asigna un nivel de relevancia a cada documento recuperado. En tu solicitud de búsqueda, puedes establecer un umbral para devolver solo los documentos que cumplan con el umbral del filtro. Establecer un umbral alto puede reducir la cantidad de documentos que devuelve la búsqueda. Mientras que establecer un umbral bajo puede diluir los resultados con documentos que tienen poca relevancia para la búsqueda del usuario.

Por lo tanto, si observas que el resultado contiene demasiados documentos que no son lo suficientemente relevantes para tus usuarios, establece un umbral de relevancia alto para reducir los resultados solo a los pocos que sean más pertinentes. Si un umbral alto es demasiado restrictivo, puedes reducirlo a un valor más óptimo.

Tipos de búsquedas

Puedes aplicar filtros de relevancia a los siguientes tipos de búsquedas:

• Búsqueda por palabra clave: Recupera documentos según la búsqueda por palabra clave.
• Búsqueda por similitud semántica: Recupera documentos según los embeddings.

En la definición del filtro de relevancia, puedes especificar el tipo de umbral para cada una de estas búsquedas. La búsqueda recupera los documentos para la búsqueda determinada y, luego, aplica el umbral especificado.

Tipos de umbral

Cuando envías tu solicitud de búsqueda, puedes especificar uno de los siguientes tipos de umbral para la búsqueda de palabras clave y la similitud semántica.

• Umbral de relevancia: Cuando estableces este umbral, la búsqueda usa un modelo propietario para determinar la relevancia de un documento. En este caso, la búsqueda puede usar cualquier indicador pertinente, como la puntuación de similitud de palabras clave, la puntuación de relevancia del tema y la puntuación de similitud semántica.

  El umbral de relevancia es un parámetro de configuración de grano grueso que permite los siguientes valores: HIGH, MEDIUM, LOW y LOWEST. Un umbral de HIGH puede devolver menos documentos con una puntuación de relevancia alta, mientras que un umbral de LOWEST puede devolver más documentos que tal vez no sean relevantes para la búsqueda.

  Nota: Esta función de filtrado por relevancia es diferente y menos precisa que la puntuación de relevancia del documento que se puede devolver para los resultados de la búsqueda.

• Umbral de relevancia semántica: Cuando estableces este umbral, el filtro se basa únicamente en la puntuación de similitud semántica para determinar la relevancia de un documento.

  El umbral de relevancia semántica es un parámetro de configuración detallado y es un valor de punto flotante en el rango [0,1]. Si se establece el umbral en cero, se devuelven todos los documentos, mientras que, si se establece en uno, se devuelven los documentos más relevantes.

Definición y ejemplo del filtro de relevancia

Para definir filtros de relevancia en tu solicitud de búsqueda, especifica solo un tipo de umbral (umbral de relevancia y umbral de relevancia semántica) para cada tipo de búsqueda (búsqueda por palabra clave y búsqueda semántica). Puedes especificar uno o ambos tipos de búsqueda dentro de la especificación del filtro de relevancia. Sin embargo, solo debe haber un tipo de umbral definido dentro de cada tipo de búsqueda. Por ejemplo, considera lo siguiente:

{
  "relevanceFilterSpec": {
    "keywordSearchThreshold":  {
      "relevanceThreshold": "LOW"
    },
    "semanticSearchThreshold":  {
      "semanticRelevanceThreshold": 0.871
    }
  }
}

En esta solicitud de búsqueda, los resultados se devuelven en dos etapas: recuperación y filtrado.

• La búsqueda recupera los documentos según la coincidencia de palabras clave y, luego, los filtra con un umbral de relevancia bajo. Esto devuelve una gran cantidad de documentos recuperados.
• Al mismo tiempo, la búsqueda recupera los documentos según la similitud semántica y, luego, los filtra con un umbral de relevancia semántica alto de 0.871. Esto devuelve menos documentos recuperados.

El énfasis de la búsqueda se centra más en la concordancia de palabras clave que en la similitud semántica. Los filtros permiten recuperar más documentos debido a la coincidencia de palabras clave.

Del mismo modo, puedes definir el filtro de relevancia de la siguiente manera para devolver menos documentos con palabras clave coincidentes y más documentos con similitud semántica.

"relevanceFilterSpec": {
    "keywordSearchThreshold":  {
        "semanticRelevanceThreshold": 0.871
    },
    "semanticSearchThreshold":  {
        "relevanceThreshold": "LOW"
    }
}

Tipos de datos y apps compatibles con el filtro de relevancia a nivel del documento

El filtro de relevancia a nivel del documento se puede aplicar a los almacenes de datos con los siguientes tipos de datos:

• Datos del sitio web con indexación avanzada de sitios web
• Datos no estructurados personalizados
• Datos estructurados personalizados

El filtro de relevancia a nivel del documento no funciona para los almacenes de datos con indexación básica de sitios web, datos de medios o datos de atención médica.

Además, el filtro de relevancia a nivel del documento no se puede usar con las apps de búsqueda combinada. Las apps de búsqueda combinada son apps que están conectadas a varios almacenes de datos.

Otros tipos de filtros

El filtro de relevancia a nivel del documento no es la única forma en que puedes filtrar los datos que devuelven las búsquedas. También puedes usar expresiones de filtro para filtrar los resultados según los metadatos (en el indexado avanzado de sitios web y los almacenes de datos no estructurados con metadatos) y los valores de los campos (en los almacenes de datos estructurados).

Para obtener más información, consulta los siguientes recursos:

• Expresiones de filtro con indexación avanzada de sitios web

• Cómo filtrar la búsqueda personalizada para datos estructurados o no estructurados

Si usas una expresión de filtro y el filtro de relevancia a nivel del documento, primero se aplica la expresión de filtro a los resultados y, luego, se aplica el filtro de relevancia a nivel del documento.

Antes de comenzar

Asegúrate de haber creado una app y un almacén de datos, y de haber transferido datos a tu almacén de datos. Para obtener más información, consulta Crea una app de búsqueda. Consulta también Tipos de datos y apps compatibles con el filtro de relevancia a nivel del documento.

Cómo buscar y filtrar los resultados por relevancia a nivel del documento

Para filtrar por relevancia, sigue estos pasos:

Nota: Puedes buscar en una app con el método engines.servingConfigs.search y en un almacén de datos con el método dataStores.servingConfigs.search. Para el siguiente procedimiento, Google recomienda que realices la búsqueda con el método engines.servingConfigs.search.

1. Busca el ID de tu app. Si ya tienes el ID de tu app, ve al siguiente paso.

   1. En la consola de Google Cloud , ve a la página AI Applications.

      Ve a Apps.

   2. En la página Apps, busca el nombre de tu app y obtén su ID en la columna ID.

2. Para filtrar la búsqueda por relevancia a nivel del documento, especifica el campo relevanceFilterSpec que define solo un tipo de umbral para cada tipo de búsqueda con el método engines.servingConfigs.search. Es decir, puedes especificar relevanceThreshold o semanticRelevanceThreshold para un tipo de búsqueda determinado.

   Término clave: En Vertex AI Search, el término app se puede usar indistintamente con el término motor en el contexto de las APIs.

   curl -X POST -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search:search" \
   -d '{
    "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search",
   "query": "QUERY",
   "relevanceFilterSpec": {
     "keywordSearchThreshold":  {
         "relevanceThreshold": "RELEVANCE_THRESHOLD"
     },
     "semanticSearchThreshold":  {
         "semanticRelevanceThreshold": SEMANTIC_RELEVANCE_THRESHOLD
     }
   }
   }'
   

   Reemplaza lo siguiente:

   • PROJECT_ID: Es el ID de tu proyecto de Google Cloud .
   • APP_ID: Es el ID de la app de Vertex AI Search que deseas consultar.
   • QUERY: Es el texto de la búsqueda.
   • RELEVANCE_THRESHOLD: Uno de los siguientes: HIGH, MEDIUM, LOW, LOWEST.
   • SEMANTIC_RELEVANCE_THRESHOLD: Es un valor de punto flotante en el rango [0,1].

   Ejemplo de comando y resultado

   curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/collections/default_collection/engines/my-search-app/servingConfigs/default_search:search" \
   -d '{
   "servingConfig": "projects/my-project-123/locations/global/collections/default_collection/engines/my-search-app/servingConfigs/default_search",
   "query": "What is the check grounding API",
   "relevanceFilterSpec": {
   "keywordSearchThreshold": {
    "relevanceThreshold": "HIGH"
   }
   "semanticSearchThreshold": {
    "semanticRelevanceThreshold": 0.45
   }
   }
   }'
   
   {
   "results": [
   {
     "id": "a082e70352c073a4443502477255bd2a",
     "document": {
       "name": "projects/123456/locations/global/collections/default_collection/dataStores/my-data-store/branches/0/documents/a082e70352c073a4443502477255bd2a",
       "id": "a082e70352c073a4443502477255bd2a",
       "derivedStructData": {
         "displayLink": "cloud.google.com",
         "link": "https://cloud.google.com/generative-ai-app-builder/docs/check-grounding",
         "htmlTitle": "Check grounding",
         "title": "Check grounding"
       }
     },
     "rankSignals": {
     ...
     },
     "retrievalSignals": {
       "retrievalSource": 1
     }
   }
   ],
   "totalSize": 1,
   "attributionToken": "f_B-CgwIidzwswYQyue15gESJDY2N2M1NmJkLTAwMDAtMjk3Ni1iMGI4LTg4M2QyNGZmNTZhOCIHR0VORVJJQypAjr6dFavEii3b7Ygt3o-aIoCymiLC8J4Vo4CXIra3jC3Usp0V24-aIt7tiC3n7YgtrsSKLeTtiC2DspoixsvzFw",
   "guidedSearchResult": {},
   "summary": {}
   }
   

   Aquí, el umbral de relevancia se establece en alto, por lo que solo se muestran los resultados más relevantes. En este ejemplo, solo se determinó que un documento era muy pertinente. La fuente de recuperación se indica como 1, lo que se correlaciona con la similitud de palabras clave.

3. Prueba varias búsquedas con diferentes umbrales para determinar la mejor configuración de umbral para tus datos y tu aplicación.