Filtrar búsquedas por relevancia a nivel de documento

Nota: Esta función es una oferta de vista previa, sujeta a los "Términos de las Ofertas de Acceso Previo a la Disponibilidad General" de los Términos Específicos de los Servicios de GCP. Las funciones y los productos previos a la disponibilidad general pueden tener una asistencia limitada y los cambios que se produzcan en ellos podrían no ser compatibles con otras versiones previas a la disponibilidad general. Para obtener más información, consulta las descripciones de las fases de lanzamiento. Además, al usar esta función, aceptas los términos y condiciones de la vista previa de IA generativa ("Términos de la Vista Previa"). Para usar esta función, puedes tratar datos personales tal como se indica en la Adenda sobre Tratamiento de Datos de Cloud, de acuerdo con las restricciones y obligaciones aplicables del Contrato (tal como se definen en los Términos de la Vista Previa).

Cuando buscas en tu aplicación Vertex AI Search, puedes especificar filtros de relevancia a nivel de documento para que solo se devuelvan como resultados los documentos que cumplan el umbral del filtro. En esta página se explican los tipos de umbral, la importancia de optimizarlo y cómo especificar filtros de relevancia y su umbral.

Acerca del filtrado por relevancia a nivel de documento

Cuando una consulta de búsqueda devuelve un resultado, asigna un nivel de relevancia a cada documento recuperado. En tu solicitud de búsqueda, puedes definir un umbral para devolver solo los documentos que cumplan el umbral del filtro. Si se define un umbral alto, se puede reducir el número de documentos que devuelve la consulta. Mientras que si se define un umbral bajo, los resultados pueden incluir documentos que no sean muy relevantes para la consulta del usuario.

Por lo tanto, si detecta que el resultado contiene demasiados documentos que no son lo suficientemente relevantes para sus usuarios, defina un umbral de relevancia alto para acotar los resultados a los pocos que sean más relevantes. Si un umbral alto es demasiado restrictivo, puedes reducirlo a un valor más óptimo.

Tipos de búsquedas

Puedes aplicar filtros de relevancia a los siguientes tipos de búsquedas:

• Búsqueda por palabras clave: recupera documentos en función de la búsqueda por palabras clave.
• Búsqueda por similitud semántica: recupera documentos basados en incrustaciones.

En la definición del filtro de relevancia, puede especificar el tipo de umbral de cada una de estas búsquedas. La búsqueda recupera los documentos de la búsqueda dada y, a continuación, aplica el umbral especificado.

Tipos de umbral

Puede especificar uno de los siguientes tipos de umbral para la búsqueda de palabras clave y de similitud semántica al enviar su solicitud de búsqueda.

• Umbral de relevancia: cuando se define este umbral, la búsqueda usa un modelo propietario para determinar la relevancia de un documento. En este caso, la búsqueda puede usar cualquier señal pertinente, como la puntuación de similitud de palabras clave, la puntuación de topicalidad y la puntuación de similitud semántica.

  El umbral de relevancia es un ajuste general que permite los siguientes valores: HIGH, MEDIUM, LOW y LOWEST. Un umbral de HIGH puede devolver menos documentos con una puntuación de relevancia alta, mientras que un umbral de LOWEST puede devolver más documentos que no sean relevantes para la consulta de búsqueda.

  Nota: Esta función de filtrado por relevancia es diferente y menos precisa que la puntuación de relevancia del documento que se puede devolver en los resultados de búsqueda.

• Umbral de relevancia semántica: cuando se define este umbral, el filtro solo se basa en la puntuación de similitud semántica para determinar la relevancia de un documento.

  El umbral de relevancia semántica es un ajuste preciso y es un valor de punto flotante comprendido entre 0 y 1. Si se define el umbral en cero, se devuelven todos los documentos, mientras que si se define en uno, se devuelven los documentos más relevantes.

Definición y ejemplo de filtro de relevancia

Para definir filtros de relevancia en tu solicitud de búsqueda, especifica solo un tipo de umbral (umbral de relevancia y umbral de relevancia semántica) para cada tipo de búsqueda (búsqueda por palabras clave y búsqueda semántica). Puedes especificar uno o ambos tipos de búsqueda en la especificación del filtro de relevancia. Sin embargo, solo puede haber un tipo de umbral definido en cada tipo de búsqueda. Por ejemplo, plantéate lo siguiente:

{
  "relevanceFilterSpec": {
    "keywordSearchThreshold":  {
      "relevanceThreshold": "LOW"
    },
    "semanticSearchThreshold":  {
      "semanticRelevanceThreshold": 0.871
    }
  }
}

En esta solicitud de búsqueda, los resultados se devuelven en dos fases: recuperación y filtrado.

• La búsqueda recupera los documentos según la concordancia de palabras clave y, a continuación, filtra los documentos con un umbral de relevancia bajo. De esta forma, se devuelve un gran número de documentos recuperados.
• Al mismo tiempo, la búsqueda recupera los documentos según la similitud semántica y, a continuación, los filtra con un umbral de relevancia semántica alto de 0.871. De esta forma, se devuelven menos documentos.

La búsqueda se centra más en la coincidencia de palabras clave que en la similitud semántica. Los filtros permiten que se recuperen más documentos debido a la concordancia de palabras clave.

Del mismo modo, puedes definir el filtro de relevancia de la siguiente manera para devolver menos documentos con palabras clave coincidentes y más documentos con similitud semántica.

"relevanceFilterSpec": {
    "keywordSearchThreshold":  {
        "semanticRelevanceThreshold": 0.871
    },
    "semanticSearchThreshold":  {
        "relevanceThreshold": "LOW"
    }
}

Tipos de datos y aplicaciones admitidos para el filtro de relevancia a nivel de documento

El filtro de relevancia a nivel de documento se puede aplicar a almacenes de datos con los siguientes tipos de datos:

• Datos de sitios web con indexación avanzada de sitios web
• Datos no estructurados personalizados
• Datos estructurados personalizados

El filtro de relevancia a nivel de documento no funciona con almacenes de datos que tengan indexación básica de sitios web, datos multimedia o datos sanitarios.

Además, el filtro de relevancia a nivel de documento no se puede usar con aplicaciones de búsqueda combinada. Las aplicaciones de búsqueda combinada son aplicaciones conectadas a varios almacenes de datos.

Otros tipos de filtros

El filtro de relevancia a nivel de documento no es la única forma de filtrar los datos devueltos por las consultas. También puedes usar expresiones de filtro para filtrar los resultados en función de los metadatos (en la indexación avanzada de sitios web y en los almacenes de datos no estructurados con metadatos) y los valores de los campos (en los almacenes de datos estructurados).

Para obtener información, consulta:

• Expresiones de filtro con indexación avanzada de sitios web

• Filtrar la búsqueda personalizada por datos estructurados o no estructurados

Si usas tanto una expresión de filtro como el filtro de relevancia a nivel de documento, la expresión de filtro se aplica primero a los resultados y, después, se aplica el filtro de relevancia a nivel de documento.

Antes de empezar

Asegúrate de haber creado una aplicación y un almacén de datos, y de haber insertado datos en el almacén. Para obtener más información, consulta Crear una aplicación de búsqueda. Consulta también Tipos de datos y aplicaciones admitidos para el filtro de relevancia a nivel de documento.

Buscar y filtrar resultados por relevancia a nivel de documento

Para filtrar por relevancia, sigue estos pasos:

Nota: Puedes buscar en una aplicación con el método engines.servingConfigs.search y en un almacén de datos con el método dataStores.servingConfigs.search. Para el siguiente procedimiento, Google recomienda buscar con el método engines.servingConfigs.search.

1. Busca el ID de tu aplicación. Si ya tienes el ID de tu aplicación, ve al siguiente paso.

   1. En la Google Cloud consola, ve a la página Aplicaciones de IA.

      Ir a Aplicaciones

   2. En la página Aplicaciones, busca el nombre de tu aplicación y consulta su ID en la columna ID.

2. Para filtrar la búsqueda por relevancia a nivel de documento, especifica el campo relevanceFilterSpec que define solo un tipo de umbral para cada tipo de búsqueda mediante el método engines.servingConfigs.search. Es decir, puedes especificar relevanceThreshold o semanticRelevanceThreshold para un tipo de búsqueda concreto.

   Término clave: en Vertex AI Search, el término aplicación se puede usar indistintamente con el término buscador en el contexto de las APIs.

   curl -X POST -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search:search" \
   -d '{
    "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search",
   "query": "QUERY",
   "relevanceFilterSpec": {
     "keywordSearchThreshold":  {
         "relevanceThreshold": "RELEVANCE_THRESHOLD"
     },
     "semanticSearchThreshold":  {
         "semanticRelevanceThreshold": SEMANTIC_RELEVANCE_THRESHOLD
     }
   }
   }'
   

   Haz los cambios siguientes:

   • PROJECT_ID: el ID de tu proyecto de Google Cloud .
   • APP_ID: el ID de la aplicación de Vertex AI Search que quieres consultar.
   • QUERY: el texto de la consulta que se va a buscar.
   • RELEVANCE_THRESHOLD: uno de los siguientes: HIGH, MEDIUM, LOW, LOWEST.
   • SEMANTIC_RELEVANCE_THRESHOLD: valor de punto flotante en el intervalo [0,1].

   Ejemplo de comando y resultado

   curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/collections/default_collection/engines/my-search-app/servingConfigs/default_search:search" \
   -d '{
   "servingConfig": "projects/my-project-123/locations/global/collections/default_collection/engines/my-search-app/servingConfigs/default_search",
   "query": "What is the check grounding API",
   "relevanceFilterSpec": {
   "keywordSearchThreshold": {
    "relevanceThreshold": "HIGH"
   }
   "semanticSearchThreshold": {
    "semanticRelevanceThreshold": 0.45
   }
   }
   }'
   
   {
   "results": [
   {
     "id": "a082e70352c073a4443502477255bd2a",
     "document": {
       "name": "projects/123456/locations/global/collections/default_collection/dataStores/my-data-store/branches/0/documents/a082e70352c073a4443502477255bd2a",
       "id": "a082e70352c073a4443502477255bd2a",
       "derivedStructData": {
         "displayLink": "cloud.google.com",
         "link": "https://cloud.google.com/generative-ai-app-builder/docs/check-grounding",
         "htmlTitle": "Check grounding",
         "title": "Check grounding"
       }
     },
     "rankSignals": {
     ...
     },
     "retrievalSignals": {
       "retrievalSource": 1
     }
   }
   ],
   "totalSize": 1,
   "attributionToken": "f_B-CgwIidzwswYQyue15gESJDY2N2M1NmJkLTAwMDAtMjk3Ni1iMGI4LTg4M2QyNGZmNTZhOCIHR0VORVJJQypAjr6dFavEii3b7Ygt3o-aIoCymiLC8J4Vo4CXIra3jC3Usp0V24-aIt7tiC3n7YgtrsSKLeTtiC2DspoixsvzFw",
   "guidedSearchResult": {},
   "summary": {}
   }
   

   En este caso, el umbral de relevancia se ha definido como alto, por lo que solo se devuelven los resultados más relevantes. En este ejemplo, solo se ha determinado que un documento es muy relevante. La fuente de recuperación se indica como 1, que se corresponde con la similitud de palabras clave.

3. Prueba varias consultas con umbrales diferentes para determinar la mejor configuración de umbral para tus datos y tu aplicación.