Filtrare le ricerche in base alla pertinenza a livello di documento

Nota: questa funzionalità è un'offerta in anteprima, soggetta ai "Termini dell'offerta pre-GA" dei Termini di servizio specifici per Google Cloud. I prodotti e le funzionalità pre-GA potrebbero avere supporto limitato e le modifiche ai prodotti e alle funzionalità pre-GA potrebbero non essere compatibili con altre versioni pre-GA. Per ulteriori informazioni, consulta le descrizioni della fase di lancio. Inoltre, utilizzando questa funzionalità, accetti i Termini e condizioni di Anteprima dell'IA generativa ("Termini di anteprima"). Per questa funzionalità, puoi trattare i dati personali come descritto nell'Addendum per il trattamento dei dati Cloud, in conformità alle limitazioni e alle obbligazioni applicabili del Contratto (come definite nei Termini di anteprima).

Quando esegui ricerche nell'app Vertex AI Search, puoi specificare filtri di pertinenza a livello di documento in modo che vengano restituiti come risultati solo i documenti che soddisfano la soglia del filtro. Questa pagina spiega i tipi di soglia, l'importanza di ottimizzarla e come specificare i filtri di pertinenza e la relativa soglia.

Informazioni sul filtro per pertinenza a livello di documento

Quando una query di ricerca restituisce un risultato, assegna un livello di pertinenza a ogni documento recuperato. Nella richiesta di ricerca, puoi impostare una soglia per restituire solo i documenti che soddisfano la soglia del filtro. L'impostazione di una soglia elevata può ridurre il numero di documenti restituiti dalla query. mentre l'impostazione di una soglia bassa può diluire i risultati con documenti poco pertinenti alla query dell'utente.

Pertanto, se ritieni che il risultato contenga troppi documenti di pertinenza insufficiente per i tuoi utenti, imposta una soglia di pertinenza elevata per restringere i risultati solo a quelli più pertinenti. Se una soglia elevata è troppo restrittiva, puoi abbassarla a un valore più ottimale.

Tipi di ricerche

Puoi applicare i filtri di pertinenza ai seguenti tipi di ricerche:

• Ricerca per parola chiave: recupera i documenti in base alla ricerca per parola chiave.
• Ricerca per somiglianza semantica: recupera i documenti in base agli embedding.

Nella definizione del filtro per pertinenza, puoi specificare il tipo di soglia per ciascuna di queste ricerche. La ricerca recupera i documenti per la ricerca specificata e poi applica la soglia indicata.

Tipi di soglia

Quando invii la richiesta di ricerca, puoi specificare uno dei seguenti tipi di soglia per la ricerca di parole chiave e di somiglianza semantica.

• Soglia di pertinenza: quando imposti questa soglia, la ricerca utilizza un modello proprietario per determinare la pertinenza di un documento. In questo caso, la ricerca potrebbe utilizzare qualsiasi indicatore pertinente, come il punteggio di somiglianza delle parole chiave, il punteggio di attualità e il punteggio di somiglianza semantica.

  La soglia di pertinenza è un'impostazione generica che consente i seguenti valori: HIGH, MEDIUM, LOW e LOWEST. Una soglia HIGH potrebbe restituire meno documenti con un punteggio di pertinenza elevato, mentre la soglia LOWEST potrebbe restituire più documenti che potrebbero non essere pertinenti alla query di ricerca.

  Nota: questa funzionalità di filtro per pertinenza è diversa e meno precisa del punteggio di pertinenza del documento che può essere restituito per i risultati di ricerca.

• Soglia di pertinenza semantica: quando imposti questa soglia, il filtro si basa esclusivamente sul punteggio di similarità semantica per determinare la pertinenza di un documento.

  La soglia di pertinenza semantica è un'impostazione granulare ed è un valore di rappresentazione in virgola mobile compreso nell'intervallo [0,1]. Se imposti la soglia su zero, vengono restituiti tutti i documenti, mentre se la imposti su uno, vengono restituiti i documenti più pertinenti.

Definizione ed esempio del filtro Pertinenza

Per definire i filtri di pertinenza nella richiesta di ricerca, specifica un solo tipo di soglia (soglia di pertinenza e soglia di pertinenza semantica) per ogni tipo di ricerca (ricerca per parole chiave e ricerca semantica). Puoi specificare uno o entrambi i tipi di ricerca all'interno della specifica del filtro per pertinenza. Tuttavia, deve essere definito un solo tipo di soglia all'interno di ogni tipo di ricerca. Ad esempio, considera quanto segue:

{
  "relevanceFilterSpec": {
    "keywordSearchThreshold":  {
      "relevanceThreshold": "LOW"
    },
    "semanticSearchThreshold":  {
      "semanticRelevanceThreshold": 0.871
    }
  }
}

In questa richiesta di ricerca, i risultati vengono restituiti in due fasi: recupero e filtraggio.

• La ricerca recupera i documenti in base alla corrispondenza delle parole chiave e poi li filtra con una soglia di pertinenza bassa. In questo modo viene restituito un numero elevato di documenti recuperati.
• Contemporaneamente, la ricerca recupera i documenti in base alla somiglianza semantica e poi li filtra con una soglia di pertinenza semantica elevata di 0.871. In questo modo vengono restituiti meno documenti recuperati.

L'enfasi della ricerca è più sulla corrispondenza delle parole chiave che sulla somiglianza semantica. I filtri consentono di recuperare più documenti grazie alla corrispondenza delle parole chiave.

Allo stesso modo, puoi definire il filtro di pertinenza nel seguente modo per restituire meno documenti con parole chiave corrispondenti e più documenti con similarità semantica.

"relevanceFilterSpec": {
    "keywordSearchThreshold":  {
        "semanticRelevanceThreshold": 0.871
    },
    "semanticSearchThreshold":  {
        "relevanceThreshold": "LOW"
    }
}

Tipi di dati e app supportati per il filtro di pertinenza a livello di documento

Il filtro per pertinenza a livello di documento può essere applicato ai datastore con i seguenti tipi di dati:

• Dati del sito web con indicizzazione avanzata dei siti web
• Dati non strutturati personalizzati
• Dati strutturati personalizzati

Il filtro per pertinenza a livello di documento non funziona per i datastore con indicizzazione di base dei siti web, dati multimediali o dati sanitari.

Inoltre, il filtro per pertinenza a livello di documento non può essere utilizzato con le app di ricerca mista. Le app di ricerca combinata sono app connesse a più datastore.

Altri tipi di filtri

Il filtro per pertinenza a livello di documento non è l'unico modo per filtrare i dati restituiti dalle query. Puoi anche utilizzare le espressioni di filtro per filtrare i risultati in base ai metadati (nei datastore di indicizzazione avanzata dei siti web e dati non strutturati con metadati) e ai valori dei campi (nei datastore strutturati).

Per informazioni, vedi:

• Espressioni di filtro con l'indicizzazione avanzata dei siti web

• Filtrare la ricerca personalizzata per dati strutturati o non strutturati

Se utilizzi sia un'espressione di filtro sia il filtro per pertinenza a livello di documento, l'espressione di filtro viene applicata prima ai risultati, poi viene applicato il filtro per pertinenza a livello di documento.

Prima di iniziare

Assicurati di aver creato un'app e un datastore e di aver importato i dati nel datastore. Per ulteriori informazioni, vedi Creare un'app di ricerca. Vedi anche Tipi di dati e app supportati per il filtro di pertinenza a livello di documento.

Cercare e filtrare i risultati in base alla pertinenza a livello di documento

Per filtrare in base alla pertinenza:

Nota:puoi eseguire ricerche in un'app utilizzando il metodo engines.servingConfigs.search e puoi eseguire ricerche in un datastore utilizzando il metodo dataStores.servingConfigs.search. Per la seguente procedura, Google consiglia di eseguire la ricerca utilizzando il metodo engines.servingConfigs.search.

1. Trova l'ID app. Se hai già l'ID app, vai al passaggio successivo.

   1. Nella Google Cloud console, vai alla pagina AI Applications.

      Vai ad App

   2. Nella pagina App, trova il nome della tua app e recupera il relativo ID dalla colonna ID.

2. Per filtrare la ricerca in base alla pertinenza a livello di documento, specifica il campo relevanceFilterSpec che definisce un solo tipo di soglia per ogni tipo di ricerca utilizzando il metodo engines.servingConfigs.search. ovvero puoi specificare relevanceThreshold o semanticRelevanceThreshold per un determinato tipo di ricerca.

   Termine chiave: in Vertex AI Search, il termine app può essere utilizzato in modo intercambiabile con il termine motore nel contesto delle API.

   curl -X POST -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search:search" \
   -d '{
    "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search",
   "query": "QUERY",
   "relevanceFilterSpec": {
     "keywordSearchThreshold":  {
         "relevanceThreshold": "RELEVANCE_THRESHOLD"
     },
     "semanticSearchThreshold":  {
         "semanticRelevanceThreshold": SEMANTIC_RELEVANCE_THRESHOLD
     }
   }
   }'
   

   Sostituisci quanto segue:

   • PROJECT_ID: l'ID del tuo Google Cloud progetto.
   • APP_ID: l'ID dell'app Vertex AI Search che vuoi interrogare.
   • QUERY: il testo della query da cercare.
   • RELEVANCE_THRESHOLD: uno dei seguenti valori: HIGH, MEDIUM, LOW, LOWEST.
   • SEMANTIC_RELEVANCE_THRESHOLD: un valore in virgola mobile compreso nell'intervallo [0,1].

   Esempio di comando e risultato

   curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/collections/default_collection/engines/my-search-app/servingConfigs/default_search:search" \
   -d '{
   "servingConfig": "projects/my-project-123/locations/global/collections/default_collection/engines/my-search-app/servingConfigs/default_search",
   "query": "What is the check grounding API",
   "relevanceFilterSpec": {
   "keywordSearchThreshold": {
    "relevanceThreshold": "HIGH"
   }
   "semanticSearchThreshold": {
    "semanticRelevanceThreshold": 0.45
   }
   }
   }'
   
   {
   "results": [
   {
     "id": "a082e70352c073a4443502477255bd2a",
     "document": {
       "name": "projects/123456/locations/global/collections/default_collection/dataStores/my-data-store/branches/0/documents/a082e70352c073a4443502477255bd2a",
       "id": "a082e70352c073a4443502477255bd2a",
       "derivedStructData": {
         "displayLink": "cloud.google.com",
         "link": "https://cloud.google.com/generative-ai-app-builder/docs/check-grounding",
         "htmlTitle": "Check grounding",
         "title": "Check grounding"
       }
     },
     "rankSignals": {
     ...
     },
     "retrievalSignals": {
       "retrievalSource": 1
     }
   }
   ],
   "totalSize": 1,
   "attributionToken": "f_B-CgwIidzwswYQyue15gESJDY2N2M1NmJkLTAwMDAtMjk3Ni1iMGI4LTg4M2QyNGZmNTZhOCIHR0VORVJJQypAjr6dFavEii3b7Ygt3o-aIoCymiLC8J4Vo4CXIra3jC3Usp0V24-aIt7tiC3n7YgtrsSKLeTtiC2DspoixsvzFw",
   "guidedSearchResult": {},
   "summary": {}
   }
   

   In questo caso, la soglia di pertinenza è impostata su un valore elevato, quindi vengono restituiti solo i risultati più pertinenti. In questo esempio, è stato stabilito che solo un documento è altamente pertinente. L'origine del recupero è indicata come 1, che corrisponde alla somiglianza delle parole chiave.

3. Testa più query con soglie diverse per determinare le migliori impostazioni di soglia per i tuoi dati e la tua applicazione.