Suchanfragen nach Relevanz auf Dokumentebene filtern

Hinweis: Diese Funktion ist ein Vorabangebot, das den Pre-GA-Angebotsbedingungen in den dienstspezifischen Nutzungsbedingungen für die GCP unterliegt. Pre-GA-Produkte und -Funktionen werden eventuell nur eingeschränkt unterstützt. Änderungen an Pre-GA-Produkten und -Funktionen sind möglicherweise nicht mit anderen Pre-GA-Versionen kompatibel. Weitere Informationen finden Sie in den Beschreibungen der Produkteinführungsphasen. Wenn Sie diese Funktion verwenden, stimmen Sie außerdem den Nutzungsbedingungen für die Vorabversion der generativen KI („Bedingungen für Vorabversionen“) zu. Für diese Funktion können personenbezogene Daten gemäß dem Zusatz zur Verarbeitung von Cloud-Daten verarbeitet werden, vorbehaltlich der geltenden Einschränkungen und Verpflichtungen in der Vereinbarung (wie in den Vorschaubedingungen definiert).

Bei der Suche in Ihrer Vertex AI Search-Anwendung können Sie Relevanzfilter auf Dokumentebene angeben, sodass nur die Dokumente, die den Filterschwellenwert erreichen, als Ergebnisse zurückgegeben werden. Auf dieser Seite werden die verschiedenen Arten von Schwellenwerten, die Bedeutung der Optimierung des Schwellenwerts und die Angabe von Relevanzfiltern und deren Schwellenwert erläutert.

Nach Relevanz auf Dokumentebene filtern

Wenn eine Suchanfrage ein Ergebnis zurückgibt, wird jedem abgerufenen Dokument ein Relevanzniveau zugewiesen. In Ihrer Suchanfrage können Sie einen Schwellenwert festlegen, damit nur die Dokumente zurückgegeben werden, die den Filterschwellenwert erreichen. Ein hoher Schwellenwert kann die Anzahl der von der Abfrage zurückgegebenen Dokumente reduzieren. Ein niedriger Schwellenwert kann die Ergebnisse mit Dokumenten verwässern, die für die Anfrage des Nutzers nur von geringer Relevanz sind.

Wenn das Ergebnis zu viele Dokumente enthält, die für Ihre Nutzer nicht relevant genug sind, legen Sie einen hohen Relevanzschwellenwert fest, um die Ergebnisse auf die wenigen Dokumente einzugrenzen, die am relevantesten sind. Wenn ein hoher Schwellenwert zu restriktiv ist, können Sie ihn auf einen optimaleren Wert senken.

Arten von Suchanfragen

Sie können Relevanzfilter auf die folgenden Arten von Suchanfragen anwenden:

• Keyword-Suche: Ruft Dokumente basierend auf der Keyword-Suche ab.
• Suche nach semantischer Ähnlichkeit: Ruft Dokumente basierend auf Einbettungen ab.

In der Definition des Relevanzfilters können Sie den Schwellentyp für jede dieser Suchanfragen angeben. Bei der Suche werden die Dokumente für die angegebene Suche abgerufen und dann der angegebene Grenzwert angewendet.

Arten von Schwellenwerten

Sie können einen der folgenden Schwellenwerttypen für die Keyword- und semantische Ähnlichkeitssuche angeben, wenn Sie Ihre Suchanfrage senden.

• Relevanzschwellenwert: Wenn Sie diesen Schwellenwert festlegen, wird bei der Suche ein proprietäres Modell verwendet, um die Relevanz eines Dokuments zu bestimmen. In diesem Fall werden für die Suche möglicherweise alle relevanten Signale verwendet, z. B. der Keyword-Ähnlichkeitswert, der Thematizitätswert und der semantische Ähnlichkeitswert.

  Der Relevanzschwellenwert ist eine grob abgestufte Einstellung, die die folgenden Werte zulässt: HIGH, MEDIUM, LOW und LOWEST. Bei einem HIGH-Schwellenwert werden möglicherweise weniger Dokumente mit einem hohen Relevanzwert zurückgegeben, während bei einem LOWEST-Schwellenwert mehr Dokumente zurückgegeben werden, die möglicherweise nicht für die Suchanfrage relevant sind.

  Hinweis :Diese Funktion zum Filtern nach Relevanz unterscheidet sich vom Dokumentrelevanzwert, der für Suchergebnisse zurückgegeben werden kann, und ist weniger präzise.

• Schwellenwert für semantische Relevanz: Wenn Sie diesen Schwellenwert festlegen, stützt sich der Filter ausschließlich auf den Wert für die semantische Ähnlichkeit, um die Relevanz eines Dokuments zu bestimmen.

  Der Schwellenwert für die semantische Relevanz ist eine detaillierte Einstellung und ein Gleitkommawert im Bereich [0,1]. Wenn Sie den Schwellenwert auf null setzen, werden alle Dokumente zurückgegeben. Wenn Sie den Schwellenwert auf eins setzen, werden die Dokumente mit der höchsten Relevanz zurückgegeben.

Definition und Beispiel für den Relevanzfilter

Wenn Sie Relevanzfilter in Ihrer Suchanfrage definieren möchten, geben Sie für jede Art von Suche (Keyword-Suche und semantische Suche) nur einen Schwellenwerttyp an (Relevanzschwellenwert und semantischer Relevanzschwellenwert). Sie können einen oder beide Suchtypen in der Spezifikation des Relevanzfilters angeben. Es darf jedoch nur ein Schwellenwerttyp für jede Art von Suche definiert werden. Sie könnten beispielsweise Folgendes versuchen:

{
  "relevanceFilterSpec": {
    "keywordSearchThreshold":  {
      "relevanceThreshold": "LOW"
    },
    "semanticSearchThreshold":  {
      "semanticRelevanceThreshold": 0.871
    }
  }
}

Bei dieser Suchanfrage werden die Ergebnisse in zwei Phasen zurückgegeben: Abruf und Filterung.

• Bei der Suche werden die Dokumente anhand von Keyword-Übereinstimmungen abgerufen und dann mit einem niedrigen Relevanzschwellenwert gefiltert. Dadurch wird eine große Anzahl abgerufener Dokumente zurückgegeben.
• Gleichzeitig werden die Dokumente entsprechend der semantischen Ähnlichkeit abgerufen und dann mit einem hohen Schwellenwert für die semantische Relevanz von 0.871 gefiltert. Dadurch werden weniger abgerufene Dokumente zurückgegeben.

Der Schwerpunkt der Suche liegt eher auf dem Abgleich von Keywords als auf der semantischen Ähnlichkeit. Mit den Filtern können mehr Dokumente abgerufen werden, die aufgrund von Keyword-Übereinstimmungen abgerufen werden.

Sie können den Relevanzfilter auch so definieren, dass weniger Dokumente mit übereinstimmenden Keywords und mehr Dokumente mit semantischer Ähnlichkeit zurückgegeben werden.

"relevanceFilterSpec": {
    "keywordSearchThreshold":  {
        "semanticRelevanceThreshold": 0.871
    },
    "semanticSearchThreshold":  {
        "relevanceThreshold": "LOW"
    }
}

Datentypen und Anwendungen, die für den Relevanzfilter auf Dokumentebene unterstützt werden

Der Relevanzfilter auf Dokumentebene kann auf Datenspeicher mit den folgenden Arten von Daten angewendet werden:

• Websitedaten mit erweiterter Websiteindexierung
• Benutzerdefinierte unstrukturierte Daten
• Benutzerdefinierte strukturierte Daten

Der Relevanzfilter auf Dokumentebene eignet sich nicht für Datenspeicher mit einfacher Websiteindexierung, Mediendaten oder Gesundheitsdaten.

Außerdem kann der Relevanzfilter auf Dokumentebene nicht mit zusammengeführten Suchanwendungen verwendet werden. Zusammengeführte Suchanwendungen sind Anwendungen, die mit mehreren Datenspeichern verbunden sind.

Andere Arten von Filtern

Der Relevanzfilter auf Dokumentebene ist nicht die einzige Möglichkeit, die von Abfragen zurückgegebenen Daten zu filtern. Sie können auch Filterausdrücke verwenden, um Ergebnisse basierend auf Metadaten (in Datenspeichern mit erweiterter Websiteindexierung und unstrukturierten Daten mit Metadaten) und Feldwerten (in Datenspeichern mit strukturierten Daten) zu filtern.

Weitere Informationen:

• Filterausdrücke mit erweiterter Websiteindexierung

• Benutzerdefinierte Suche nach strukturierten oder unstrukturierten Daten filtern

Wenn Sie sowohl einen Filterausdruck als auch den Relevanzfilter auf Dokumentebene verwenden, wird zuerst der Filterausdruck auf die Ergebnisse angewendet und dann der Relevanzfilter auf Dokumentebene.

Hinweis

Achten Sie darauf, dass Sie eine Anwendung und einen Datenspeicher erstellt und Daten in den Datenspeicher aufgenommen haben. Weitere Informationen finden Sie unter Suchanwendung erstellen und Datentypen und Anwendungen, die für den Relevanzfilter auf Dokumentebene unterstützt werden.

Ergebnisse nach Relevanz auf Dokumentebene suchen und filtern

So filtern Sie nach Relevanz:

Hinweis: Sie können eine App mit der Methode engines.servingConfigs.search durchsuchen und einen Datenspeicher mit der Methode dataStores.servingConfigs.search. Für das folgende Verfahren empfiehlt Google die Suche mit der Methode engines.servingConfigs.search.

1. App-ID suchen. Wenn Sie Ihre App-ID bereits haben, fahren Sie mit dem nächsten Schritt fort.

   1. Rufen Sie in der Google Cloud Console die Seite KI-Anwendungen auf.

      Gehen Sie zu Apps

   2. Suchen Sie auf der Seite Apps nach dem Namen Ihrer App und entnehmen Sie die App-ID der Spalte ID.

2. Wenn Sie die Suche nach Relevanz auf Dokumentebene filtern möchten, geben Sie das Feld relevanceFilterSpec an, das mit der Methode engines.servingConfigs.search nur einen Schwellenwerttyp für jeden Suchtyp definiert. Das heißt, Sie können für einen bestimmten Suchtyp entweder relevanceThreshold oder semanticRelevanceThreshold angeben.

   Wichtiger Begriff:In Vertex AI Search kann der Begriff App im Zusammenhang mit APIs synonym mit dem Begriff Engine verwendet werden.

   curl -X POST -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search:search" \
   -d '{
    "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search",
   "query": "QUERY",
   "relevanceFilterSpec": {
     "keywordSearchThreshold":  {
         "relevanceThreshold": "RELEVANCE_THRESHOLD"
     },
     "semanticSearchThreshold":  {
         "semanticRelevanceThreshold": SEMANTIC_RELEVANCE_THRESHOLD
     }
   }
   }'
   

   Ersetzen Sie Folgendes:

   • PROJECT_ID: Die ID Ihres Projekts in Google Cloud .
   • APP_ID: die ID der Vertex AI Search-App, die Sie abfragen möchten.
   • QUERY: der Abfragetext für die Suche.
   • RELEVANCE_THRESHOLD: eine der folgenden Optionen: HIGH, MEDIUM, LOW, LOWEST.
   • SEMANTIC_RELEVANCE_THRESHOLD: eine Gleitkommazahl im Bereich [0,1].

   Beispielbefehl und -ergebnis

   curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)"
   -H "Content-Type: application/json" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/my-project-123/locations/global/collections/default_collection/engines/my-search-app/servingConfigs/default_search:search" \
   -d '{
   "servingConfig": "projects/my-project-123/locations/global/collections/default_collection/engines/my-search-app/servingConfigs/default_search",
   "query": "What is the check grounding API",
   "relevanceFilterSpec": {
   "keywordSearchThreshold": {
    "relevanceThreshold": "HIGH"
   }
   "semanticSearchThreshold": {
    "semanticRelevanceThreshold": 0.45
   }
   }
   }'
   
   {
   "results": [
   {
     "id": "a082e70352c073a4443502477255bd2a",
     "document": {
       "name": "projects/123456/locations/global/collections/default_collection/dataStores/my-data-store/branches/0/documents/a082e70352c073a4443502477255bd2a",
       "id": "a082e70352c073a4443502477255bd2a",
       "derivedStructData": {
         "displayLink": "cloud.google.com",
         "link": "https://cloud.google.com/generative-ai-app-builder/docs/check-grounding",
         "htmlTitle": "Check grounding",
         "title": "Check grounding"
       }
     },
     "rankSignals": {
     ...
     },
     "retrievalSignals": {
       "retrievalSource": 1
     }
   }
   ],
   "totalSize": 1,
   "attributionToken": "f_B-CgwIidzwswYQyue15gESJDY2N2M1NmJkLTAwMDAtMjk3Ni1iMGI4LTg4M2QyNGZmNTZhOCIHR0VORVJJQypAjr6dFavEii3b7Ygt3o-aIoCymiLC8J4Vo4CXIra3jC3Usp0V24-aIt7tiC3n7YgtrsSKLeTtiC2DspoixsvzFw",
   "guidedSearchResult": {},
   "summary": {}
   }
   

   Hier ist der hohe Relevanzschwellenwert festgelegt, sodass nur die relevantesten Ergebnisse zurückgegeben werden. In diesem Beispiel wurde nur ein Dokument als hochrelevant eingestuft. Die Abrufquelle wird als „1“ angegeben, was der Ähnlichkeit von Keywords entspricht.

3. Testen Sie mehrere Abfragen mit unterschiedlichen Grenzwerten, um die besten Einstellungen für Ihre Daten und Anwendung herauszufinden.