Suchergebnisse mit VertexRanker neu ordnen

Agent Retrieval (früher Vektorsuche 2.0) bietet VertexRanker für semantisches Reranking, das von der Ranking API unterstützt wird.

Nachdem der Agentenabruf Kandidatenergebnisse abgerufen und zusammengeführt hat (mithilfe von Reciprocal Rank Fusion (RRF)), bewertet VertexRanker die zusammengeführten Kandidaten anhand Ihrer Anfrage in natürlicher Sprache mit einem dedizierten semantischen Modell neu. Dadurch wird die Relevanz der Top-k-Ergebnisse verbessert, insbesondere bei Abfragen, bei denen die Suche allein nicht alle Nuancen erfasst. Das erneute Ranking erfolgt serverseitig mit Aufrufen von BatchSearchDataObjects. Es sind keine zusätzlichen clientseitigen Verbindungen oder zusätzlichen Roundtrips erforderlich.

VertexRanker

VertexRanker ist als Reranker für das Feld combine.ranker des BatchSearchDataObjectsRequest-Objekts konfiguriert. Sie müssen einen primären Ranker konfigurieren (nur RRF wird unterstützt). Der Reranker wird nach dem RRF-Fusionsschritt ausgeführt und ersetzt die Ausgabe durch die semantisch neu bewertete Liste.

In der folgenden Tabelle sind die Konfigurationsfelder für Ranker aufgeführt.

Feld Erforderlich Beschreibung
combine.ranker.rrf.weights Ja Die Gewichtungen für die RRF-Zusammenführung der zugrunde liegenden Suchergebnisse.
combine.ranker.vertex_ranker.model Ja Der Name des Ranking-Modells. Unterstützte Werte: semantic-ranker-fast@latest, semantic-ranker-default@latest, semantic-ranker-fast-004, semantic-ranker-default-004. Weitere Informationen zu den einzelnen Modellen finden Sie unter Ranking API-Modelle.
combine.ranker.vertex_ranker.top_n Ja Die maximale Anzahl von Kandidaten aus der zusammengeführten Liste, die an den Ranker gesendet werden sollen. Gültige Werte sind 1 bis 1000.
combine.ranker.vertex_ranker.text_record_spec.query Ja Die Abfrage in natürlicher Sprache, die vom Ranker zum Bewerten von Einträgen verwendet wird.
combine.ranker.vertex_ranker.text_record_spec.title_template Ja Der Vorlagenstring, z. B. {title}, der angibt, wie der Titel für jeden Eintrag extrahiert (erstellt) werden soll. Verwenden Sie Punktpfade, um Datenfelder anzugeben.
combine.ranker.vertex_ranker.text_record_spec.content_template Ja Der Vorlagenstring, z. B. {body.text}, der angibt, wie der Hauptinhalt für jeden Eintrag extrahiert (erstellt) werden soll. Verwenden Sie Punktpfade, um Datenfelder anzugeben.
combine.top_k Optional Die endgültige Anzahl der Ergebnisse, die nach der Neubewertung zurückgegeben werden sollen. Dieser Wert muss kleiner oder gleich vertex_ranker.top_n und kleiner oder gleich 1.000 sein.

Das folgende Beispiel zeigt den Text einer Anfrage.

{
  "searches": [
    { "semantic_search": { "search_text": "running shoes", "search_field": "embedding", "task_type": "RETRIEVAL_QUERY", "top_k": 50 } },
    { "text_search":     { "search_text": "running shoes", "data_field_names": ["title"], "top_k": 50 } }
  ],
  "combine": {
    "top_k": 10,
    "ranker": {
      "rrf": { "weights": [1.0, 1.0] },
      "vertex_ranker": {
        "model": "semantic-ranker-fast@latest",
        "top_n": 50,
        "text_record_spec": {
          "query": "running shoes",
          "title_template": "{title}",
          "content_template": "{body.text}"
        }
      }
    }
  }
}

In Vorlagen werden Punktpfade zu Datenfeldern von Datenobjekten verwendet, z. B. {title} oder {nested.field}. Diese Felder müssen im Schema der Sammlung vorhanden sein, da die Anfrage sonst bei der Validierung abgelehnt wird. Wenn das angegebene Feld in einem Datenobjekt fehlt, ruft der Server den vollständigen Datensatz transparent aus dem Speicher ab, damit die Vorlage trotzdem ausgefüllt werden kann.

Kontingent und Preise

VertexRanker für den Agentenabruf verwendet ein kostenloses Kontingent mit nutzungsbasierter Abrechnung für Überschreitungen. Jedes Projekt erhält pro 30-Tage-Zeitraum ein kostenloses Kontingent für die Ranking-Nutzung. Die Nutzung innerhalb dieses Kontingents ist kostenlos. Für jede Nutzung, die über dieses Kontingent hinausgeht, gelten die Standard-Preise für die Ranking API für das Nutzerprojekt.

In der folgenden Tabelle sind die Kontingentwerte aufgeführt.

Element Wert
Kontingent der kostenlosen Stufe 80.000 Ranking-Einheiten pro Nutzerprojekt und 30-Tage-Zeitraum.
Überschreitung Die Abrechnung erfolgt zu den Standardpreisen der Ranking API im Nutzerprojekt.
Maximale Anzahl von Einträgen pro Aufruf zur Neubewertung 1000 (top_n muss im Bereich [1, 1000] liegen und top_k <= top_n).

Wenn das Kontingent der kostenlosen Stufe erreicht ist, schlagen Ihre Anfragen nicht fehl. Nachdem das Kontingent von 80.000 Ranking-Einheiten aufgebraucht ist, kann VertexRanker weiterhin verwendet werden. Die Nutzung wird dann als Überschreitung abgerechnet. Das Kontingent wird 30 Tage nach der ersten Nutzung zurückgesetzt.

Ranking-Einheiten werden anhand der Anzahl der an den Ranker gesendeten Datensätze und der Größe ihrer Titel- und Inhaltsvorlagen berechnet. Dabei wird dieselbe Abrechnung wie für die eigenständige Ranking API verwendet. Ausführliche Informationen finden Sie unter Preise für die Ranking API.

Bevor Sie VertexRanker verwenden können, muss die Discovery Engine im Nutzerprojekt aktiviert sein. Weitere Informationen finden Sie unter Fehlerbedingungen.

Fehlerbehandlung und Warnungen

VertexRanker ist ein Best-Effort-Reranker. Wenn der Ranking-Aufruf fehlschlägt, ist der RPC BatchSearchDataObjects trotzdem erfolgreich und gibt die RRF-fusionierten Ergebnisse zurück, die auf top_k gekürzt sind. Der Fehler wird im Feld search_response_metadata.warnings der Antwort gemeldet. Der vollständige Statuscode der Ranking API wird beibehalten. Der Warncode für unerwartete Status lautet UNAVAILABLE mit der Warnmeldung: "Reranking is temporarily unavailable. Returning fused (RRF) results without semantic reranking."

Fehlerbedingungen

Der gesamte BatchSearchDataObjects-RPC schlägt in den folgenden Fällen mit FAILED_PRECONDITION fehl (kein Fallback auf RRF).

  • Discovery Engine API nicht aktiviert: Die Ranking API gibt FAILED_PRECONDITION mit der Nachricht Discovery Engine API is not enabled for the consumer project /<N/>. Please enable the API and try again." zurück. Lösung: Aktivieren Sie die Discovery Engine API im Nutzerprojekt.

Der Kunde muss die Discovery Engine für das Nutzerprojekt aktivieren, damit die Neubewertung erfolgen kann.

In der folgenden Tabelle sind Warncodes, die typischen Ursachen für die Warnungen und die Meldung aufgeführt, die die Warnung erklärt.

Warncode Typische Ursache Warnmeldung
RESOURCE_EXHAUSTED Ein Ranking API-Kontingent im Nutzerprojekt wurde überschritten. Hinweis: Wenn Sie die zulässige Anzahl von 80.000 Ranking-Einheiten überschreiten,wird diese Warnung nicht angezeigt. Stattdessen wird die Überschreitung in Rechnung gestellt. <Quota exceeded message>; RankService.Rank call failed for consumer project <N> with request query: <query> and <model>: semantic-ranker-fast@latest number of records: <N>
DEADLINE_EXCEEDED Ranker.Rank wurde nicht innerhalb der Anfragefrist abgeschlossen. <deadline-exceeded message from Ranker.Rank>; RankService.Rank call failed for consumer project <N> with request query: <query> and <model>: semantic-ranker-fast@latest number of records: <N>
UNAVAILABLE Entweder hat Ranker.Rank den Wert UNAVAILABLE zurückgegeben oder einen nicht beibehaltenen Code (z. B. INTERNAL), der zu UNAVAILABLE minimiert wird. Wenn der zugrunde liegende Code UNAVAILABLE ist: "RankService.Rank call failed for consumer project...

Andernfalls: "Reranking is temporarily unavailable. Returning fused (RRF) results without semantic reranking."
FAILED_PRECONDITION Alle von der Ranking API zurückgegebenen FAILED_PRECONDITION. RankService.Rank call failed for consumer project <N> with request query: <query> and <model>: semantic-ranker-fast@latest number of records: <N>
CANCELLED Der Aufrufer hat den RPC BatchSearchDataObjects abgebrochen, bevor die Neusortierung abgeschlossen war. <cancellation message from the cancelled RankService.Rank RPC>; RankService.Rank call failed for consumer project <N> with request query: <query> and <model>: semantic-ranker-fast@latest number of records: <N>