Suchqualität bewerten

Im Rahmen der Suche mit Gemini Enterprise können Sie die Qualität der Suchergebnisse für benutzerdefinierte Suchanwendungen mithilfe von Beispielabfragesätzen bewerten.

Sie können die Leistung von benutzerdefinierten Suchanwendungen bewerten, die strukturierte und unstrukturierte Daten enthalten.

Sie können die Leistung von Anwendungen mit mehreren Datenspeichern nicht bewerten.

Auf dieser Seite wird erläutert, warum, wann und wie die Suchqualität mithilfe der Bewertungsmethode bewertet wird.

Übersicht

In diesem Abschnitt wird beschrieben, warum und wann Sie die Suchqualität bewerten sollten. Informationen zur Bewertung der Suchqualität finden Sie unter Prozess zur Bewertung der Suchqualität.

Gründe für die Bewertung

Die Bewertung der Suchqualität liefert Ihnen Messwerte, mit denen Sie unter anderem folgende Aufgaben ausführen können:

  • Leistung Ihrer Suchmaschine auf aggregierter Ebene messen
  • Suchen Sie auf Abfrageebene nach Mustern, um potenzielle Verzerrungen oder Mängel in Ranking-Algorithmen zu erkennen.
  • Vergleichen Sie frühere Bewertungsergebnisse, um die Auswirkungen von Änderungen an Ihrer Suchkonfiguration zu verstehen.

Eine Liste der Messwerte finden Sie unter Ergebnisse auswerten.

Wann eine Bewertung durchgeführt werden sollte

Gemini Enterprise erweitert mehrere Suchkonfigurationen, um die Sucherfahrung zu verbessern. Sie können die Suchqualität bewerten, nachdem Sie die folgenden Änderungen vorgenommen haben:

Sie können die Bewertungstests auch regelmäßig ausführen, da das Suchverhalten regelmäßig aktualisiert wird.

Beispielabfragesätze

Beispielabfragesätze werden für die Qualitätsbewertung verwendet. Der Beispielabfragesatz muss dem vorgeschriebenen Format entsprechen und Abfrageeinträge mit den folgenden verschachtelten Feldern enthalten:

  • Abfragen: Die Abfrage, deren Suchergebnisse verwendet werden, um die Bewertungsmesswerte zu generieren und die Suchqualität zu bestimmen. Google empfiehlt, eine Vielzahl von Suchanfragen zu verwenden, die das Suchmuster und -verhalten Ihrer Nutzer widerspiegeln.

  • Ziele: Der URI des Dokuments, das als Suchergebnis der Beispielabfrage erwartet wird. Informationen zur Definition von Dokumenten für strukturierte und unstrukturierte Daten finden Sie unter Connector- und Datenspeicherkonzepte.

    Wenn die Zieldokumente mit den in der Suchantwort abgerufenen Dokumenten verglichen werden, werden Leistungsmesswerte generiert. Messwerte werden mit diesen beiden Verfahren generiert:

    • Dokumentabgleich: Die URIs der Zieldokumente werden mit den URIs der abgerufenen Dokumente verglichen. Dadurch wird ermittelt, ob die erwarteten Dokumente in den Suchergebnissen vorhanden sind. Während des Vergleichs versucht die Bewertungs-API, die folgenden Felder in der folgenden Reihenfolge zu extrahieren und den ersten verfügbaren Wert zu verwenden, um das Ziel mit dem abgerufenen Dokument abzugleichen:
    • Seitenabgleich: Wenn Sie Seitenzahlen in Ihre Beispielziele aufnehmen, vergleicht die Bewertungs-API die Ergebnisse auf Seitenebene. Damit wird festgelegt, ob die in den Zielen genannten Seiten auch in der Suchantwort zitiert werden. Sie müssen extraktive Antworten aktivieren, um den Abgleich auf Seitenebene zu aktivieren. Die Bewertungs-API gleicht die Seite aus der ersten extraktiven Antwort im Suchergebnis ab.

Zweck von Beispielabfragesets

Wenn Sie für alle Suchqualitätsbewertungen für einen bestimmten Datenspeicher denselben Beispielabfragesatz verwenden, können Sie die Suchqualitätsergebnisse konsistent und zuverlässig messen. Dadurch wird auch ein faires und wiederholbares System geschaffen.

Die Ergebnisse jeder Bewertung werden mit den Zielergebnissen für jede Beispielabfrage verglichen, um verschiedene Messwerte wie Recall, Precision und Normalized Discounted Cumulative Gain (NDCG) zu berechnen. Diese quantitativen Messwerte werden verwendet, um die Ergebnisse verschiedener Suchkonfigurationen zu bewerten.

Kontingente und Limits

Für die Beispielabfragesätze gilt das folgende Limit:

  • Jeder Beispielabfragesatz kann maximal 20.000 Abfragen enthalten.

Für die Beispielabfragesätze gilt das folgende Kontingent:

  • Sie können maximal 100 Beispielabfragesätze pro Projekt und 500 Beispielabfragesätze pro Organisation erstellen. Weitere Informationen finden Sie unter Kontingente und Limits.

Format des Beispielabfragesets

Der Abfragesatz muss dem folgenden Schema entsprechen, wenn er im JSON-Format erstellt wird. Der Abfragesatz kann mehrere Abfrageeinträge mit jeweils einer Abfrage enthalten. Wenn die Abfrageeinträge im NDJSON-Format (Newline Delimited JSON) vorliegen, muss jeder Abfrageeintrag in einer neuen Zeile stehen.

Aus BigQuery und Cloud Storage importieren

Im folgenden Abschnitt finden Sie die Beispielvorlagen für Abfragesätze zum Importieren aus BigQuery und Cloud Storage.

Unstrukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, mit der unstrukturierte Daten mit Metadaten ausgewertet werden können.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
      },
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
        "pageNumbers": [
        PAGE_NUMBER_1,
        PAGE_NUMBER_2
        ]
      },
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Ersetzen Sie Folgendes:

  • SAMPLE_QUERY: die Abfrage, mit der die Suchqualität getestet und bewertet wird
  • PATH/TO/CLOUD/STORAGE/LOCATION: der Pfad zum Cloud Storage-Speicherort, an dem sich das erwartete Ergebnis befindet. Dies ist der Wert des Felds link im Feld derivedStructData der Dokumentdefinition.
  • PAGE_NUMBER_1: Ein optionales Feld, in dem die Seitenzahlen in der PDF-Datei angegeben werden, auf denen sich die erwartete Antwort auf die Abfrage befindet. Das ist nützlich, wenn die Datei mehrere Seiten hat.
  • CDOC_URL: Ein optionales Feld, mit dem das benutzerdefinierte Dokument-ID-Feld cdoc_url in den Dokumentmetadaten im Gemini Enterprise-Datenspeicherschema angegeben wird.

Strukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, mit der strukturierte Daten aus BigQuery ausgewertet werden.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Ersetzen Sie Folgendes:

  • SAMPLE_QUERY: die Abfrage, mit der die Suchqualität getestet und bewertet wird
  • CDOC_URL: Ein Pflichtfeld, das das benutzerdefinierte cdoc_url-Feld für das strukturierte Datenfeld im Gemini Enterprise-Datenspeicherschema angibt.

Hier sehen Sie ein Beispiel für einen Beispielabfragesatz im JSON- und NDJSON-Format:

JSON

[
  {
    "queryEntry": {
      "query": "2018 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
        },
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
        }
      ]
    }
  },
  {
    "queryEntry": {
      "query": "2019 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
        }
      ]
    }
  }
]

NDJSON

{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}

Aus lokalem Dateisystem importieren

Im folgenden Abschnitt finden Sie die Beispielvorlagen für Abfragesätze zum Importieren aus dem lokalen Dateisystem.

Unstrukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, mit der unstrukturierte Daten mit Metadaten ausgewertet werden können.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
            },
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
              "pageNumbers": [
                PAGE_NUMBER_1,
                PAGE_NUMBER_2
              ]
            },
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Ersetzen Sie Folgendes:

  • SAMPLE_QUERY: die Abfrage, mit der die Suchqualität getestet und bewertet wird
  • PATH/TO/CLOUD/STORAGE/LOCATION: der Pfad zum Cloud Storage-Speicherort, an dem sich die abzufragende unstrukturierte Datendatei befindet. Dies ist der Wert des Felds link im Feld derivedStructData der Dokumentdefinition.
  • PAGE_NUMBER_1: Ein optionales Feld, in dem die Seitenzahlen angegeben werden, auf denen sich die erforderliche Antwort auf die Abfrage in der PDF-Datei befindet. Das ist nützlich, wenn die Datei mehrere Seiten hat.
  • CDOC_URL: Ein optionales Feld, mit dem das benutzerdefinierte Dokument-ID-Feld cdoc_url in den Dokumentmetadaten im Gemini Enterprise-Datenspeicherschema angegeben wird.

Strukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, mit der strukturierte Daten aus BigQuery ausgewertet werden.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Ersetzen Sie Folgendes:

  • SAMPLE_QUERY: die Abfrage, mit der die Suchqualität getestet und bewertet wird
  • CDOC_URL: Ein Pflichtfeld, das das benutzerdefinierte cdoc_url-Feld für das strukturierte Datenfeld im Gemini Enterprise-Datenspeicherschema angibt.

Hier ein Beispiel für einen Beispielabfragesatz:

JSON

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "2018 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
            },
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
            }
          ]
        }
      },
      {
        "queryEntry": {
          "query": "2019 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
            }
          ]
        }
      }
    ]
  }
}

Verfahren zur Bewertung der Suchqualität

Die Bewertung der Suchqualität läuft so ab:

  1. Beispielabfragesatz erstellen
  2. Beispielabfrage importieren, die dem vorgeschriebenen JSON-Format entspricht.
  3. Bewertung der Suchqualität ausführen
  4. Was bedeuten die Ergebnisse?

In den folgenden Abschnitten finden Sie eine Anleitung zum Ausführen dieser Schritte mithilfe von REST API-Methoden.

Hinweis

  • Es gilt das folgende Limit:
    • Sie können pro Projekt jeweils nur eine aktive Bewertung haben.
  • Es gilt das folgende Kontingent:
    • Sie können maximal fünf Bewertungsanfragen pro Tag und Projekt initiieren. Weitere Informationen finden Sie unter Kontingente und Limits.
  • Wenn Sie Messwerte auf Seitenebene abrufen möchten, müssen Sie extrahierte Antworten aktivieren.

Beispielabfragesatz erstellen

Sie können ein Beispiel-Abfrageset erstellen und damit die Qualität der Suchantworten für einen bestimmten Datenspeicher bewerten. So erstellen Sie einen Beispielabfragesatz:

REST

Im folgenden Beispiel wird gezeigt, wie Sie das Beispiel-Abfrageset mit der Methode sampleQuerySets.create erstellen.

  1. Erstellen Sie den Beispielabfragesatz.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \
    -d '{
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME"
}'

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die Projekt-ID.
    • SAMPLE_QUERY_SET_ID: Eine benutzerdefinierte ID für Ihren Beispielabfragesatz.
    • SAMPLE_QUERY_SET_DISPLAY_NAME: Ein benutzerdefinierter Name für Ihren Beispielabfragesatz.

Beispielabfragedaten importieren

Nachdem Sie den Beispielabfragesatz erstellt haben, importieren Sie die Beispielabfragedaten. So importieren Sie die Beispielabfragedaten:

  • Aus Cloud Storage importieren: Importieren Sie eine NDJSON-Datei aus einem Cloud Storage-Speicherort.
  • Aus BigQuery importieren: BigQuery-Daten aus einer BigQuery-Tabelle importieren. Informationen zum Erstellen der BigQuery-Tabelle aus Ihrer NDJSON-Datei finden Sie unter JSON-Daten aus Cloud Storage laden.
  • Aus dem lokalen Dateisystem importieren: Erstellen Sie das Beispielabfrageset in Ihrem lokalen Dateisystem und importieren Sie es.

Cloud Storage

  1. Erstellen Sie die Beispielabfragesätze, die dem Format für Beispielabfragesätze entsprechen.

  2. Importieren Sie die JSON-Datei mit dem Beispielabfragesatz aus einem Cloud Storage-Speicherort mit der Methode sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "gcsSource": {
    "inputUris": ["INPUT_FILE_PATH"],
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die Projekt-ID.
    • SAMPLE_QUERY_SET_ID: Die benutzerdefinierte ID für Ihren Beispielabfragesatz, die Sie beim Erstellen des Beispielabfragesatzes definiert haben.
    • INPUT_FILE_PATH: der Pfad zum Cloud Storage-Speicherort für Ihren Beispielabfragesatz.
    • ERROR_DIRECTORY: Ein optionales Feld, in dem Sie den Pfad zum Cloud Storage-Speicherort angeben können, an dem Fehlerdateien protokolliert werden, wenn Importfehler auftreten. Google empfiehlt, dieses Feld leer zu lassen oder das Feld errorConfig zu entfernen, damit Gemini Enterprise automatisch einen temporären Speicherort erstellen kann.

  3. Rufen Sie den Status des Vorgangs mit langer Ausführungszeit (LRO) mit der Methode operations.get ab.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

BigQuery

  1. Erstellen Sie die Beispielabfragesätze, die dem Format für Beispielabfragesätze entsprechen.

  2. Importieren Sie die JSON-Datei mit dem Beispielabfragesatz aus einem BigQuery-Speicherort mit der Methode sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "bigquerySource": {
    "projectId": "PROJECT_ID",
    "datasetId":"DATASET_ID",
    "tableId": "TABLE_ID"
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die Projekt-ID.
    • SAMPLE_QUERY_SET_ID: Die benutzerdefinierte ID für Ihren Beispielabfragesatz, die Sie beim Erstellen des Beispielabfragesatzes definiert haben.
    • DATASET_ID: die ID des BigQuery-Datasets, das den Beispielabfragesatz enthält.
    • TABLE_ID: die ID Ihrer BigQuery-Tabelle, die den Beispielabfragesatz enthält.
    • ERROR_DIRECTORY: Ein optionales Feld, in dem Sie den Pfad zum Cloud Storage-Speicherort angeben können, an dem Fehlerdateien protokolliert werden, wenn Importfehler auftreten. Google empfiehlt, dieses Feld leer zu lassen oder das Feld „errorConfig“ zu entfernen, damit Gemini Enterprise automatisch einen temporären Speicherort erstellen kann.

  3. Rufen Sie den Status des Vorgangs mit langer Ausführungszeit (LRO) mit der Methode operations.get ab.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Lokales Dateisystem

  1. Erstellen Sie die Beispielabfragesätze, die dem Format für Beispielabfragesätze entsprechen.

  2. Importieren Sie die JSON-Datei mit dem Beispielabfragesatz aus einem lokalen Dateisystemspeicherort mit der Methode sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
--data @PATH/TO/LOCAL/FILE.json

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die Projekt-ID.
    • SAMPLE_QUERY_SET_ID: Die benutzerdefinierte ID für Ihren Beispielabfragesatz, die Sie beim Erstellen des Beispielabfragesatzes definiert haben.
    • PATH/TO/LOCAL/FILE.json: der Pfad zur JSON-Datei, die den Beispielabfragesatz enthält.

  3. Rufen Sie den Status des Vorgangs mit langer Ausführungszeit (LRO) mit der Methode operations.get ab.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Bewertung der Suchqualität ausführen

Nachdem Sie die Beispielabfragedaten in die Beispielabfragesätze importiert haben, führen Sie die folgenden Schritte aus, um die Bewertung der Suchqualität auszuführen.

REST

  1. Starten Sie eine Bewertung der Suchqualität.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \
-d '{
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 }
}'

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die Projekt-ID.
    • SAMPLE_QUERY_SET_ID: Die benutzerdefinierte ID für Ihren Beispielabfragesatz, die Sie beim Erstellen des Beispielabfragesatzes definiert haben.
    • APP_ID: die ID der Gemini Enterprise-App, deren Suchqualität Sie bewerten möchten.

  2. Beobachten Sie den Fortschritt der Bewertung.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die Projekt-ID.
    • EVALUATION_ID: die ID für Ihren Bewertungsjob, die im vorherigen Schritt zurückgegeben wurde, als Sie die Bewertung initiiert haben.

  3. Rufen Sie die aggregierten Ergebnisse ab.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die Projekt-ID.
    • EVALUATION_ID: die ID für Ihren Bewertungsjob, die im vorherigen Schritt zurückgegeben wurde, als Sie die Bewertung initiiert haben.

  4. Ergebnisse auf Abfrageebene abrufen

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die Projekt-ID.
    • EVALUATION_ID: die ID für Ihren Bewertungsjob, die im vorherigen Schritt zurückgegeben wurde, als Sie die Bewertung initiiert haben.

Was bedeuten die Ergebnisse?

In der folgenden Tabelle werden die Messwerte beschrieben, die in den Bewertungsergebnissen zurückgegeben werden.

Name Beschreibung Voraussetzungen
docRecall

Recall pro Dokument bei verschiedenen Top-K-Cutoff-Werten.

Der Recall ist der Anteil der abgerufenen relevanten Dokumente an allen relevanten Dokumenten. Der Wert top5 bedeutet beispielsweise Folgendes:

Wenn bei einer einzelnen Abfrage 3 von 5 relevanten Dokumenten in den Top 5 abgerufen werden, kann der docRecall als 3/5 oder 0, 6 berechnet werden.

 Die Beispielabfrage muss das URI-Feld enthalten.
pageRecall

Recall pro Seite bei verschiedenen Top-k-Grenzwerten.

Der Recall ist der Anteil der abgerufenen relevanten Seiten an allen relevanten Seiten. Der Wert top5 bedeutet beispielsweise Folgendes:

Wenn bei einer einzelnen Abfrage 3 von 5 relevanten Seiten in den Top 5 abgerufen werden, kann der pageRecall als 3/5 = 0, 6 berechnet werden.
  • Die Beispielabfrage muss die Felder „URI“ und „Seiten“ enthalten.
  • Extraktive Antworten müssen aktiviert sein.
docNdcg

Normalisierter diskontierter kumulierter Gewinn (NDCG) pro Dokument bei verschiedenen Top-k-Grenzwerten.

Der NDCG misst die Rankingqualität und weist den Top-Ergebnissen eine höhere Relevanz zu. Der NDCG-Wert kann für jede Abfrage gemäß Normalisierter CDG berechnet werden.

 Die Beispielabfrage muss das URI-Feld enthalten.
pageNdcg

Normalisierter diskontierter kumulierter Gewinn (NDCG) pro Seite bei verschiedenen Top-K-Grenzwerten.

Der NDCG misst die Rankingqualität und weist den Top-Ergebnissen eine höhere Relevanz zu. Der NDCG-Wert kann für jede Abfrage gemäß Normalisierter CDG berechnet werden.
  • Die Beispielabfrage muss die Felder „URI“ und „Seiten“ enthalten.
  • Extraktive Antworten müssen aktiviert sein.
docPrecision

Genauigkeit pro Dokument bei verschiedenen Top-K-Grenzwerten.

Die Precision ist der Anteil der abgerufenen Dokumente, die relevant sind. Der Wert top3 bedeutet beispielsweise Folgendes:

Wenn bei einer einzelnen Abfrage 4 von 5 abgerufenen Dokumenten in den Top 5 relevant sind, kann der docPrecision-Wert als 4/5 oder 0, 8 berechnet werden.

 Die Beispielabfrage muss das URI-Feld enthalten.

Basierend auf den Werten dieser unterstützten Messwerte können Sie die folgenden Aufgaben ausführen:

  • Zusammengefasste Messwerte analysieren:
    • Prüfen Sie allgemeine Messwerte wie den durchschnittlichen Recall, die Precision und den normalisierten diskontierten kumulierten Gewinn (NDCG).
    • Diese Messwerte bieten einen allgemeinen Überblick über die Leistung Ihrer Suchmaschine.
  • Ergebnisse auf Abfrageebene prüfen:
    • Sie können sich die Details zu den einzelnen Suchanfragen ansehen, um bestimmte Bereiche zu identifizieren, in denen die Suchmaschine gut oder schlecht abschneidet.
    • Suchen Sie nach Mustern in den Ergebnissen, um potenzielle Verzerrungen oder Mängel in den Ranking-Algorithmen zu erkennen.
  • Ergebnisse im Zeitverlauf vergleichen:
    • Führen Sie regelmäßig Bewertungen durch, um Änderungen der Suchqualität im Laufe der Zeit zu verfolgen.
    • Anhand von Verlaufsdaten können Sie Trends erkennen und die Auswirkungen von Änderungen an Ihrer Suchmaschine bewerten.

Nächste Schritte