Suchqualität bewerten

Im Rahmen der Suche mit Vertex AI Search können Sie die Qualität Ihrer Suchergebnisse für benutzerdefinierte Suchanwendungen anhand von Beispielabfragesätzen bewerten.

Sie können die Leistung benutzerdefinierter Suchanwendungen bewerten, die strukturierte, unstrukturierte und Websitedaten enthalten. Die Leistung von Apps mit mehreren Datenspeichern lässt sich nicht auswerten.

Auf dieser Seite wird erläutert, warum, wann und wie Sie die Suchqualität mit der Bewertungsmethode bewerten.

Übersicht

In diesem Abschnitt wird beschrieben, warum und wann eine Bewertung der Suchqualität durchgeführt werden sollte. Informationen zum Bewerten der Suchqualität finden Sie unter Prozess zur Bewertung der Suchqualität.

Gründe für die Durchführung einer Bewertung

Die Bewertung Ihrer Suchqualität liefert Messwerte, mit denen Sie Aufgaben wie die folgenden ausführen können:

  • Leistung Ihrer Suchmaschine auf aggregierter Ebene messen
  • Muster auf Abfrageebene finden, um potenzielle Verzerrungen oder Mängel in Ranking-Algorithmen zu erkennen
  • Vergleichen Sie frühere Bewertungsergebnisse, um die Auswirkungen von Änderungen an Ihrer Suchkonfiguration zu verstehen.

Eine Liste der Messwerte finden Sie unter Ergebnisse interpretieren.

Wann sollte eine Bewertung durchgeführt werden?

Vertex AI Search bietet mehrere Suchkonfigurationen, um die Suche zu optimieren. Sie können die Suchqualität nach den folgenden Änderungen bewerten:

Sie können die Tests auch regelmäßig ausführen, da sich das Suchverhalten regelmäßig ändert.

Beispielabfragesätze

Beispielhafte Abfragesätze werden für die Qualitätsbewertung verwendet. Der Beispielabfragesatz muss dem vorgeschriebenen Format entsprechen und Abfrageeinträge mit den folgenden verschachtelten Feldern enthalten:

  • Abfragen: Die Abfrage, deren Suchergebnisse zum Generieren der Bewertungsstatistiken und zum Ermitteln der Suchqualität verwendet werden. Google empfiehlt, eine Vielzahl von Suchanfragen zu verwenden, die das Suchmuster und das Verhalten Ihrer Nutzer widerspiegeln.

  • Ziele: Der URI des Dokuments, das als Suchergebnis der Beispielanfrage erwartet wird. Eine Definition von „Dokument“ für strukturierte, unstrukturierte und Website-Suchanwendungen finden Sie unter Dokumente.

    Wenn die Zieldokumente mit den in der Suchantwort abgerufenen Dokumenten verglichen werden, werden Leistungsmesswerte generiert. Messwerte werden mit den folgenden beiden Methoden generiert:

    • Dokumentabgleich: Die URIs der Zieldokumente werden mit den URIs der abgerufenen Dokumente verglichen. So wird ermittelt, ob die erwarteten Dokumente in den Suchergebnissen vorhanden sind. Beim Vergleich versucht die Evaluation API, die folgenden Felder in der folgenden Reihenfolge zu extrahieren und den ersten verfügbaren Wert zu verwenden, um das Ziel mit dem abgerufenen Dokument abzugleichen:
    • Seitenabgleich: Wenn Sie Seitenzahlen in Ihre Beispielziele aufnehmen, vergleicht die Evaluation API die Ergebnisse auf Seitenebene. Damit wird festgelegt, ob die in den Zielen genannten Seiten auch in der Suchantwort zitiert werden. Sie müssen extrahierte Antworten aktivieren, um die Übereinstimmung auf Seitenebene zu aktivieren. Die Evaluierungs-API vergleicht die Seite mit der ersten extraktiven Antwort im Suchergebnis.

Zweck von Beispielabfragesätzen

Wenn Sie für alle Ihre Suchqualitätsbewertungen für einen bestimmten Datenspeicher dieselbe Beispielabfragemenge verwenden, können Sie die Ergebnisse der Suchqualität konsistent und zuverlässig messen. So wird ein faires und wiederholbares System geschaffen.

Die Ergebnisse der einzelnen Auswertungen werden mit den Zielergebnissen für jede Beispielanfrage verglichen, um verschiedene Messwerte wie Recall, Precision und Normalized Discounted Cumulative Gain (NDCG) zu berechnen. Mithilfe dieser quantitativen Messwerte werden die Ergebnisse aus verschiedenen Suchkonfigurationen gerankt.

Kontingente und Limits

Für die Beispielabfragesätze gilt das folgende Limit:

  • Jede Gruppe von Beispielabfragen kann maximal 20.000 Abfragen enthalten.

Für die Beispielabfragesätze gilt das folgende Kontingent:

  • Sie können maximal 100 Beispielabfragesätze pro Projekt und 500 Beispielabfragesätze pro Organisation erstellen.

Weitere Informationen finden Sie unter Kontingente und Limits.

Beispiel für das Format eines Suchanfragensatzes

Das Abfrageset muss dem folgenden Schema entsprechen, wenn es im JSON-Format erstellt wird. Der Abfragesatz kann mehrere Abfrageeinträge mit jeweils einer Abfrage enthalten. Wenn die Einträge im NDJSON-Format (Newline Delimited JSON) vorliegen, muss jede Anfrage in einer neuen Zeile stehen.

Aus BigQuery und Cloud Storage importieren

Im folgenden Abschnitt finden Sie die Vorlagen für Beispielabfragesätze für den Import aus BigQuery und Cloud Storage.

Unstrukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, mit der Sie unstrukturierte Daten mit Metadaten auswerten können.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
      },
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
        "pageNumbers": [
        PAGE_NUMBER_1,
        PAGE_NUMBER_2
        ]
      },
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Ersetzen Sie Folgendes:

  • SAMPLE_QUERY: die Abfrage, mit der die Suchqualität getestet wird
  • PATH/TO/CLOUD/STORAGE/LOCATION: der Pfad zum Cloud Storage-Speicherort, an dem sich das erwartete Ergebnis befindet. Dies ist der Wert des Felds link im Feld derivedStructData der Dokumentdefinition.
  • PAGE_NUMBER_1: Ein optionales Feld, mit dem die Seitenzahlen in der PDF-Datei angegeben werden, in der sich die erwartete Antwort auf die Anfrage befindet. Das ist nützlich, wenn die Datei mehrere Seiten hat.
  • CDOC_URL: Ein optionales Feld, mit dem das Feld für die benutzerdefinierte Dokument-ID cdoc_url in den Dokumentmetadaten im Schema des Vertex AI Search-Datenspeichers angegeben wird.

Strukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, mit der Sie strukturierte Daten aus BigQuery auswerten können.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Ersetzen Sie Folgendes:

  • SAMPLE_QUERY: die Abfrage, mit der die Suchqualität getestet wird
  • CDOC_URL: Ein Pflichtfeld, das das benutzerdefinierte cdoc_url-Feld für das Feld für strukturierte Daten im Vertex AI Search-Datenspeicherschema angibt.

Websitedaten

Verwenden Sie die folgende Vorlage, um eine Beispielanfragedatei im JSON-Format zum Bewerten von Websiteinhalten zu erstellen.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "WEBSITE_URL"
      }
    ]
  }
}

Ersetzen Sie Folgendes:

  • SAMPLE_QUERY: die Abfrage, mit der die Suchqualität getestet wird
  • WEBSITE_URL: die Zielwebsite für die Anfrage.

Hier sehen Sie ein Beispiel für eine Beispielanfragegruppe im JSON- und NDJSON-Format:

JSON

[
  {
    "queryEntry": {
      "query": "2018 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
        },
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
        }
      ]
    }
  },
  {
    "queryEntry": {
      "query": "2019 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
        }
      ]
    }
  }
]

NDJSON

{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}

Aus dem lokalen Dateisystem importieren

Im folgenden Abschnitt finden Sie die Vorlagen für Beispielabfragesätze für den Import aus dem lokalen Dateisystem.

Unstrukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, mit der Sie unstrukturierte Daten mit Metadaten auswerten können.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
            },
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
              "pageNumbers": [
                PAGE_NUMBER_1,
                PAGE_NUMBER_2
              ]
            },
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Ersetzen Sie Folgendes:

  • SAMPLE_QUERY: die Abfrage, mit der die Suchqualität getestet wird
  • PATH/TO/CLOUD/STORAGE/LOCATION: Der Pfad zum Cloud Storage-Speicherort, an dem sich die abzufragende Datei mit unstrukturierten Daten befindet. Dies ist der Wert des Felds link im Feld derivedStructData der Dokumentdefinition.
  • PAGE_NUMBER_1: Ein optionales Feld, in dem die Seitenzahlen angegeben werden, auf denen sich die erforderliche Antwort für die Anfrage in der PDF-Datei befindet. Das ist nützlich, wenn die Datei mehrere Seiten hat.
  • CDOC_URL: Ein optionales Feld, mit dem das Feld für die benutzerdefinierte Dokument-ID cdoc_url in den Dokumentmetadaten im Schema des Vertex AI Search-Datenspeichers angegeben wird.

Strukturierte Daten

Verwenden Sie die folgende Vorlage, um eine Beispielabfragedatei im JSON-Format zu erstellen, mit der Sie strukturierte Daten aus BigQuery auswerten können.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Ersetzen Sie Folgendes:

  • SAMPLE_QUERY: die Abfrage, mit der die Suchqualität getestet wird
  • CDOC_URL: Ein Pflichtfeld, das das benutzerdefinierte cdoc_url-Feld für das Feld für strukturierte Daten im Vertex AI Search-Datenspeicherschema angibt.

Websitedaten

Verwenden Sie die folgende Vorlage, um eine Beispielanfragedatei im JSON-Format zum Bewerten von Websiteinhalten zu erstellen.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "WEBSITE_URL"
            }
          ]
        }
      }
    ]
  }
}

Ersetzen Sie Folgendes:

  • SAMPLE_QUERY: die Abfrage, mit der die Suchqualität getestet wird
  • WEBSITE_URL: die Zielwebsite für die Anfrage.

Hier ist ein Beispiel für einen Beispielsatz von Anfragen:

JSON

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "2018 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
            },
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
            }
          ]
        }
      },
      {
        "queryEntry": {
          "query": "2019 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
            }
          ]
        }
      }
    ]
  }
}

Prozess zur Bewertung der Suchqualität

So läuft die Bewertung der Suchqualität ab:

  1. Beispielabfragesatz erstellen
  2. Beispielabfrage importieren, die dem vorgeschriebenen JSON-Format entspricht.
  3. Suchqualität bewerten:
  4. Ergebnisse interpretieren

In den folgenden Abschnitten finden Sie eine Anleitung, wie Sie diese Schritte mit REST API-Methoden ausführen.

Hinweise

  • Es gilt das folgende Limit:
    • Pro Projekt kann jeweils nur eine aktive Bewertung vorhanden sein.
  • Es gilt das folgende Kontingent:
    • Sie können pro Tag und Projekt maximal fünf Bewertungsanfragen stellen. Weitere Informationen finden Sie unter Kontingente und Limits.
  • Wenn Sie Messwerte auf Seitenebene abrufen möchten, müssen Sie extrahierte Antworten aktivieren.

Beispielabfragesatz erstellen

Sie können einen Beispielsatz von Anfragen erstellen und damit die Qualität der Suchantworten für einen bestimmten Datenspeicher bewerten. So erstellen Sie einen Beispielabfragesatz:

REST

Das folgende Beispiel zeigt, wie Sie das Beispiel-Abfrageset mit der Methode sampleQuerySets.create erstellen.

  1. Erstellen Sie den Beispielabfragesatz.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \
    -d '{
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME"
}'

    Ersetzen Sie Folgendes:

    • PROJECT_ID: Die ID Ihres Projekts in Google Cloud .
    • SAMPLE_QUERY_SET_ID: Eine benutzerdefinierte ID für Ihren Beispielabfragesatz.
    • SAMPLE_QUERY_SET_DISPLAY_NAME: Ein benutzerdefinierter Name für Ihren Beispielabfragesatz.

Beispieldaten für Abfragen importieren

Nachdem Sie das Beispiel-Query-Set erstellt haben, importieren Sie die Beispiel-Query-Daten. Sie haben folgende Möglichkeiten, um die Beispielabfragedaten zu importieren:

  • Aus Cloud Storage importieren: Importieren Sie eine NDJSON-Datei aus einem Cloud Storage-Speicherort.
  • Aus BigQuery importieren: BigQuery-Daten aus einer BigQuery-Tabelle importieren. Informationen zum Erstellen der BigQuery-Tabelle aus Ihrer NDJSON-Datei finden Sie unter JSON-Daten aus Cloud Storage laden.
  • Aus dem lokalen Dateisystem importieren: Erstellen Sie die Beispielabfragegruppe in Ihrem lokalen Dateisystem und importieren Sie sie.

Cloud Storage

  1. Erstellen Sie die Beispielabfragesätze, die dem Format für Beispielabfragesätze entsprechen.

  2. Importieren Sie die JSON-Datei mit dem Beispielabfragesatz über die Methode sampleQueries.import aus einem Cloud Storage-Speicherort.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "gcsSource": {
    "inputUris": ["INPUT_FILE_PATH"],
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Ersetzen Sie Folgendes:

    • PROJECT_ID: Die ID Ihres Projekts in Google Cloud .
    • SAMPLE_QUERY_SET_ID: Die benutzerdefinierte ID für Ihren Beispielabfragesatz, die Sie beim Erstellen des Beispielabfragesatzes definiert haben.
    • INPUT_FILE_PATH: der Pfad zum Cloud Storage-Speicherort für Ihren Beispielanfragesatz.
    • ERROR_DIRECTORY: Ein optionales Feld, in dem Sie den Pfad zum Cloud Storage-Speicherort angeben können, an dem Fehlerdateien protokolliert werden, wenn Importfehler auftreten. Google empfiehlt, dieses Feld leer zu lassen oder das Feld errorConfig zu entfernen, damit Vertex AI Search automatisch einen temporären Speicherort erstellen kann.

  3. Rufen Sie den Status des Vorgangs mit langer Ausführungszeit mit der Methode operations.get ab. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

BigQuery

  1. Erstellen Sie die Beispielabfragesätze, die dem Format für Beispielabfragesätze entsprechen.

  2. Importieren Sie die JSON-Datei mit dem Beispielabfragesatz über die Methode sampleQueries.import aus einem BigQuery-Speicherort.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "bigquerySource": {
    "projectId": "PROJECT_ID",
    "datasetId":"DATASET_ID",
    "tableId": "TABLE_ID"
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Ersetzen Sie Folgendes:

    • PROJECT_ID: Die ID Ihres Projekts in Google Cloud .
    • SAMPLE_QUERY_SET_ID: Die benutzerdefinierte ID für Ihren Beispielabfragesatz, die Sie beim Erstellen des Beispielabfragesatzes definiert haben.
    • DATASET_ID: die ID des BigQuery-Datasets, das die Beispielabfragegruppe enthält.
    • TABLE_ID: Die ID Ihrer BigQuery-Tabelle, die den Beispielabfragesatz enthält.
    • ERROR_DIRECTORY: Ein optionales Feld, in dem Sie den Pfad zum Cloud Storage-Speicherort angeben können, an dem Fehlerdateien protokolliert werden, wenn Importfehler auftreten. Google empfiehlt, dieses Feld leer zu lassen oder das Feld `errorConfig` zu entfernen, damit Vertex AI Search automatisch einen temporären Speicherort erstellen kann.

  3. Rufen Sie den Status des Vorgangs mit langer Ausführungszeit mit der Methode operations.get ab. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Lokales Dateisystem

  1. Erstellen Sie die Beispielabfragesätze, die dem Format für Beispielabfragesätze entsprechen.

  2. Importieren Sie die JSON-Datei mit dem Beispielabfragesatz über die Methode sampleQueries.import aus einem lokalen Dateisystem.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
--data @PATH/TO/LOCAL/FILE.json

    Ersetzen Sie Folgendes:

    • PROJECT_ID: Die ID Ihres Projekts in Google Cloud .
    • SAMPLE_QUERY_SET_ID: Die benutzerdefinierte ID für Ihren Beispielabfragesatz, die Sie beim Erstellen des Beispielabfragesatzes definiert haben.
    • PATH/TO/LOCAL/FILE.json: der Pfad zur JSON-Datei, die den Beispielanfragesatz enthält.

  3. Rufen Sie den Status des Vorgangs mit langer Ausführungszeit mit der Methode operations.get ab. 

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Bewertung der Suchqualität durchführen

Nachdem Sie die Beispielabfragedaten in die Beispielabfragesätze importiert haben, führen Sie die folgenden Schritte aus, um die Bewertung der Suchqualität durchzuführen.

REST

  1. Bewertung der Suchqualität starten

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \
-d '{
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 }
}'

    Ersetzen Sie Folgendes:

    • PROJECT_ID: Die ID Ihres Projekts in Google Cloud .
    • SAMPLE_QUERY_SET_ID: Die benutzerdefinierte ID für Ihren Beispielabfragesatz, die Sie beim Erstellen des Beispielabfragesatzes definiert haben.
    • APP_ID: Die ID der Vertex AI Search-App, deren Suchqualität Sie bewerten möchten.

  2. Behalten Sie den Fortschritt der Bewertung im Blick.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Ersetzen Sie Folgendes:

    • PROJECT_ID: Die ID Ihres Projekts in Google Cloud .
    • EVALUATION_ID: die ID für Ihren Bewertungsjob, die im vorherigen Schritt zurückgegeben wurde, als Sie die Bewertung gestartet haben.

  3. Aggregierte Ergebnisse abrufen

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Ersetzen Sie Folgendes:

    • PROJECT_ID: Die ID Ihres Projekts in Google Cloud .
    • EVALUATION_ID: die ID für Ihren Bewertungsjob, die im vorherigen Schritt zurückgegeben wurde, als Sie die Bewertung gestartet haben.

  4. Ergebnisse auf Abfrageebene abrufen

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"

    Ersetzen Sie Folgendes:

    • PROJECT_ID: Die ID Ihres Projekts in Google Cloud .
    • EVALUATION_ID: die ID für Ihren Bewertungsjob, die im vorherigen Schritt zurückgegeben wurde, als Sie die Bewertung gestartet haben.

Ergebnisse nachvollziehen

In der folgenden Tabelle werden die Messwerte beschrieben, die in Ihren Auswertungsergebnissen zurückgegeben werden.

Name Beschreibung Voraussetzungen
docRecall

Trefferquote pro Dokument bei verschiedenen Top-K-Grenzwerten.

Die Trefferquote ist der Anteil der abgerufenen relevanten Dokumente an allen relevanten Dokumenten. Der Wert top5 bedeutet beispielsweise Folgendes:

Wenn bei einer einzelnen Anfrage 3 von 5 relevanten Dokumenten in den Top 5 abgerufen werden, kann die docRecall als 3/5 oder 0, 6 berechnet werden.

 Die Beispielanfrage muss das Feld „URI“ enthalten.
pageRecall

Trefferquote pro Seite bei verschiedenen Top-k-Grenzwerten.

Die Trefferquote ist der Anteil der abgerufenen relevanten Seiten an allen relevanten Seiten. Der Wert top5 bedeutet beispielsweise Folgendes:

Wenn bei einer einzelnen Suchanfrage 3 von 5 relevanten Seiten in den Top 5 abgerufen werden, kann die pageRecall als 3/5 = 0, 6 berechnet werden.
  • Die Beispielabfrage muss die Felder „URI“ und „Seiten“ enthalten.
  • Extraktive Antworten müssen aktiviert sein.
docNdcg

Normalisierter diskontierter kumulierter Gewinn (NDCG) pro Dokument bei verschiedenen Top-k-Grenzwerten.

Mit NDCG wird die Ranking-Qualität gemessen, wobei Top-Ergebnisse stärker gewichtet werden. Der NDCG-Wert kann für jede Anfrage gemäß Normalized CDG berechnet werden.

 Die Beispielanfrage muss das Feld „URI“ enthalten.
pageNdcg

Normalisierter diskontierter kumulierter Gewinn (NDCG) pro Seite bei verschiedenen Top-k-Grenzwerten.

Mit NDCG wird die Ranking-Qualität gemessen, wobei Top-Ergebnisse stärker gewichtet werden. Der NDCG-Wert kann für jede Anfrage gemäß Normalized CDG berechnet werden.
  • Die Beispielabfrage muss die Felder „URI“ und „Seiten“ enthalten.
  • Extraktive Antworten müssen aktiviert sein.
docPrecision

Genauigkeit pro Dokument bei verschiedenen Top-k-Grenzwerten.

Die Präzision ist der Anteil der abgerufenen Dokumente, die relevant sind. Der Wert top3 bedeutet beispielsweise Folgendes:

Wenn bei einer einzelnen Abfrage 4 von 5 abgerufenen Dokumenten in den Top 5 relevant sind, kann der docPrecision-Wert als 4/5 oder 0, 8 berechnet werden.

 Die Beispielanfrage muss das Feld „URI“ enthalten.

Anhand der Werte dieser unterstützten Messwerte können Sie die folgenden Aufgaben ausführen:

  • Zusammengefasste Messwerte analysieren:
    • Sehen Sie sich die Gesamtmesswerte wie durchschnittlicher Recall, Precision und normalisierter diskontierter kumulativer Gewinn (NDCG) an.
    • Diese Messwerte bieten einen allgemeinen Überblick über die Leistung Ihrer Suchmaschine.
  • Ergebnisse auf Abfrageebene ansehen:
    • Sie können einzelne Anfragen aufschlüsseln, um bestimmte Bereiche zu identifizieren, in denen die Suchmaschine gut oder schlecht abschneidet.
    • Suchen Sie in den Ergebnissen nach Mustern, um potenzielle Verzerrungen oder Mängel in den Ranking-Algorithmen zu erkennen.
  • Ergebnisse im Zeitverlauf vergleichen:
    • Führen Sie regelmäßig Auswertungen durch, um Änderungen der Suchqualität im Laufe der Zeit zu verfolgen.
    • Anhand von Verlaufsdaten können Sie Trends erkennen und die Auswirkungen von Änderungen an Ihrer Suchmaschine bewerten.

Nächste Schritte