REST Resource: projects.locations.evaluations

Risorsa: valutazione

Una valutazione è una singola esecuzione (o run) di un processo di valutazione. Incapsula lo stato della valutazione e i dati risultanti.

Rappresentazione JSON
{
  "name": string,
  "evaluationSpec": {
    object (EvaluationSpec)
  },
  "qualityMetrics": {
    object (QualityMetrics)
  },
  "state": enum (State),
  "error": {
    object (Status)
  },
  "createTime": string,
  "endTime": string,
  "errorSamples": [
    {
      object (Status)
    }
  ]
}
Campi
name

string

Identificatore. Il nome completo della risorsa di Evaluation, nel formato projects/{project}/locations/{location}/evaluations/{evaluation}.

Questo campo deve essere una stringa codificata in UTF-8 con un limite di lunghezza di 1024 caratteri.

evaluationSpec

object (EvaluationSpec)

Obbligatorio. La specifica della valutazione.

qualityMetrics

object (QualityMetrics)

Solo output. Le metriche prodotte dalla valutazione, calcolate in media su tutti i SampleQuery nel SampleQuerySet.

Compilato solo quando lo stato della valutazione è RIUSCITO.

state

enum (State)

Solo output. Lo stato della valutazione.

error

object (Status)

Solo output. L'errore che si è verificato durante la valutazione. Viene compilato solo quando lo stato della valutazione è FAILED.

createTime

string (Timestamp format)

Solo output. Timestamp della creazione di Evaluation.

Utilizza RFC 3339, in cui l'output generato è sempre normalizzato in base al fuso orario UTC e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".

endTime

string (Timestamp format)

Solo output. Timestamp del completamento di Evaluation.

Utilizza RFC 3339, in cui l'output generato è sempre normalizzato in base al fuso orario UTC e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".

errorSamples[]

object (Status)

Solo output. Un campione degli errori riscontrati durante l'elaborazione della richiesta.

EvaluationSpec

Descrive la specifica della valutazione.

Rappresentazione JSON
{
  "querySetSpec": {
    object (QuerySetSpec)
  },

  // Union field search_spec can be only one of the following:
  "searchRequest": {
    object (SearchRequest)
  }
  // End of list of possible types for union field search_spec.
}
Campi
querySetSpec

object (QuerySetSpec)

Facoltativo. La specifica dell'insieme di query.

Campo unione search_spec. La specifica di ricerca. search_spec può essere solo uno dei seguenti:
searchRequest

object (SearchRequest)

Obbligatorio. La richiesta di ricerca utilizzata per eseguire la valutazione.

Sono supportati solo i seguenti campi all'interno di SearchRequest; se vengono forniti altri campi, verrà restituito un errore UNSUPPORTED:

ImageQuery

Specifica l'input della query di immagini.

Rappresentazione JSON
{

  // Union field image can be only one of the following:
  "imageBytes": string
  // End of list of possible types for union field image.
}
Campi

Campo unione image.

image può essere solo uno dei seguenti:

imageBytes

string

Byte dell'immagine con codifica Base64. Formati immagine supportati: JPEG, PNG e BMP.

FacetSpec

Una specifica del facet per eseguire la ricerca con facet.

Rappresentazione JSON
{
  "facetKey": {
    object (FacetKey)
  },
  "limit": integer,
  "excludedFilterKeys": [
    string
  ],
  "enableDynamicPosition": boolean
}
Campi
facetKey

object (FacetKey)

Obbligatorio. La specifica della chiave facet.

limit

integer

Numero massimo di valori di facet restituiti per questo facet. Se non specificato, il valore predefinito è 20. Il valore massimo consentito è 300. I valori superiori a 300 vengono forzati a 300. Per l'aggregazione nella ricerca nel settore sanitario, quando [FacetKey.key] è "healthcare_aggregation_key", il limite verrà sostituito internamente con 10.000, indipendentemente dal valore impostato qui.

Se questo campo è negativo, viene restituito un INVALID_ARGUMENT.

excludedFilterKeys[]

string

Elenco delle chiavi da escludere durante la creazione di sfaccettature.

Per impostazione predefinita, FacetKey.key non viene escluso dal filtro, a meno che non sia elencato in questo campo.

L'elenco di una chiave di facet in questo campo consente di visualizzare i relativi valori come risultati di facet, anche se sono filtrati dai risultati di ricerca. L'utilizzo di questo campo non influisce sui risultati di ricerca restituiti.

Ad esempio, supponiamo che ci siano 100 documenti con la sfaccettatura di colore "Rosso" e 200 documenti con la sfaccettatura di colore "Blu". Una query contenente il filtro "color:ANY("Red")" e con "color" come FacetKey.key restituirebbe per impostazione predefinita solo i documenti "Red" nei risultati di ricerca e restituirebbe anche "Red" con conteggio 100 come unico facet di colore. Sebbene siano disponibili anche documenti blu, "Blu" non verrà visualizzato come valore di sfaccettatura disponibile.

Se "color" è elencato in "excludedFilterKeys", la query restituisce i valori della sfaccettatura "Red" con conteggio 100 e "Blue" con conteggio 200, perché la chiave "color" è ora esclusa dal filtro. Poiché questo campo non influisce sui risultati di ricerca, questi ultimi vengono comunque filtrati correttamente per restituire solo i documenti "Rossi".

Sono consentiti massimo 100 valori. In caso contrario, viene restituito un errore INVALID_ARGUMENT.

enableDynamicPosition

boolean

Attiva la posizione dinamica per questo facet. Se è impostata su true, la posizione di questa sfaccettatura tra tutte le sfaccettature nella risposta viene determinata automaticamente. Se i facet dinamici sono abilitati, vengono ordinati insieme. Se impostato su false, la posizione di questo facet nella risposta è la stessa della richiesta e viene classificato prima dei facet con posizione dinamica abilitata e di tutti i facet dinamici.

Ad esempio, potresti voler sempre restituire la sfaccettatura della valutazione nella risposta, ma non è necessario visualizzarla sempre in alto. In questo caso, puoi impostare enableDynamicPosition su true in modo che la posizione del facet di valutazione nella risposta venga determinata automaticamente.

Un altro esempio, supponendo di avere i seguenti facet nella richiesta:

  • "rating", enableDynamicPosition = true

  • "price", enableDynamicPosition = false

  • "brands", enableDynamicPosition = false

Inoltre, hai attivato i facet dinamici, che generano un facet gender. L'ordine finale delle sfaccettature nella risposta può essere ("price", "brands", "rating", "gender") o ("price", "brands", "gender", "rating") a seconda di come l'API ordina le sfaccettature "gender" e "rating". Tuttavia, nota che "price" e "brands" sono sempre classificati in prima e seconda posizione perché enableDynamicPosition è false.

FacetKey

Specifica come viene calcolata una sfaccettatura.

Rappresentazione JSON
{
  "key": string,
  "intervals": [
    {
      object (Interval)
    }
  ],
  "restrictedValues": [
    string
  ],
  "prefixes": [
    string
  ],
  "contains": [
    string
  ],
  "caseInsensitive": boolean,
  "orderBy": string
}
Campi
key

string

Obbligatorio. Chiavi di sfaccettatura testuali e numeriche supportate nell'oggetto Document, in base alle quali vengono calcolati i valori delle sfaccettature. La chiave del facet è sensibile alle maiuscole.

intervals[]

object (Interval)

Imposta solo se i valori devono essere suddivisi in bucket in intervalli. Deve essere impostato per le sfaccettature con valori numerici. Non deve essere impostato per il facet con valori di testo. Il numero massimo di intervalli è 30.

restrictedValues[]

string

Ottieni solo la sfaccettatura per i valori con limitazioni specificati. Supportato solo sui campi di testo. Ad esempio, supponiamo che "category" abbia tre valori: "Action > 2022", "Action > 2021" e "Sci-Fi > 2022". Se imposti "restrictedValues" su "Azione > 2022", la sfaccettatura "category" (categoria) contiene solo "Azione > 2022". Supportato solo sui campi di testo. Il valore massimo è 10.

prefixes[]

string

Recupera solo i valori delle sfaccettature che iniziano con il prefisso della stringa specificato. Ad esempio, supponiamo che "category" abbia tre valori: "Action > 2022", "Action > 2021" e "Sci-Fi > 2022". Se imposti "prefissi" su "Azione", la sfaccettatura "categoria" contiene solo "Azione > 2022" e "Azione > 2021". Supportato solo sui campi di testo. Il valore massimo è 10.

contains[]

string

Recupera solo i valori delle sfaccettature che contengono le stringhe specificate. Ad esempio, supponiamo che "category" abbia tre valori: "Action > 2022", "Action > 2021" e "Sci-Fi > 2022". Se imposti "contiene" su "2022", la sfaccettatura "categoria" contiene solo "Azione > 2022" e "Fantascienza > 2022". Supportato solo sui campi di testo. Il valore massimo è 10.

caseInsensitive

boolean

True per rendere le chiavi di sfaccettatura non sensibili alle maiuscole e minuscole quando si ottengono valori di sfaccettatura con prefissi o contiene; false in caso contrario.

orderBy

string

L'ordine in cui vengono restituiti i documenti.

I valori consentiti sono:

Se non viene impostato, i valori testuali vengono ordinati in ordine naturale; gli intervalli numerici vengono ordinati nell'ordine indicato da FacetSpec.FacetKey.intervals.

Intervallo

Un intervallo con rappresentazione in virgola mobile.

Rappresentazione JSON
{

  // Union field min can be only one of the following:
  "minimum": number,
  "exclusiveMinimum": number
  // End of list of possible types for union field min.

  // Union field max can be only one of the following:
  "maximum": number,
  "exclusiveMaximum": number
  // End of list of possible types for union field max.
}
Campi

Campo unione min. Il limite inferiore dell'intervallo. Se nessuno dei campi min è impostato, il limite inferiore è infinito negativo.

Questo campo non deve essere maggiore del valore massimo. In caso contrario, viene restituito un errore INVALID_ARGUMENT. min può essere solo uno dei seguenti:

minimum

number

Limite inferiore inclusivo.

exclusiveMinimum

number

Limite inferiore esclusivo.

Campo unione max. Il limite superiore dell'intervallo. Se nessuno dei campi max è impostato, il limite superiore è infinito positivo.

Questo campo non deve essere inferiore al valore minimo. In caso contrario, viene restituito un errore INVALID_ARGUMENT. max può essere solo uno dei seguenti:

maximum

number

Limite superiore inclusivo.

exclusiveMaximum

number

Limite superiore esclusivo.

QueryExpansionSpec

Specifica per determinare in quali condizioni deve verificarsi l'espansione della query.

Rappresentazione JSON
{
  "condition": enum (Condition),
  "pinUnexpandedResults": boolean
}
Campi
condition

enum (Condition)

La condizione in base alla quale deve verificarsi l'espansione delle query. Il valore predefinito è Condition.DISABLED.

pinUnexpandedResults

boolean

Se bloccare i risultati non espansi. Se questo campo è impostato su true, i prodotti non espansi si trovano sempre nella parte superiore dei risultati di ricerca, seguiti dai risultati espansi.

Condizione

Enumerazione che descrive in quale condizione deve verificarsi l'espansione della query.

Enum
CONDITION_UNSPECIFIED Condizione di espansione delle query non specificata. In questo caso, il comportamento del server è impostato su Condition.DISABLED per impostazione predefinita.
DISABLED Espansione delle query disattivata. Viene utilizzata solo la query di ricerca esatta, anche se SearchResponse.total_size è pari a zero.
AUTO Espansione automatica delle query creata dall'API Search.

SpellCorrectionSpec

La specifica per la correzione ortografica delle query.

Rappresentazione JSON
{
  "mode": enum (Mode)
}
Campi
mode

enum (Mode)

La modalità in cui la correzione ortografica sostituisce la query di ricerca originale. Il valore predefinito è Mode.AUTO.

Modalità

Enumerazione che descrive in quale modalità deve essere eseguita la correzione ortografica.

Enum
MODE_UNSPECIFIED Modalità di correzione ortografica non specificata. In questo caso, il comportamento del server è impostato su Mode.AUTO per impostazione predefinita.
SUGGESTION_ONLY L'API Search tenta di trovare un suggerimento ortografico. Se viene trovato un suggerimento, questo viene inserito in SearchResponse.corrected_query. Il suggerimento ortografico non verrà utilizzato come query di ricerca.
AUTO Correzione ortografica automatica integrata nell'API Search. La ricerca si baserà sulla query corretta, se trovata.

EmbeddingSpec

La specifica che utilizza il vettore di incorporamento delle query personalizzato per eseguire il recupero semantico dei documenti.

Rappresentazione JSON
{
  "embeddingVectors": [
    {
      object (EmbeddingVector)
    }
  ]
}
Campi
embeddingVectors[]

object (EmbeddingVector)

Il vettore di embedding utilizzato per il recupero. Limita a 1.

EmbeddingVector

Vettore di embedding.

Rappresentazione JSON
{
  "fieldPath": string,
  "vector": [
    number
  ]
}
Campi
fieldPath

string

Percorso campo di embedding nello schema.

vector[]

number

Vettore di embedding della query.

RankingExpressionBackend

Il backend da utilizzare per la valutazione dell'espressione di ranking.

Enum
RANKING_EXPRESSION_BACKEND_UNSPECIFIED Opzione predefinita per i valori non specificati/sconosciuti.
BYOE

Deprecato: utilizza RANK_BY_EMBEDDING. Classificazione in base al modello di incorporamento personalizzato, il modo predefinito per valutare l'espressione di ranking. Opzione di enumerazione legacy, deve essere utilizzata RANK_BY_EMBEDDING.

CLEARBOX

Deprecato: utilizza RANK_BY_FORMULA. Classifica in base alla formula personalizzata. Opzione di enumerazione legacy, deve essere utilizzata RANK_BY_FORMULA.

RANK_BY_EMBEDDING Classificazione in base al modello di incorporamento personalizzato, il modo predefinito per valutare l'espressione di ranking.
RANK_BY_FORMULA Classifica in base alla formula personalizzata.

NaturalLanguageQueryUnderstandingSpec

Specifica per abilitare le funzionalità di comprensione del linguaggio naturale per le richieste di ricerca.

Rappresentazione JSON
{
  "filterExtractionCondition": enum (FilterExtractionCondition),
  "geoSearchQueryDetectionFieldNames": [
    string
  ],
  "extractedFilterBehavior": enum (ExtractedFilterBehavior),
  "allowedFieldNames": [
    string
  ]
}
Campi
filterExtractionCondition

enum (FilterExtractionCondition)

La condizione in base alla quale deve essere eseguita l'estrazione del filtro. Il comportamento del server è impostato per impostazione predefinita su DISABLED.

geoSearchQueryDetectionFieldNames[]

string

Nomi dei campi utilizzati per il filtro basato sulla posizione, in cui i filtri di geolocalizzazione vengono rilevati nelle query di ricerca in linguaggio naturale. Valido solo quando FilterExtractionCondition è impostato su ENABLED.

Se questo campo è impostato, sostituisce i nomi dei campi impostati in ServingConfig.geo_search_query_detection_field_names.

extractedFilterBehavior

enum (ExtractedFilterBehavior)

Facoltativo. Controlla il comportamento di applicazione dei filtri estratti alla ricerca. Il comportamento predefinito dipende dalla richiesta. Per la ricerca strutturata in un singolo datastore, il valore predefinito è HARD_FILTER. Per la ricerca in più datastore, il comportamento predefinito è SOFT_BOOST. I filtri basati sulla posizione vengono sempre applicati come filtri rigidi e l'impostazione SOFT_BOOST non li influenzerà. Questo campo viene utilizzato solo se [SearchRequest.natural_language_query_understanding_spec.filter_extraction_condition][] è impostato su FilterExtractionCondition.ENABLED.

allowedFieldNames[]

string

Facoltativo. Elenco consentito di campi che possono essere utilizzati per l'estrazione di filtri in linguaggio naturale. Per impostazione predefinita, se non viene specificato, tutti i campi indicizzabili sono idonei all'estrazione del filtro in linguaggio naturale (ma non è garantito che vengano utilizzati). Se vengono specificati dei campi in allowedFieldNames, solo i campi contrassegnati come indicizzabili nello schema e specificati nella lista consentita saranno idonei per l'estrazione dei filtri in linguaggio naturale. Nota: per la ricerca in più datastore, questa funzionalità non è ancora supportata e verrà ignorata.

FilterExtractionCondition

Enumerazione che descrive in quale condizione deve avvenire l'estrazione del filtro.

Enum
CONDITION_UNSPECIFIED Il comportamento del server è impostato per impostazione predefinita su DISABLED.
DISABLED Disattiva l'estrazione dei filtri NL.
ENABLED Consente l'estrazione dei filtri NL.

ExtractedFilterBehavior

Enumerazione che descrive come i filtri estratti vengono applicati alla ricerca.

Enum
EXTRACTED_FILTER_BEHAVIOR_UNSPECIFIED EXTRACTED_FILTER_BEHAVIOR_UNSPECIFIED utilizzerà il comportamento predefinito per i filtri estratti. Per la ricerca in un singolo datastore, il comportamento predefinito è l'applicazione come filtri rigidi. Per la ricerca in più datastore, l'impostazione predefinita prevede l'applicazione come soft boost.
HARD_FILTER Applica tutti i filtri estratti come filtri rigidi ai risultati. I risultati che non superano i filtri estratti non verranno restituiti nel set di risultati.
SOFT_BOOST Applica tutti i filtri estratti come aggiustamenti morbidi. I risultati che superano i filtri verranno promossi a posizioni più elevate nel set di risultati.

SearchAsYouTypeSpec

Specifica per la ricerca durante la digitazione nelle richieste di ricerca.

Rappresentazione JSON
{
  "condition": enum (Condition)
}
Campi
condition

enum (Condition)

La condizione in base alla quale deve verificarsi la ricerca durante la digitazione. Il valore predefinito è Condition.DISABLED.

Condizione

Enumerazione che descrive in quale condizione deve verificarsi la ricerca durante la digitazione.

Enum
CONDITION_UNSPECIFIED Il comportamento del server è impostato per impostazione predefinita su Condition.DISABLED.
DISABLED Disattiva la ricerca durante la digitazione.
ENABLED Attiva la ricerca durante la digitazione.
AUTO Passaggio automatico tra le modalità di ricerca durante la digitazione e ricerca standard, ideale per implementazioni di una sola API (ad es. debouncing).

DisplaySpec

Specifica le funzionalità di visualizzazione, come l'evidenziazione delle corrispondenze.

Rappresentazione JSON
{
  "matchHighlightingCondition": enum (MatchHighlightingCondition)
}
Campi
matchHighlightingCondition

enum (MatchHighlightingCondition)

La condizione in base alla quale deve verificarsi l'evidenziazione della corrispondenza.

MatchHighlightingCondition

Enumerazione che descrive in quale condizione deve verificarsi l'evidenziazione della corrispondenza.

Enum
MATCH_HIGHLIGHTING_CONDITION_UNSPECIFIED Il comportamento del server è lo stesso di MATCH_HIGHLIGHTING_DISABLED.
MATCH_HIGHLIGHTING_DISABLED Disattiva l'evidenziazione delle corrispondenze in tutti i documenti.
MATCH_HIGHLIGHTING_ENABLED Attiva l'evidenziazione delle corrispondenze in tutti i documenti.

SessionSpec

Specifica della sessione.

La funzionalità di ricerca multiconversazione è attualmente in fase GA privata. Utilizza la versione v1alpha o v1beta prima del lancio di questa funzionalità in disponibilità generale pubblica. In alternativa, richiedi l'inserimento nella lista consentita tramite il team di assistenza Google.

Rappresentazione JSON
{
  "queryId": string,
  "searchResultPersistenceCount": integer
}
Campi
queryId

string

Se impostato, il risultato di ricerca viene memorizzato nel "turno" specificato da questo ID query.

Esempio: supponiamo che la sessione sia la seguente: session { name: ".../sessions/xxx" turns { query { text: "What is foo?" queryId: ".../questions/yyy" } answer: "Foo is ..." } turns { query { text: "How about bar then?" queryId: ".../questions/zzz" } } }

L'utente può chiamare l'API /search con una richiesta come questa:

session: ".../sessions/xxx" sessionSpec { queryId: ".../questions/zzz" }

L'API memorizza quindi il risultato della ricerca, associato all'ultimo turno. Il risultato della ricerca memorizzato può essere utilizzato da una successiva chiamata API /answer (con l'ID sessione e l'ID query specificati). Inoltre, è possibile chiamare /search e /answer in parallelo con lo stesso ID sessione e ID query.

searchResultPersistenceCount

integer

Il numero di risultati di ricerca principali da conservare. I risultati di ricerca persistenti possono essere utilizzati per la successiva chiamata API /answer.

Questo campo è simile al campo summaryResultCount in SearchRequest.ContentSearchSpec.SummarySpec.summary_result_count.

Al massimo 10 risultati per la modalità Documenti o 50 per la modalità Chunk.

RelevanceThreshold

La soglia di pertinenza dei risultati di ricerca. Maggiore è la soglia di pertinenza, maggiore è il numero di risultati pertinenti mostrati e minore è il numero di risultati restituiti.

Enum
RELEVANCE_THRESHOLD_UNSPECIFIED Valore predefinito. In questo caso, il comportamento del server è impostato sulla soglia definita da Google.
LOWEST Soglia di pertinenza più bassa.
LOW Soglia di pertinenza bassa.
MEDIUM Soglia di pertinenza media.
HIGH Soglia di pertinenza elevata.

RelevanceScoreSpec

La specifica per la restituzione del punteggio di pertinenza del documento.

Rappresentazione JSON
{
  "returnRelevanceScore": boolean
}
Campi
returnRelevanceScore

boolean

Facoltativo. Indica se restituire il punteggio di pertinenza per i risultati di ricerca. Più alto è il punteggio, più pertinente è il documento rispetto alla query.

SearchAddonSpec

SearchAddonSpec viene utilizzato per disattivare i componenti aggiuntivi per la ricerca in base al nuovo modello di ricalcolo dei prezzi. Per impostazione predefinita, se SearchAddonSpec non è specificato, riteniamo che il cliente voglia attivarli ovunque applicabile.

Rappresentazione JSON
{
  "disableSemanticAddOn": boolean,
  "disableKpiPersonalizationAddOn": boolean,
  "disableGenerativeAnswerAddOn": boolean
}
Campi
disableSemanticAddOn

boolean

Facoltativo. Se è true, il componente aggiuntivo semantico è disattivato. Il componente aggiuntivo semantico include incorporamenti e jetstream.

disableKpiPersonalizationAddOn

boolean

Facoltativo. Se è true, disattiva la riassegnazione del ranking e la personalizzazione degli eventi per ottimizzare i KPI e personalizzare i risultati.

disableGenerativeAnswerAddOn

boolean

Facoltativo. Se è true, il componente aggiuntivo per le risposte di AI generativa è disattivato. Il componente aggiuntivo per le risposte generative include il linguaggio naturale per i filtri e le risposte semplici.

QuerySetSpec

Descrive la specifica del set di query.

Rappresentazione JSON
{
  "sampleQuerySet": string
}
Campi
sampleQuerySet

string

Facoltativo. Il nome completo della risorsa di SampleQuerySet utilizzato per la valutazione, nel formato projects/{project}/locations/{location}/sampleQuerySets/{sampleQuerySet}.

QualityMetrics

Descrive le metriche prodotte dalla valutazione.

Rappresentazione JSON
{
  "docRecall": {
    object (TopkMetrics)
  },
  "docPrecision": {
    object (TopkMetrics)
  },
  "docNdcg": {
    object (TopkMetrics)
  },
  "pageRecall": {
    object (TopkMetrics)
  },
  "pageNdcg": {
    object (TopkMetrics)
  }
}
Campi
docRecall

object (TopkMetrics)

Richiamo per documento, a vari livelli di soglia top-k.

Il richiamo è la frazione di documenti pertinenti recuperati su tutti i documenti pertinenti.

Esempio (primi 5): * Per un singolo SampleQuery, se vengono recuperati 3 documenti pertinenti su 5 nei primi 5 risultati, recall@5 = 3/5 = 0,6

docPrecision

object (TopkMetrics)

Precisione per documento, a vari livelli di cutoff top-k.

La precisione è la frazione di documenti recuperati pertinenti.

Esempio (top 5): * Per un singolo SampleQuery, se 4 dei 5 documenti recuperati nella top 5 sono pertinenti, precision@5 = 4/5 = 0,8

docNdcg

object (TopkMetrics)

Guadagno cumulativo scontato normalizzato (NDCG) per documento, a vari livelli di interruzione top-k.

NDCG misura la qualità del ranking, dando maggiore pertinenza ai risultati migliori.

Esempio (migliori 3): supponiamo che SampleQuery con tre documenti recuperati (D1, D2, D3) e giudizi di pertinenza binari (1 per pertinente, 0 per non pertinente):

Recuperato: [D3 (0), D1 (1), D2 (1)] Ideale: [D1 (1), D2 (1), D3 (0)]

Calcola NDCG@3 per ogni SampleQuery: * DCG@3: 0/log2(1+1) + 1/log2(2+1) + 1/log2(3+1) = 1,13 * DCG@3 ideale: 1/log2(1+1) + 1/log2(2+1) + 0/log2(3+1) = 1,63 * NDCG@3: 1,13/1,63 = 0,693

pageRecall

object (TopkMetrics)

Richiamo per pagina, a vari livelli di cutoff top-k.

Il richiamo è la frazione di pagine pertinenti recuperate sul totale delle pagine pertinenti.

Esempio (prime 5): * Per un singolo SampleQuery, se 3 delle 5 pagine pertinenti vengono recuperate nelle prime 5 posizioni, recall@5 = 3/5 = 0,6

pageNdcg

object (TopkMetrics)

Guadagno cumulativo scontato normalizzato (NDCG) per pagina, a vari livelli di cutoff top-k.

NDCG misura la qualità del ranking, dando maggiore pertinenza ai risultati migliori.

Esempio (prime 3): supponiamo che SampleQuery con tre pagine recuperate (P1, P2, P3) e giudizi di pertinenza binari (1 per pertinente, 0 per non pertinente):

Recuperati: [P3 (0), P1 (1), P2 (1)] Ideale: [P1 (1), P2 (1), P3 (0)]

Calcola NDCG@3 per SampleQuery: * DCG@3: 0/log2(1+1) + 1/log2(2+1) + 1/log2(3+1) = 1,13 * DCG@3 ideale: 1/log2(1+1) + 1/log2(2+1) + 0/log2(3+1) = 1,63 * NDCG@3: 1,13/1,63 = 0,693

TopkMetrics

Memorizza i valori delle metriche a livelli top-k specifici.

Rappresentazione JSON
{
  "top1": number,
  "top3": number,
  "top5": number,
  "top10": number
}
Campi
top1

number

Il valore principale.

top3

number

Il valore top-3.

top5

number

Il valore top-5.

top10

number

Il valore top-10.

Stato

Descrive lo stato di una valutazione.

Enum
STATE_UNSPECIFIED La valutazione non è specificata.
PENDING Il servizio si sta preparando a eseguire la valutazione.
RUNNING La valutazione è in corso.
SUCCEEDED La valutazione è stata completata.
FAILED La valutazione non è riuscita.

Metodi

create

Crea un Evaluation.

get

Riceve un Evaluation.

list

Recupera un elenco di Evaluation.

listResults

Recupera un elenco di risultati per un determinato Evaluation.