REST Resource: projects.locations.apps.evaluations.results

Ressource: EvaluationResult

Ein Bewertungsergebnis stellt die Ausgabe einer Bewertung dar.

JSON-Darstellung 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (EvaluationResult.Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (EvaluationResult.ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (EvaluationResult.OutcomeMetadata),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "goldenResult": {
    object (EvaluationResult.GoldenResult)
  },
  "scenarioResult": {
    object (EvaluationResult.ScenarioResult)
  }
  // End of mutually exclusive fields.
}
Felder
name

string

ID. Die eindeutige Kennung des Bewertungsergebnisses. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

Erforderlich. Anzeigename des Bewertungsergebnisses. Eindeutig innerhalb einer Bewertung. Standardmäßig hat sie das folgende Format: „ Ergebnis – “.
createTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel für die Erstellung des Bewertungsergebnisses.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
evaluationStatus

enum (EvaluationResult.Outcome)

Nur Ausgabe. Das Ergebnis der Bewertung. Wird nur ausgefüllt, wenn „executionState“ den Wert COMPLETE hat.
evaluationRun

string

Nur Ausgabe. Der Bewertungsdurchlauf, der dieses Ergebnis erzeugt hat. Format: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

Nur Ausgabe. Die Persona, die zum Generieren der Unterhaltung für das Bewertungsergebnis verwendet wurde.
errorInfo

object (EvaluationErrorInfo)

Nur Ausgabe. Fehlerinformationen für das Bewertungsergebnis.
error
(deprecated)

object (Status)

Nur Ausgabe. Nicht mehr unterstützt: Verwenden Sie stattdessen errorInfo. Bei der Ausführung sind Fehler aufgetreten.
initiatedBy

string

Nur Ausgabe. Der Nutzer, der den Bewertungsdurchlauf initiiert hat, der zu diesem Ergebnis geführt hat.
appVersion

string

Nur Ausgabe. Die App-Version, die zum Generieren der Unterhaltung verwendet wurde, die zu diesem Ergebnis geführt hat. Format: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Nur Ausgabe. Der Anzeigename der appVersion, für die die Bewertung ausgeführt wurde.
changelog

string

Nur Ausgabe. Das Änderungsprotokoll der App-Version, für die die Bewertung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer die Bewertung für die neueste Version oder den Entwurf ausführt.
changelogCreateTime

string (Timestamp format)

Nur Ausgabe. Der Erstellungszeitpunkt des Änderungsprotokolls der App-Version, für die die Bewertung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer die Bewertung für die neueste Version oder den Entwurf ausführt.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionState

enum (EvaluationResult.ExecutionState)

Nur Ausgabe. Der Status der Ausführung des Bewertungsergebnisses.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Nur Ausgabe. Die Bewertungsschwellenwerte für das Ergebnis.
config

object (EvaluationConfig)

Nur Ausgabe. Die Konfiguration, die im Bewertungsdurchlauf verwendet wurde, der zu diesem Ergebnis geführt hat.
goldenRunMethod

enum (GoldenRunMethod)

Nur Ausgabe. Die Methode, mit der die Golden-Evaluation ausgeführt wird.
rootSpan

object (Span)

Nur Ausgabe. Der Root-Span der Bewertungsausführung, der Informationen zu jedem Schritt der Bewertung enthält.
outcomeMetadata

enum (EvaluationResult.OutcomeMetadata)

Nur Ausgabe. Die Ergebnismetadaten der Bewertung. Wird nur ausgefüllt, wenn „executionState“ den Wert COMPLETE hat.
Das Ergebnis der Bewertung. Wird nur ausgefüllt, wenn der „execution_state“ COMPLETED ist. Im Folgenden finden Sie eine Liste von Feldern, die sich gegenseitig ausschließen. In einer Antwort wird höchstens eines der Felder festgelegt:
goldenResult

object (EvaluationResult.GoldenResult)

Nur Ausgabe. Das Ergebnis einer Golden-Bewertung.
scenarioResult

object (EvaluationResult.ScenarioResult)

Nur Ausgabe. Das Ergebnis einer Szenariobewertung.
Ende der sich gegenseitig ausschließenden Felder.

EvaluationResult.GoldenResult

Das Ergebnis einer Golden-Evaluation.

JSON-Darstellung 
{
  "turnReplayResults": [
    {
      object (EvaluationResult.GoldenResult.TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationResult.EvaluationExpectationResult)
    }
  ]
}
Felder
turnReplayResults[]

object (EvaluationResult.GoldenResult.TurnReplayResult)

Nur Ausgabe. Das Ergebnis der Ausführung jeder Runde der Golden Conversation.
evaluationExpectationResults[]

object (EvaluationResult.EvaluationExpectationResult)

Nur Ausgabe. Die Ergebnisse der Bewertungserwartungen.

EvaluationResult.GoldenResult.TurnReplayResult

Das Ergebnis der Ausführung einer einzelnen Runde der Golden Conversation.

JSON-Darstellung 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (EvaluationResult.GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (EvaluationResult.HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (EvaluationResult.ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (EvaluationResult.SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (EvaluationResult.OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (EvaluationResult.SpanLatency)
    }
  ],
  "toolOrderedInvocationScore": number
}
Felder
conversation

string

Nur Ausgabe. Die Unterhaltung, die für diesen Turn generiert wurde.
expectationOutcome[]

object (EvaluationResult.GoldenExpectationOutcome)

Nur Ausgabe. Das Ergebnis jeder Erwartung.
hallucinationResult

object (EvaluationResult.HallucinationResult)

Nur Ausgabe. Das Ergebnis der Halluzinationsprüfung.
toolInvocationScore
(deprecated)

number

Nur Ausgabe. Verworfen Verwenden Sie stattdessen OverallToolInvocationResult.
turnLatency

string (Duration format)

Nur Ausgabe. Dauer des Abbiegevorgangs.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
toolCallLatencies[]

object (EvaluationResult.ToolCallLatency)

Nur Ausgabe. Die Latenz jedes Toolaufrufs in der Runde.
semanticSimilarityResult

object (EvaluationResult.SemanticSimilarityResult)

Nur Ausgabe. Das Ergebnis der Prüfung auf semantische Ähnlichkeit.
overallToolInvocationResult

object (EvaluationResult.OverallToolInvocationResult)

Nur Ausgabe. Das Ergebnis der allgemeinen Prüfung des Tool-Aufrufs.
errorInfo

object (EvaluationErrorInfo)

Nur Ausgabe. Informationen zum Fehler, der während dieser Runde aufgetreten ist.
spanLatencies[]

object (EvaluationResult.SpanLatency)

Nur Ausgabe. Die Latenz der Spans in der Runde.
toolOrderedInvocationScore

number

Nur Ausgabe. Die Gesamtbewertung für die Toolaufrufe in dieser Runde. Dies gibt den Gesamtprozentsatz der Tools aus der erwarteten Runde an, die tatsächlich in der erwarteten Reihenfolge aufgerufen wurden.

EvaluationResult.GoldenExpectationOutcome

Gibt die Erwartung und das Ergebnis dieser Erwartung an.

JSON-Darstellung 
{
  "expectation": {
    object (Evaluation.GoldenExpectation)
  },
  "outcome": enum (EvaluationResult.Outcome),
  "semanticSimilarityResult": {
    object (EvaluationResult.SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of mutually exclusive fields.
}
Felder
expectation

object (Evaluation.GoldenExpectation)

Nur Ausgabe. Die Erwartung, die ausgewertet wurde.
outcome

enum (EvaluationResult.Outcome)

Nur Ausgabe. Das Ergebnis der Erwartung.
semanticSimilarityResult
(deprecated)

object (EvaluationResult.SemanticSimilarityResult)

Nur Ausgabe. Das Ergebnis der Prüfung auf semantische Ähnlichkeit.
toolInvocationResult

object (EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult)

Nur Ausgabe. Das Ergebnis der Prüfung des Tool-Aufrufs.
Das Ergebnis der Erwartung. Im Folgenden finden Sie eine Liste von Feldern, die sich gegenseitig ausschließen. In einer Antwort wird höchstens eines der Felder festgelegt:
observedToolCall

object (ToolCall)

Nur Ausgabe. Das Ergebnis der Erwartung für den Toolaufruf.
observedToolResponse

object (ToolResponse)

Nur Ausgabe. Das Ergebnis der Erwartung an die Toolantwort.
observedAgentResponse

object (Message)

Nur Ausgabe. Das Ergebnis der Erwartung an die Antwort des KI-Agenten.
observedAgentTransfer

object (AgentTransfer)

Nur Ausgabe. Das Ergebnis der Erwartung für die Weiterleitung an einen Kundenservicemitarbeiter.
observedPayload

object (Struct format)

Nur Ausgabe. Eine beobachtete benutzerdefinierte Nutzlast. Es gibt keine Erwartungen an benutzerdefinierte Nutzlasten. Diese werden nur für die Berechnung von Messwerten verwendet. Das Ergebnis ist immer SKIPPED.
Ende der sich gegenseitig ausschließenden Felder.

EvaluationResult.Outcome

Das Ergebnis der Bewertung oder Erwartung.

Enums
OUTCOME_UNSPECIFIED Das Bewertungsergebnis ist nicht angegeben.
PASS Bewertung/Erwartung erfüllt. Im Fall einer Bewertung bedeutet dies, dass alle Erwartungen erfüllt wurden.
FAIL Bewertung/Erwartung fehlgeschlagen. Im Fall einer Bewertung bedeutet dies, dass mindestens eine Erwartung nicht erfüllt wurde.
SKIPPED Bewertung/Erwartung wurde übersprungen.

EvaluationResult.SemanticSimilarityResult

Das Ergebnis der Prüfung auf semantische Ähnlichkeit.

JSON-Darstellung 
{
  "label": string,
  "explanation": string,
  "outcome": enum (EvaluationResult.Outcome),
  "score": integer
}
Felder
label

string

Nur Ausgabe. Das mit jedem Wert verknüpfte Label. Punktzahl 4: Vollständig konsistent Punktzahl 3: Größtenteils konsistent Punktzahl 2: Teilweise konsistent (kleinere Auslassungen) Punktzahl 1: Größtenteils inkonsistent (größere Auslassungen) Punktzahl 0: Vollständig inkonsistent/widersprüchlich
explanation

string

Nur Ausgabe. Die Erläuterung des semantischen Ähnlichkeitswerts.
outcome

enum (EvaluationResult.Outcome)

Nur Ausgabe. Das Ergebnis der Prüfung auf semantische Ähnlichkeit. Dies wird durch den Vergleich des Werts mit dem „semanticSimilaritySuccessThreshold“ bestimmt. Wenn die Punktzahl dem Schwellenwert entspricht oder darüber liegt, ist das Ergebnis BESTANDEN. Andernfalls ist das Ergebnis FAIL.
score

integer

Nur Ausgabe. Der Wert für die semantische Ähnlichkeit. Kann 0, 1, 2, 3 oder 4 sein.

EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult

Das Ergebnis der Prüfung des Tool-Aufrufs.

JSON-Darstellung 
{
  "outcome": enum (EvaluationResult.Outcome),
  "explanation": string,
  "parameterCorrectnessScore": number
}
Felder
outcome

enum (EvaluationResult.Outcome)

Nur Ausgabe. Das Ergebnis der Prüfung des Toolaufrufs. Dies wird durch den Vergleich des parameterCorrectnessScore mit dem Schwellenwert bestimmt. Wenn die Punktzahl dem Schwellenwert entspricht oder darüber liegt, ist das Ergebnis BESTANDEN. Andernfalls ist das Ergebnis FAIL.
explanation

string

Nur Ausgabe. Eine Freitexterklärung für das Ergebnis des Toolaufrufs.
parameterCorrectnessScore

number

Nur Ausgabe. Der Korrektheitswert für die Parameter des Toolaufrufs. Dies gibt den Prozentsatz der Parameter aus dem erwarteten Toolaufruf an, die auch im tatsächlichen Toolaufruf vorhanden waren.

EvaluationResult.HallucinationResult

Das Ergebnis der Halluzinationsprüfung für eine einzelne Runde.

JSON-Darstellung 
{
  "label": string,
  "explanation": string,
  "score": integer
}
Felder
label

string

Nur Ausgabe. Das mit jedem Wert verknüpfte Label. Score 1: Justified Score 0: Not Justified Score -1: No Claim To Assess
explanation

string

Nur Ausgabe. Die Erklärung für den Halluzinationswert.
score

integer

Nur Ausgabe. Der Halluzinationswert. Kann -1, 0, 1 sein.

EvaluationResult.ToolCallLatency

Die Latenz der Ausführung eines Toolaufrufs.

JSON-Darstellung 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Felder
tool

string

Nur Ausgabe. Der Name des ausgeführten Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName

string

Nur Ausgabe. Der Anzeigename des Tools
startTime

string (Timestamp format)

Nur Ausgabe. Der Beginn der Ausführung des Toolaufrufs.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime

string (Timestamp format)

Nur Ausgabe. Das Ende der Ausführung des Toolaufrufs.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionLatency

string (Duration format)

Nur Ausgabe. Die Latenz der Ausführung des Toolaufrufs.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

EvaluationResult.OverallToolInvocationResult

Das Ergebnis der allgemeinen Prüfung des Tool-Aufrufs.

JSON-Darstellung 
{
  "outcome": enum (EvaluationResult.Outcome),
  "toolInvocationScore": number
}
Felder
outcome

enum (EvaluationResult.Outcome)

Nur Ausgabe. Das Ergebnis der Prüfung des Toolaufrufs. Dies wird durch den Vergleich des toolInvocationScore mit dem overallToolInvocationCorrectnessThreshold bestimmt. Wenn die Punktzahl dem Schwellenwert entspricht oder darüber liegt, ist das Ergebnis BESTANDEN. Andernfalls ist das Ergebnis FAIL.
toolInvocationScore

number

Die Gesamtpunktzahl für den Toolaufruf in dieser Runde. Dies gibt den Gesamtprozentsatz der Tools aus der erwarteten Runde an, die tatsächlich aufgerufen wurden.

EvaluationResult.SpanLatency

Die Latenz einer Span-Ausführung.

JSON-Darstellung 
{
  "type": enum (EvaluationResult.SpanLatency.Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of mutually exclusive fields.
}
Felder
type

enum (EvaluationResult.SpanLatency.Type)

Nur Ausgabe. Der Typ des Spans.
displayName

string

Nur Ausgabe. Der Anzeigename des Spans. Gilt für Tool- und Schutzmaßnahmen-Spans.
startTime

string (Timestamp format)

Nur Ausgabe. Der Beginn des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime

string (Timestamp format)

Nur Ausgabe. Das Ende des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionLatency

string (Duration format)

Nur Ausgabe. Die Latenz des Spans.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
Die Kennung des jeweiligen Elements basierend auf seinem Typ. Im Folgenden finden Sie eine Liste von Feldern, die sich gegenseitig ausschließen. In einer Antwort wird höchstens eines der Felder festgelegt:
resource

string

Nur Ausgabe. Der Ressourcenname der Guardrail- oder Tool-Spans.
toolset

object (ToolsetTool)

Nur Ausgabe. Die Tool-ID des Toolsets.
model

string

Nur Ausgabe. Der Name des LLM-Spans.
callback

string

Nur Ausgabe. Der Name des Nutzer-Callback-Spans.
Ende der sich gegenseitig ausschließenden Felder.

EvaluationResult.SpanLatency.Type

Der Typ des Spans. In Zukunft werden möglicherweise weitere Werte hinzugefügt.

Enums
TYPE_UNSPECIFIED Standardwert. Dieser Wert wird nicht verwendet.
TOOL Span für Toolaufruf.
USER_CALLBACK Nutzer-Callback-Spanne.
GUARDRAIL Schutzmaßnahmenbereich.
LLM LLM-Span.

EvaluationResult.EvaluationExpectationResult

Das Ergebnis einer einzelnen Bewertungserwartung.

JSON-Darstellung 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (EvaluationResult.Outcome),
  "explanation": string
}
Felder
evaluationExpectation

string

Nur Ausgabe. Die Erwartung an die Bewertung. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
prompt

string

Nur Ausgabe. Der Prompt, der für die Bewertung verwendet wurde.
outcome

enum (EvaluationResult.Outcome)

Nur Ausgabe. Das Ergebnis der Bewertungserwartung.
explanation

string

Nur Ausgabe. Die Erklärung für das Ergebnis.

EvaluationResult.ScenarioResult

Das Ergebnis einer Szenariobewertung.

JSON-Darstellung 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (Evaluation.Scenario.UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (EvaluationResult.ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (EvaluationResult.ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (EvaluationResult.HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (EvaluationResult.TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (EvaluationResult.ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (EvaluationResult.UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (EvaluationResult.SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationResult.EvaluationExpectationResult)
    }
  ],
  "milestoneResults": [
    {
      object (EvaluationResult.ScenarioResult.MilestoneResult)
    }
  ],
  "allExpectationsSatisfied": boolean,
  "taskCompleted": boolean
}
Felder
conversation

string

Nur Ausgabe. Die Unterhaltung, die im Szenario generiert wurde.
task

string

Nur Ausgabe. Die Aufgabe, die beim Ausführen des Szenarios für dieses Ergebnis verwendet wurde.
userFacts[]

object (Evaluation.Scenario.UserFact)

Nur Ausgabe. Die Nutzerfakten, die vom Szenario für dieses Ergebnis verwendet wurden.
expectationOutcomes[]

object (EvaluationResult.ScenarioExpectationOutcome)

Nur Ausgabe. Das Ergebnis jeder Erwartung.
rubricOutcomes[]

object (EvaluationResult.ScenarioRubricOutcome)

Nur Ausgabe. Das Ergebnis der Bewertung.
hallucinationResult[]

object (EvaluationResult.HallucinationResult)

Nur Ausgabe. Das Ergebnis der Halluzinationsprüfung. Für jede Runde in der Unterhaltung wird ein Halluzinationsergebnis angezeigt.
taskCompletionResult
(deprecated)

object (EvaluationResult.TaskCompletionResult)

Nur Ausgabe. Das Ergebnis der Prüfung, ob die Aufgabe abgeschlossen ist.
toolCallLatencies[]

object (EvaluationResult.ToolCallLatency)

Nur Ausgabe. Die Latenz der einzelnen Toolaufrufe in der Unterhaltung.
userGoalSatisfactionResult

object (EvaluationResult.UserGoalSatisfactionResult)

Nur Ausgabe. Das Ergebnis der Überprüfung der Zielerreichung des Nutzers.
spanLatencies[]

object (EvaluationResult.SpanLatency)

Nur Ausgabe. Die Latenz der Spans in der Unterhaltung.
evaluationExpectationResults[]

object (EvaluationResult.EvaluationExpectationResult)

Nur Ausgabe. Die Ergebnisse der Bewertungserwartungen.
milestoneResults[]

object (EvaluationResult.ScenarioResult.MilestoneResult)

Nur Ausgabe. Die Ergebnisse der einzelnen Meilensteine im Szenario.
allExpectationsSatisfied

boolean

Nur Ausgabe. Ob alle Erwartungen für diese Runde erfüllt wurden.
taskCompleted

boolean

Nur Ausgabe. Gibt an, ob die Aufgabe für diesen Turn abgeschlossen wurde. Dies ist eine Kombination aus allen erfüllten Erwartungen, keinen Halluzinationen und der Erfüllung der Nutzerziele.

EvaluationResult.ScenarioExpectationOutcome

Das Ergebnis einer Szenarioerwartung.

JSON-Darstellung 
{
  "expectation": {
    object (Evaluation.ScenarioExpectation)
  },
  "outcome": enum (EvaluationResult.Outcome),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "observedToolCall": {
    object (EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of mutually exclusive fields.
}
Felder
expectation

object (Evaluation.ScenarioExpectation)

Nur Ausgabe. Die Erwartung, die ausgewertet wurde.
outcome

enum (EvaluationResult.Outcome)

Nur Ausgabe. Das Ergebnis der ScenarioExpectation.
Das Ergebnis der Erwartung. Im Folgenden finden Sie eine Liste von Feldern, die sich gegenseitig ausschließen. In einer Antwort wird höchstens eines der Felder festgelegt:
observedToolCall

object (EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall)

Nur Ausgabe. Der beobachtete Toolaufruf.
observedAgentResponse

object (Message)

Nur Ausgabe. Die beobachtete Antwort des KI-Agenten.
Ende der sich gegenseitig ausschließenden Felder.

EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall

Der beobachtete Toolaufruf und die Antwort.

JSON-Darstellung 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Felder
toolCall

object (ToolCall)

Nur Ausgabe. Der beobachtete Toolaufruf.
toolResponse

object (ToolResponse)

Nur Ausgabe. Die beobachtete Toolantwort.

EvaluationResult.ScenarioRubricOutcome

Das Ergebnis der Bewertung anhand der Rubrik.

JSON-Darstellung 
{
  "rubric": string,
  "scoreExplanation": string,
  "score": number
}
Felder
rubric

string

Nur Ausgabe. Das Bewertungsschema, das zur Bewertung der Unterhaltung verwendet wurde.
scoreExplanation

string

Nur Ausgabe. Die Antwort des Bewerters auf das Bewertungsschema.
score

number

Nur Ausgabe. Die Bewertung der Unterhaltung anhand der Rubrik.

EvaluationResult.TaskCompletionResult

Das Ergebnis der Prüfung, ob die Aufgaben für die Unterhaltung erledigt wurden.

JSON-Darstellung 
{
  "label": string,
  "explanation": string,
  "score": integer
}
Felder
label

string

Nur Ausgabe. Das mit jedem Wert verknüpfte Label. Score 1: Task Completed Score 0: Task Not Completed Score -1: User Goal Undefined
explanation

string

Nur Ausgabe. Die Erklärung für die Bewertung des Aufgabenabschlusses.
score

integer

Nur Ausgabe. Die Punktzahl für die Aufgabenerledigung. Kann -1, 0, 1 sein

EvaluationResult.UserGoalSatisfactionResult

Das Ergebnis einer Prüfung der Zielerreichung des Nutzers für eine Unterhaltung.

JSON-Darstellung 
{
  "label": string,
  "explanation": string,
  "score": integer
}
Felder
label

string

Nur Ausgabe. Das mit jedem Wert verknüpfte Label. Punktzahl 2: Reibungslose Übergabe, Punktzahl 1: Nutzeraufgabe erfüllt, Punktzahl 0: Nutzeraufgabe nicht erfüllt, Punktzahl -1: Nutzeraufgabe nicht angegeben
explanation

string

Nur Ausgabe. Die Erklärung für den Wert der Zufriedenheit mit der Nutzeraufgabe.
score

integer

Nur Ausgabe. Der Wert für die Zufriedenheit der Nutzer mit der Aufgabe. Kann -1, 0, 1, 2 sein.

EvaluationResult.ScenarioResult.MilestoneResult

Stellt das Ergebnis einer Meilensteinausführung dar.

JSON-Darstellung 
{
  "milestone": {
    object (Evaluation.Scenario.Milestone)
  },
  "status": enum (EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus),
  "justification": string
}
Felder
milestone

object (Evaluation.Scenario.Milestone)

Nur Ausgabe. Der Meilenstein, der verfolgt wird.
status

enum (EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus)

Nur Ausgabe. Der aktuelle Status des Meilensteins.
justification

string

Nur Ausgabe. Die Begründung für den aktuellen Status.

EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus

Der Status des Meilensteins.

Enums
MILESTONE_STATUS_UNSPECIFIED Nicht angegebener Status
NOT_STARTED Der Meilenstein hat noch nicht begonnen.
IN_PROGRESS Der Meilenstein wird gerade bearbeitet.
COMPLETED Der Meilenstein wurde erfolgreich abgeschlossen.

EvaluationResult.ExecutionState

Der Status der Ausführung des Bewertungsergebnisses.

Enums
EXECUTION_STATE_UNSPECIFIED Der Ausführungsstatus des Bewertungsergebnisses ist nicht angegeben.
QUEUED Die Ausführung des Bewertungsergebnisses befindet sich in der Warteschlange.
RUNNING Die Ausführung des Bewertungsergebnisses läuft.
COMPLETED Die Ausführung des Bewertungsergebnisses ist abgeschlossen.
ERROR Die Ausführung des Bewertungsergebnisses ist aufgrund eines internen Fehlers fehlgeschlagen.
CANCELLED Die Ausführung des Bewertungsergebnisses wurde abgebrochen.

EvaluationResult.OutcomeMetadata

Metadaten zum Ergebnis der Bewertung.

Enums
OUTCOME_METADATA_UNSPECIFIED Nicht angegebene Ergebnismetadaten.
GRACEFUL_HANDOFF Die Auswertung ergab, dass die Anfrage an einen menschlichen Kundenservicemitarbeiter weitergeleitet werden sollte.

Methoden

delete

 Löscht ein Bewertungsergebnis.

export

 Exportiert Bewertungsergebnisse.

get

 Ruft Details zum angegebenen Bewertungsergebnis ab.

list

 Listet alle Bewertungsergebnisse für eine bestimmte Bewertung auf.

runEvaluationResultMetrics

 Führt Messwerte für ein vorhandenes Bewertungsergebnis aus.