MCP Tools Reference: ces.googleapis.com

Herramienta: update_evaluation

Actualiza la evaluación especificada. Asegúrate de pasar siempre una máscara de actualización en la entrada.

En el siguiente ejemplo, se muestra cómo usar curl para invocar la herramienta de MCP update_evaluation.

Solicitud de Curl
curl --location 'https://ces.[REGION].rep.googleapis.com/mcp' \ --header 'content-type: application/json' \ --header 'accept: application/json, text/event-stream' \ --data '{ "method": "tools/call", "params": { "name": "update_evaluation", "arguments": { // provide these details according to the tool's MCP specification } }, "jsonrpc": "2.0", "id": 1 }'

Esquema de entrada

Mensaje de solicitud para EvaluationService.UpdateEvaluation.

UpdateEvaluationRequest

Representación JSON
{ "evaluation": { object (Evaluation) }, "updateMask": string }

Campos
evaluation	object (Evaluation) Obligatorio. Es la evaluación que se actualizará.
updateMask	string (FieldMask format) Es opcional. La máscara de campo se usa para controlar qué campos se actualizan. Si la máscara no está presente, se actualizarán todos los campos. Esta es una lista separada por comas de los nombres de campos completamente calificados. Ejemplo: "user.displayName,photo".

Evaluación

Representación JSON

{ "name": string, "displayName": string, "description": string, "tags": [ string ], "evaluationDatasets": [ string ], "createTime": string, "createdBy": string, "updateTime": string, "lastUpdatedBy": string, "evaluationRuns": [ string ], "etag": string, "aggregatedMetrics": { object (AggregatedMetrics) }, "lastCompletedResult": { object (EvaluationResult) }, "invalid": boolean, "lastTenResults": [ { object (EvaluationResult) } ], // Union field inputs can be only one of the following: "golden": { object (Golden) }, "scenario": { object (Scenario) } // End of list of possible types for union field inputs. }

Campos
name	string Es el identificador. Es el identificador único de esta evaluación. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName	string Obligatorio. Es el nombre visible de la evaluación definido por el usuario. Es único dentro de una app.
description	string Es opcional. Es la descripción de la evaluación definida por el usuario.
tags[]	string Es opcional. Son etiquetas definidas por el usuario para categorizar la evaluación.
evaluationDatasets[]	string Solo salida. Es la lista de conjuntos de datos de evaluación a los que pertenece la evaluación. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime	string (Timestamp format) Solo salida. Es la marca de tiempo de cuando se creó la evaluación. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
createdBy	string Solo salida. Es el usuario que creó la evaluación.
updateTime	string (Timestamp format) Solo salida. Marca de tiempo de la última actualización de la evaluación. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
lastUpdatedBy	string Solo salida. Es el usuario que actualizó la evaluación por última vez.
evaluationRuns[]	string Solo salida. Son los EvaluationRuns con los que se asocia esta Evaluación.
etag	string Solo salida. Es el ETag que se usa para garantizar que el objeto no haya cambiado durante una operación de lectura, modificación y escritura. Si el ETag está vacío, la actualización reemplazará cualquier cambio simultáneo.
aggregatedMetrics	object (AggregatedMetrics) Solo salida. Son las métricas agregadas de esta evaluación en todas las ejecuciones.
lastCompletedResult	object (EvaluationResult) Solo salida. Es el resultado de la evaluación más reciente para esta evaluación.
invalid	boolean Solo salida. Indica si la evaluación no es válida. Esto puede suceder si una evaluación hace referencia a una herramienta, un conjunto de herramientas o un agente que se borró.
lastTenResults[]	object (EvaluationResult) Solo salida. Son los últimos 10 resultados de la evaluación. Este campo solo se completa si include_last_ten_results se establece como verdadero en ListEvaluationsRequest o GetEvaluationRequest.
Campo de unión inputs. Las entradas para la evaluación inputs solo pueden ser una de las siguientes:
golden	object (Golden) Es opcional. Son los pasos de referencia que se evaluarán.
scenario	object (Scenario) Es opcional. Es la configuración de una situación.

Golden

Representación JSON
{ "turns": [ { object (GoldenTurn) } ], "evaluationExpectations": [ string ] }

Campos
turns[]	object (GoldenTurn) Obligatorio. Son los turnos de oro necesarios para reproducir una conversación de oro.
evaluationExpectations[]	string Es opcional. Son las expectativas de evaluación con las que se evalúa la conversación reproducida. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

Representación JSON
{ "steps": [ { object (Step) } ], "rootSpan": { object (Span) } }

Campos
steps[]	object (Step) Obligatorio. Son los pasos necesarios para reproducir una conversación de referencia.
rootSpan	object (Span) Es opcional. Es el intervalo raíz del turno dorado para procesar y mantener la información de audio.

Paso

Representación JSON
{ // Union field step can be only one of the following: "userInput": { object (SessionInput) }, "agentTransfer": { object (AgentTransfer) }, "expectation": { object (GoldenExpectation) } // End of list of possible types for union field step. }

Campos
Campo de unión step. Paso que se debe realizar. step puede ser solo uno de los parámetros siguientes:
userInput	object (SessionInput) Es opcional. Es la entrada del usuario para la conversación.
agentTransfer	object (AgentTransfer) Es opcional. Transferir la conversación a otro agente
expectation	object (GoldenExpectation) Es opcional. Ejecuta una expectativa en el turno actual.

SessionInput

Representación JSON
{ "willContinue": boolean, // Union field input_type can be only one of the following: "text": string, "dtmf": string, "audio": string, "toolResponses": { object (ToolResponses) }, "image": { object (Image) }, "blob": { object (Blob) }, "variables": { object }, "event": { object (Event) } // End of list of possible types for union field input_type. }

Campos
willContinue	boolean Es opcional. Es una marca que indica si el mensaje actual es un fragmento de una entrada más grande en la sesión de transmisión bidireccional. Cuando se establece en true, el agente aplaza el procesamiento hasta que recibe un mensaje posterior en el que will_continue es false o hasta que el sistema detecta un extremo en la entrada de audio. NOTA: Este campo no se aplica a las entradas de audio y DTMF, ya que siempre se procesan automáticamente según la señal de finalización.
Campo de unión input_type. Es el tipo de entrada. input_type puede ser solo uno de los parámetros siguientes:
text	string Es opcional. Son los datos de texto del usuario final.
dtmf	string Es opcional. Dígitos de DTMF del usuario final.
audio	string (bytes format) Es opcional. Son los datos de audio del usuario final. Es una cadena codificada en Base64.
toolResponses	object (ToolResponses) Es opcional. Son los resultados de la ejecución de las llamadas a herramientas del cliente.
image	object (Image) Es opcional. Son los datos de imagen del usuario final.
blob	object (Blob) Es opcional. Son los datos de BLOB del usuario final.
variables	object (Struct format) Es opcional. Son las variables contextuales de la sesión, con la clave establecida por el nombre. El agente de CES solo usará las variables declaradas en la app. Las variables no reconocidas se seguirán enviando al [agente de Dialogflow][Agent.RemoteDialogflowAgent] como parámetros de sesión adicionales.
event	object (Event) Es opcional. Es la entrada del evento.

ToolResponses

Representación JSON
{ "toolResponses": [ { object (ToolResponse) } ] }

Campos
toolResponses[]	object (ToolResponse) Es opcional. Es la lista de resultados de la ejecución de la herramienta.

ToolResponse

Representación JSON
{ "id": string, "displayName": string, "response": { object }, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Campos
id	string Es opcional. Es el ID para coincidencias del tool call para el que es la respuesta.
displayName	string Solo salida. Nombre visible de la herramienta.
response	object (Struct format) Obligatorio. Es el resultado de la ejecución de la herramienta en formato de objeto JSON. Usa la clave "output" para especificar la respuesta de la herramienta y la clave "error" para especificar los detalles del error (si hay alguno). Si no se especifican las claves "output" y "error", toda la "response" se trata como resultado de la ejecución de la herramienta.
Campo de unión tool_identifier. Es el identificador de la herramienta que se ejecutó. Puede ser una herramienta persistente o una herramienta de un conjunto de herramientas. tool_identifier puede ser solo uno de los parámetros siguientes:
tool	string Es opcional. Es el nombre de la herramienta que se ejecutará. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Es opcional. Es la herramienta del conjunto de herramientas que se ejecutó.

ToolsetTool

Representación JSON
{ "toolset": string, "toolId": string }

Campos
toolset	string Obligatorio. Es el nombre del recurso del conjunto de herramientas del que se deriva esta herramienta. Formato: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId	string Es opcional. Es el ID de la herramienta para filtrar las herramientas y recuperar el esquema.

Struct

Representación JSON
{ "fields": { string: value, ... } }

Campos
fields	map (key: string, value: value (Value format)) Es un mapa no ordenado de valores escritos de forma dinámica. Un objeto que contiene una lista de pares "key": value. Ejemplo: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Representación JSON
{ "key": string, "value": value }

Campos
key	string
value	value (Value format)

Valor

Representación JSON
{ // Union field kind can be only one of the following: "nullValue": null, "numberValue": number, "stringValue": string, "boolValue": boolean, "structValue": { object }, "listValue": array // End of list of possible types for union field kind. }

Campos
Campo de unión kind. Es el tipo de valor. kind puede ser solo uno de los parámetros siguientes:
nullValue	null Representa un valor nulo.
numberValue	number Representa un valor doble.
stringValue	string Representa un valor de cadena.
boolValue	boolean Representa un valor booleano.
structValue	object (Struct format) Representa un valor estructurado.
listValue	array (ListValue format) Representa un Value repetido.

ListValue

Representación JSON
{ "values": [ value ] }

Campos
values[]	value (Value format) Es un campo repetido de valores escritos de forma dinámica.

Imagen

Representación JSON
{ "mimeType": string, "data": string }

Campos
mimeType	string Obligatorio. Es el tipo de MIME estándar de IANA de los datos de origen. Los tipos de imágenes admitidos incluyen los siguientes: * image/png * image/jpeg * image/webp
data	string (bytes format) Obligatorio. Son los bytes sin procesar de la imagen. Es una cadena codificada en Base64.

BLOB

Representación JSON
{ "mimeType": string, "data": string }

Campos
mimeType	string Obligatorio. Es el tipo de MIME estándar de IANA de los datos de origen.
data	string (bytes format) Obligatorio. Son los bytes sin procesar del BLOB. Es una cadena codificada en Base64.

Evento

Representación JSON
{ "event": string }

Campos
event	string Obligatorio. Es el nombre del evento.

AgentTransfer

Representación JSON
{ "targetAgent": string, "displayName": string }

Campos
targetAgent	string Obligatorio. Es el agente al que se transfiere la conversación. El agente se encargará de la conversación a partir de este punto. Formato: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName	string Solo salida. Es el nombre visible del agente.

GoldenExpectation

Representación JSON
{ "note": string, // Union field condition can be only one of the following: "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentResponse": { object (Message) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "mockToolResponse": { object (ToolResponse) } // End of list of possible types for union field condition. }

Campos
note	string Es opcional. Es una nota para este requisito, útil para informar cuando fallan verificaciones específicas. P. ej., "Check_Payment_Tool_Called".
Campo de unión condition. Es la verificación real que se realizará. condition puede ser solo uno de los parámetros siguientes:
toolCall	object (ToolCall) Es opcional. Verifica que se haya llamado a una herramienta específica con los parámetros.
toolResponse	object (ToolResponse) Es opcional. Verifica que una herramienta específica haya tenido la respuesta esperada.
agentResponse	object (Message) Es opcional. Verifica que el agente haya respondido con la respuesta correcta. Se da por sentado el rol de "agente".
agentTransfer	object (AgentTransfer) Es opcional. Comprueba que el agente haya transferido la conversación a otro agente.
updatedVariables	object (Struct format) Es opcional. Verifica que el agente haya actualizado las variables de sesión a los valores esperados. También se usa para capturar actualizaciones de variables del agente para las evaluaciones doradas.
mockToolResponse	object (ToolResponse) Es opcional. Es la respuesta de la herramienta que se simulará, con los parámetros de interés especificados. El LLM alucinará los parámetros que no se especifiquen.

ToolCall

Representación JSON
{ "id": string, "displayName": string, "args": { object }, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Campos
id	string Es opcional. Es el identificador único de la llamada a la herramienta. Si se completa, el cliente debe devolver el resultado de la ejecución con el ID para coincidencias en ToolResponse.
displayName	string Solo salida. Nombre visible de la herramienta.
args	object (Struct format) Es opcional. Son los parámetros y valores de entrada de la herramienta en formato de objeto JSON.
Campo de unión tool_identifier. Es el identificador de la herramienta que se ejecutará. Puede ser una herramienta persistente o una herramienta de un conjunto de herramientas. tool_identifier puede ser solo uno de los parámetros siguientes:
tool	string Es opcional. Es el nombre de la herramienta que se ejecutará. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Es opcional. Es la herramienta del conjunto de herramientas que se ejecutará.

Mensaje

Representación JSON
{ "role": string, "chunks": [ { object (Chunk) } ], "eventTime": string }

Campos
role	string Es opcional. Es el rol dentro de la conversación, p.ej., usuario o agente.
chunks[]	object (Chunk) Es opcional. Es el contenido del mensaje como una serie de fragmentos.
eventTime	string (Timestamp format) Es opcional. Es la marca de tiempo del momento en que se envió o recibió el mensaje. No se debe usar si el mensaje forma parte de un example. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".

Fragmento

Representación JSON

{ // Union field data can be only one of the following: "text": string, "transcript": string, "blob": { object (Blob) }, "payload": { object }, "image": { object (Image) }, "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "defaultVariables": { object } // End of list of possible types for union field data. }

Campos
Campo de unión data. Datos de fragmentos data puede ser solo uno de los parámetros siguientes:
text	string Es opcional. Datos de texto.
transcript	string Es opcional. Es la transcripción asociada al audio.
blob	object (Blob) Es opcional. Son los datos del BLOB.
payload	object (Struct format) Es opcional. Son los datos de carga útil personalizados.
image	object (Image) Es opcional. Son los datos de la imagen.
toolCall	object (ToolCall) Es opcional. Es la solicitud de ejecución de la herramienta.
toolResponse	object (ToolResponse) Es opcional. Es la respuesta de la ejecución de la herramienta.
agentTransfer	object (AgentTransfer) Es opcional. Es el evento de transferencia del agente.
updatedVariables	object (Struct format) Un struct representa las variables que se actualizaron en la conversación, con claves según los nombres de las variables.
defaultVariables	object (Struct format) Un struct representa las variables predeterminadas al comienzo de la conversación, con claves según los nombres de las variables.

Marca de tiempo

Representación JSON
{ "seconds": string, "nanos": integer }

Campos
seconds	string (int64 format) Representa los segundos de la hora UTC desde la época de Unix 1970-01-01T00:00:00Z. Debe estar entre -62135596800 y 253402300799 inclusive (lo que corresponde a 0001-01-01T00:00:00Z y 9999-12-31T23:59:59Z).
nanos	integer Fracciones no negativas de un segundo a una resolución de nanosegundos. Este campo es la parte de la duración en nanosegundos, no una alternativa a los segundos. Los valores de segundos negativos con fracciones deben tener valores nanos no negativos que se cuentan hacia adelante en el tiempo. Debe ser un valor entre 0 y 999,999,999, inclusive.

Intervalo

Representación JSON
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (Span) } ] }

Campos
name	string Solo salida. Es el nombre del intervalo.
startTime	string (Timestamp format) Solo salida. Es la hora de inicio del período. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Solo salida. Es la hora de finalización del período. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
duration	string (Duration format) Solo salida. Es la duración del intervalo. Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".
attributes	object (Struct format) Solo salida. Son los atributos clave-valor asociados con el intervalo.
childSpans[]	object (Span) Solo salida. Son los intervalos secundarios anidados en este intervalo.

Duración

Representación JSON
{ "seconds": string, "nanos": integer }

Campos
seconds	string (int64 format) Son los segundos firmados del período. Debe estar entre -315,576,000,000 y +315,576,000,000, inclusive. Nota: Estos límites se calculan de la siguiente manera: 60 s/min * 60 min/h * 24 h/día * 365.25 días/año * 10,000 años
nanos	integer Fracciones firmadas de un segundo con una resolución de nanosegundos del período. Las duraciones inferiores a un segundo se representan con un campo seconds igual a 0 y un campo nanos positivo o negativo. Para duraciones de un segundo o más, un valor distinto de cero para el campo nanos debe tener el mismo signo que el campo seconds. Debe ser un valor entre -999,999,999 y +999,999,999, inclusive.

Situación

Representación JSON
{ "task": string, "userFacts": [ { object (UserFact) } ], "maxTurns": integer, "rubrics": [ string ], "scenarioExpectations": [ { object (ScenarioExpectation) } ], "variableOverrides": { object }, "taskCompletionBehavior": enum (TaskCompletionBehavior), "userGoalBehavior": enum (UserGoalBehavior), "evaluationExpectations": [ string ] }

Campos
task	string Obligatorio. Es la tarea a la que se orientará el caso de uso.
userFacts[]	object (UserFact) Es opcional. Son los datos del usuario que se usarán en la situación.
maxTurns	integer Es opcional. Es la cantidad máxima de turnos que se simularán. Si no se especifica, la simulación continuará hasta que se complete la tarea.
rubrics[]	string Obligatorio. Son las rúbricas con las que se calificará la situación.
scenarioExpectations[]	object (ScenarioExpectation) Obligatorio. Es el objeto ScenarioExpectations para evaluar la conversación que produce la simulación del usuario.
variableOverrides	object (Struct format) Es opcional. Variables o parámetros de sesión como contexto de la sesión, con claves según los nombres de las variables. Los miembros de esta estructura anularán cualquier valor predeterminado establecido por el sistema. Ten en cuenta que son diferentes de los hechos del usuario, que son hechos que el usuario conoce. Las variables son parámetros que conoce el agente, es decir, el MDN (número de teléfono) que pasa el sistema de telefonía.
taskCompletionBehavior (deprecated)	enum (TaskCompletionBehavior) Este elemento está obsoleto. Es opcional. Obsoleto. En su lugar, usa user_goal_behavior.
userGoalBehavior	enum (UserGoalBehavior) Es opcional. Es el comportamiento esperado del objetivo del usuario.
evaluationExpectations[]	string Es opcional. Son las expectativas de evaluación con las que se evalúa la conversación producida por la simulación. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

UserFact

Representación JSON
{ "name": string, "value": string }

Campos
name	string Obligatorio. Es el nombre del hecho del usuario.
value	string Obligatorio. Es el valor del hecho del usuario.

ScenarioExpectation

Representación JSON
{ // Union field expectation can be only one of the following: "toolExpectation": { object (ToolExpectation) }, "agentResponse": { object (Message) } // End of list of possible types for union field expectation. }

Campos
Campo de unión expectation. Es la expectativa para evaluar la conversación que produce la simulación. expectation puede ser solo uno de los parámetros siguientes:
toolExpectation	object (ToolExpectation) Es opcional. Es el par de llamada a la herramienta y respuesta que se evaluará.
agentResponse	object (Message) Es opcional. Es la respuesta del agente que se evaluará.

ToolExpectation

Representación JSON
{ "expectedToolCall": { object (ToolCall) }, "mockToolResponse": { object (ToolResponse) } }

Campos
expectedToolCall	object (ToolCall) Obligatorio. Es la llamada a la herramienta esperada, con los parámetros de interés especificados. El LLM alucinará los parámetros que no se especifiquen.
mockToolResponse	object (ToolResponse) Obligatorio. Es la respuesta de la herramienta que se simulará, con los parámetros de interés especificados. El LLM alucinará los parámetros que no se especifiquen.

AggregatedMetrics

Representación JSON
{ "metricsByAppVersion": [ { object (MetricsByAppVersion) } ] }

Campos
metricsByAppVersion[]	object (MetricsByAppVersion) Solo salida. Son las métricas agregadas, agrupadas por el ID de versión de la app.

MetricsByAppVersion

Representación JSON

{ "appVersionId": string, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ], "passCount": integer, "failCount": integer, "metricsByTurn": [ { object (MetricsByTurn) } ] }

Campos
appVersionId	string Solo salida. Es el ID de la versión de la app.
toolMetrics[]	object (ToolMetrics) Solo salida. Son las métricas de cada herramienta dentro de esta versión de la app.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) Solo salida. Son las métricas de similitud semántica dentro de esta versión de la app.
hallucinationMetrics[]	object (HallucinationMetrics) Solo salida. Son las métricas de alucinación dentro de esta versión de la app.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) Solo salida. Son las métricas de latencia de la llamada a la herramienta dentro de esta versión de la app.
turnLatencyMetrics[]	object (TurnLatencyMetrics) Solo salida. Son las métricas de latencia de turnos dentro de esta versión de la app.
passCount	integer Solo salida. Es la cantidad de veces que se aprobó la evaluación.
failCount	integer Solo salida. Es la cantidad de veces que falló la evaluación.
metricsByTurn[]	object (MetricsByTurn) Solo salida. Son las métricas agregadas por turno dentro de esta versión de la app.

ToolMetrics

Representación JSON
{ "tool": string, "passCount": integer, "failCount": integer }

Campos
tool	string Solo salida. Es el nombre de la herramienta.
passCount	integer Solo salida. Es la cantidad de veces que la herramienta pasó la prueba.
failCount	integer Solo salida. Es la cantidad de veces que falló la herramienta.

SemanticSimilarityMetrics

Representación JSON
{ "score": number }

Campos
score	number Solo salida. Es la puntuación promedio de similitud semántica (de 0 a 4).

HallucinationMetrics

Representación JSON
{ "score": number }

Campos
score	number Solo salida. Es la puntuación promedio de alucinación (de 0 a 1).

ToolCallLatencyMetrics

Representación JSON
{ "tool": string, "averageLatency": string }

Campos
tool	string Solo salida. Es el nombre de la herramienta.
averageLatency	string (Duration format) Solo salida. Es la latencia promedio de las llamadas a herramientas. Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".

TurnLatencyMetrics

Representación JSON
{ "averageLatency": string }

Campos
averageLatency	string (Duration format) Solo salida. Es la latencia promedio de los turnos. Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".

MetricsByTurn

Representación JSON
{ "turnIndex": integer, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ] }

Campos
turnIndex	integer Solo salida. Índice de turno (basado en 0).
toolMetrics[]	object (ToolMetrics) Solo salida. Son las métricas de cada herramienta en este turno.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) Solo salida. Son las métricas de similitud semántica dentro de este turno.
hallucinationMetrics[]	object (HallucinationMetrics) Solo salida. Son las métricas de alucinación dentro de este turno.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) Solo salida. Son las métricas de latencia de la llamada a la herramienta dentro de este turno.
turnLatencyMetrics[]	object (TurnLatencyMetrics) Solo salida. Son las métricas de latencia del turno dentro de este turno.

EvaluationResult

Representación JSON

{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum (Outcome), "evaluationRun": string, "persona": { object (EvaluationPersona) }, "errorInfo": { object (EvaluationErrorInfo) }, "error": { object (Status) }, "initiatedBy": string, "appVersion": string, "appVersionDisplayName": string, "changelog": string, "changelogCreateTime": string, "executionState": enum (ExecutionState), "evaluationMetricsThresholds": { object (EvaluationMetricsThresholds) }, "config": { object (EvaluationConfig) }, "goldenRunMethod": enum (GoldenRunMethod), // Union field result can be only one of the following: "goldenResult": { object (GoldenResult) }, "scenarioResult": { object (ScenarioResult) } // End of list of possible types for union field result. }

Campos
name	string Es el identificador. Es el identificador único del resultado de la evaluación. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName	string Obligatorio. Es el nombre visible del resultado de la evaluación. Es único dentro de una evaluación. De forma predeterminada, tiene el siguiente formato: " resultado - ".
createTime	string (Timestamp format) Solo salida. Es la marca de tiempo de cuando se creó el resultado de la evaluación. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
evaluationStatus	enum (Outcome) Solo salida. Es el resultado de la evaluación. Solo se propaga si execution_state es COMPLETE.
evaluationRun	string Solo salida. Es la ejecución de la evaluación que produjo este resultado. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona	object (EvaluationPersona) Solo salida. Es el arquetipo que se usó para generar la conversación del resultado de la evaluación.
errorInfo	object (EvaluationErrorInfo) Solo salida. Es la información del error del resultado de la evaluación.
error (deprecated)	object (Status) Este elemento está obsoleto. Solo salida. Obsoleto: Usa error_info en su lugar. Son los errores que se produjeron durante la ejecución.
initiatedBy	string Solo salida. Es el usuario que inició la ejecución de la evaluación que generó este resultado.
appVersion	string Solo salida. Es la versión de la app que se usó para generar la conversación que produjo este resultado. Formato: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName	string Solo salida. Es el nombre visible del app_version con el que se ejecutó la evaluación.
changelog	string Solo salida. Registro de cambios de la versión de la app con la que se ejecutó la evaluación. Se completa si el usuario ejecuta la evaluación en la versión más reciente o en el borrador.
changelogCreateTime	string (Timestamp format) Solo salida. Es la fecha y hora de creación del registro de cambios de la versión de la app con la que se ejecutó la evaluación. Se completa si el usuario ejecuta la evaluación en la versión más reciente o en el borrador. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
executionState	enum (ExecutionState) Solo salida. Es el estado de la ejecución del resultado de la evaluación.
evaluationMetricsThresholds	object (EvaluationMetricsThresholds) Solo salida. Son los umbrales de evaluación del resultado.
config	object (EvaluationConfig) Solo salida. Es la configuración que se usó en la ejecución de la evaluación que generó este resultado.
goldenRunMethod	enum (GoldenRunMethod) Solo salida. Es el método que se usa para ejecutar la evaluación de referencia.
Campo de unión result. Es el resultado de la evaluación. Solo se propaga cuando execution_state es COMPLETED. result puede ser solo uno de los parámetros siguientes:
goldenResult	object (GoldenResult) Solo salida. Es el resultado de una evaluación de datos de referencia.
scenarioResult	object (ScenarioResult) Solo salida. Es el resultado de la evaluación de un caso.

GoldenResult

Representación JSON
{ "turnReplayResults": [ { object (TurnReplayResult) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ] }

Campos
turnReplayResults[]	object (TurnReplayResult) Solo salida. Es el resultado de ejecutar cada turno de la conversación de referencia.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Solo salida. Son los resultados esperados de la evaluación.

TurnReplayResult

Representación JSON

{ "conversation": string, "expectationOutcome": [ { object (GoldenExpectationOutcome) } ], "hallucinationResult": { object (HallucinationResult) }, "toolInvocationScore": number, "turnLatency": string, "toolCallLatencies": [ { object (ToolCallLatency) } ], "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "overallToolInvocationResult": { object (OverallToolInvocationResult) }, "errorInfo": { object (EvaluationErrorInfo) }, "spanLatencies": [ { object (SpanLatency) } ], // Union field _tool_ordered_invocation_score can be only one of the following: "toolOrderedInvocationScore": number // End of list of possible types for union field // _tool_ordered_invocation_score. }

Campos
conversation	string Solo salida. Es la conversación que se generó para este turno.
expectationOutcome[]	object (GoldenExpectationOutcome) Solo salida. Es el resultado de cada expectativa.
hallucinationResult	object (HallucinationResult) Solo salida. Es el resultado de la verificación de alucinaciones.
toolInvocationScore (deprecated)	number Este elemento está obsoleto. Solo salida. Obsoleto. En su lugar, usa OverallToolInvocationResult.
turnLatency	string (Duration format) Solo salida. Es la duración del turno. Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".
toolCallLatencies[]	object (ToolCallLatency) Solo salida. Es la latencia de cada llamada a herramienta en el turno.
semanticSimilarityResult	object (SemanticSimilarityResult) Solo salida. Es el resultado de la verificación de similitud semántica.
overallToolInvocationResult	object (OverallToolInvocationResult) Solo salida. Es el resultado de la verificación general de la invocación de la herramienta.
errorInfo	object (EvaluationErrorInfo) Solo salida. Es información sobre el error que ocurrió durante este turno.
spanLatencies[]	object (SpanLatency) Solo salida. Es la latencia de los intervalos en el turno.
Campo de unión _tool_ordered_invocation_score. _tool_ordered_invocation_score puede ser una de las siguientes opciones:
toolOrderedInvocationScore	number Solo salida. Es la puntuación general de invocación ordenada de la herramienta para este turno. Indica el porcentaje general de herramientas del turno esperado que se invocaron realmente en el orden esperado.

GoldenExpectationOutcome

Representación JSON

{ "expectation": { object (GoldenExpectation) }, "outcome": enum (Outcome), "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "toolInvocationResult": { object (ToolInvocationResult) }, // Union field result can be only one of the following: "observedToolCall": { object (ToolCall) }, "observedToolResponse": { object (ToolResponse) }, "observedAgentResponse": { object (Message) }, "observedAgentTransfer": { object (AgentTransfer) } // End of list of possible types for union field result. }

Campos
expectation	object (GoldenExpectation) Solo salida. Es la expectativa que se evaluó.
outcome	enum (Outcome) Solo salida. Es el resultado de la expectativa.
semanticSimilarityResult (deprecated)	object (SemanticSimilarityResult) Este elemento está obsoleto. Solo salida. Es el resultado de la verificación de similitud semántica.
toolInvocationResult	object (ToolInvocationResult) Solo salida. Es el resultado de la verificación de la invocación de la herramienta.
Campo de unión result. Es el resultado de la expectativa. result puede ser solo uno de los parámetros siguientes:
observedToolCall	object (ToolCall) Solo salida. Es el resultado de la expectativa de llamada a herramienta.
observedToolResponse	object (ToolResponse) Solo salida. Es el resultado de la expectativa de respuesta de la herramienta.
observedAgentResponse	object (Message) Solo salida. Es el resultado de la expectativa de respuesta del agente.
observedAgentTransfer	object (AgentTransfer) Solo salida. Es el resultado de la expectativa de transferencia del agente.

SemanticSimilarityResult

Representación JSON
{ "label": string, "explanation": string, "outcome": enum (Outcome), // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Campos
label	string Solo salida. Es la etiqueta asociada a cada puntuación. Puntuación 4: Completamente coherente Puntuación 3: Mayormente coherente Puntuación 2: Parcialmente coherente (omisiones menores) Puntuación 1: Mayormente incoherente (omisiones importantes) Puntuación 0: Completamente incoherente o contradictorio
explanation	string Solo salida. Es la explicación de la puntuación de similitud semántica.
outcome	enum (Outcome) Solo salida. Es el resultado de la verificación de similitud semántica. Esto se determina comparando la puntuación con semantic_similarity_success_threshold. Si la puntuación es igual o superior al umbral, el resultado será APROBADO. De lo contrario, el resultado será FAIL.
Campo de unión _score. _score puede ser una de las siguientes opciones:
score	integer Solo salida. Es la puntuación de similitud semántica. Puede ser 0, 1, 2, 3 o 4.

ToolInvocationResult

Representación JSON
{ "outcome": enum (Outcome), "explanation": string, // Union field _parameter_correctness_score can be only one of the following: "parameterCorrectnessScore": number // End of list of possible types for union field _parameter_correctness_score. }

Campos
outcome	enum (Outcome) Solo salida. Es el resultado de la verificación de la invocación de la herramienta. Esto se determina comparando el parámetro parameter_correctness_score con el umbral. Si la puntuación es igual o superior al umbral, el resultado será APROBADO. De lo contrario, el resultado será FAIL.
explanation	string Solo salida. Es una explicación de texto libre sobre el resultado de la invocación de la herramienta.
Campo de unión _parameter_correctness_score. _parameter_correctness_score puede ser una de las siguientes opciones:
parameterCorrectnessScore	number Solo salida. Es la puntuación de corrección del parámetro de invocación de la herramienta. Indica el porcentaje de parámetros de la llamada a la herramienta esperada que también estuvieron presentes en la llamada a la herramienta real.

HallucinationResult

Representación JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Campos
label	string Solo salida. Es la etiqueta asociada a cada puntuación. Puntuación 1: Puntuación justificada 0: Puntuación no justificada -1: No hay reclamo para evaluar
explanation	string Solo salida. Es la explicación de la puntuación de alucinación.
Campo de unión _score. _score puede ser una de las siguientes opciones:
score	integer Solo salida. Es la puntuación de alucinación. Puede ser -1, 0 o 1.

ToolCallLatency

Representación JSON
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

Campos
tool	string Solo salida. Es el nombre de la herramienta que se ejecutó. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName	string Solo salida. Es el nombre visible de la herramienta.
startTime	string (Timestamp format) Solo salida. Es la hora de inicio de la ejecución de la llamada a la herramienta. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Solo salida. Es la hora de finalización de la ejecución de la llamada a la herramienta. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) Solo salida. Es la latencia de la ejecución de la llamada a la herramienta. Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".

OverallToolInvocationResult

Representación JSON
{ "outcome": enum (Outcome), // Union field _tool_invocation_score can be only one of the following: "toolInvocationScore": number // End of list of possible types for union field _tool_invocation_score. }

Campos
outcome	enum (Outcome) Solo salida. Es el resultado de la verificación de la invocación de la herramienta. Esto se determina comparando tool_invocation_score con overall_tool_invocation_correctness_threshold. Si la puntuación es igual o superior al umbral, el resultado será APROBADO. De lo contrario, el resultado será FAIL.
Campo de unión _tool_invocation_score. _tool_invocation_score puede ser una de las siguientes opciones:
toolInvocationScore	number Es la puntuación general de invocación de la herramienta para este turno. Indica el porcentaje general de herramientas del turno esperado que se invocaron realmente.

EvaluationErrorInfo

Representación JSON
{ "errorType": enum (ErrorType), "errorMessage": string, "sessionId": string }

Campos
errorType	enum (ErrorType) Solo salida. Es el tipo de error.
errorMessage	string Solo salida. Mensaje de error.
sessionId	string Solo salida. Es el ID de la sesión de la conversación que causó el error.

SpanLatency

Representación JSON
{ "type": enum (Type), "displayName": string, "startTime": string, "endTime": string, "executionLatency": string, // Union field identifier can be only one of the following: "resource": string, "toolset": { object (ToolsetTool) }, "model": string, "callback": string // End of list of possible types for union field identifier. }

Campos
type	enum (Type) Solo salida. Es el tipo de intervalo.
displayName	string Solo salida. Es el nombre visible del intervalo. Se aplica a los tramos de herramientas y protecciones.
startTime	string (Timestamp format) Solo salida. Es la hora de inicio del período. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Solo salida. Es la hora de finalización del período. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) Solo salida. Es la latencia del intervalo. Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".
Campo de unión identifier. Es el identificador del elemento específico según su tipo. identifier puede ser solo uno de los parámetros siguientes:
resource	string Solo salida. Es el nombre del recurso de los tramos de la herramienta o la protección.
toolset	object (ToolsetTool) Solo salida. Es el identificador de la herramienta del conjunto de herramientas.
model	string Solo salida. Es el nombre del intervalo del LLM.
callback	string Solo salida. Es el nombre del intervalo de devolución de llamada del usuario.

EvaluationExpectationResult

Representación JSON
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (Outcome), "explanation": string }

Campos
evaluationExpectation	string Solo salida. Es la expectativa de evaluación. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt	string Solo salida. Es la instrucción que se usó para la evaluación.
outcome	enum (Outcome) Solo salida. Es el resultado esperado de la evaluación.
explanation	string Solo salida. Es la explicación del resultado.

ScenarioResult

Representación JSON

{ "conversation": string, "task": string, "userFacts": [ { object (UserFact) } ], "expectationOutcomes": [ { object (ScenarioExpectationOutcome) } ], "rubricOutcomes": [ { object (ScenarioRubricOutcome) } ], "hallucinationResult": [ { object (HallucinationResult) } ], "taskCompletionResult": { object (TaskCompletionResult) }, "toolCallLatencies": [ { object (ToolCallLatency) } ], "userGoalSatisfactionResult": { object (UserGoalSatisfactionResult) }, "spanLatencies": [ { object (SpanLatency) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ], // Union field _all_expectations_satisfied can be only one of the following: "allExpectationsSatisfied": boolean // End of list of possible types for union field _all_expectations_satisfied. // Union field _task_completed can be only one of the following: "taskCompleted": boolean // End of list of possible types for union field _task_completed. }

Campos
conversation	string Solo salida. Es la conversación que se generó en la situación.
task	string Solo salida. Es la tarea que se usó cuando se ejecutó la situación para este resultado.
userFacts[]	object (UserFact) Solo salida. Son los datos del usuario que el escenario usó para este resultado.
expectationOutcomes[]	object (ScenarioExpectationOutcome) Solo salida. Es el resultado de cada expectativa.
rubricOutcomes[]	object (ScenarioRubricOutcome) Solo salida. Es el resultado de la rúbrica.
hallucinationResult[]	object (HallucinationResult) Solo salida. Es el resultado de la verificación de alucinaciones. Habrá un resultado de alucinación por cada turno de la conversación.
taskCompletionResult (deprecated)	object (TaskCompletionResult) Este elemento está obsoleto. Solo salida. Es el resultado de la verificación de finalización de la tarea.
toolCallLatencies[]	object (ToolCallLatency) Solo salida. Es la latencia de cada ejecución de llamada a herramienta en la conversación.
userGoalSatisfactionResult	object (UserGoalSatisfactionResult) Solo salida. Es el resultado de la verificación de satisfacción del objetivo del usuario.
spanLatencies[]	object (SpanLatency) Solo salida. Es la latencia de los tramos en la conversación.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Solo salida. Son los resultados de las expectativas de evaluación.
Campo de unión _all_expectations_satisfied. _all_expectations_satisfied puede ser una de las siguientes opciones:
allExpectationsSatisfied	boolean Solo salida. Indica si se cumplieron todas las expectativas para este turno.
Campo de unión _task_completed. _task_completed puede ser una de las siguientes opciones:
taskCompleted	boolean Solo salida. Indica si la tarea se completó en este turno. Es una combinación de todas las expectativas satisfechas, la ausencia de alucinaciones y la satisfacción del objetivo del usuario.

ScenarioExpectationOutcome

Representación JSON
{ "expectation": { object (ScenarioExpectation) }, "outcome": enum (Outcome), // Union field result can be only one of the following: "observedToolCall": { object (ObservedToolCall) }, "observedAgentResponse": { object (Message) } // End of list of possible types for union field result. }

Campos
expectation	object (ScenarioExpectation) Solo salida. Es la expectativa que se evaluó.
outcome	enum (Outcome) Solo salida. Es el resultado de ScenarioExpectation.
Campo de unión result. Es el resultado de la expectativa. result puede ser solo uno de los parámetros siguientes:
observedToolCall	object (ObservedToolCall) Solo salida. Es la llamada a la herramienta observada.
observedAgentResponse	object (Message) Solo salida. Es la respuesta observada del agente.

ObservedToolCall

Representación JSON
{ "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) } }

Campos
toolCall	object (ToolCall) Solo salida. Es la llamada a la herramienta observada.
toolResponse	object (ToolResponse) Solo salida. Es la respuesta observada de la herramienta.

ScenarioRubricOutcome

Representación JSON
{ "rubric": string, "scoreExplanation": string, // Union field _score can be only one of the following: "score": number // End of list of possible types for union field _score. }

Campos
rubric	string Solo salida. Es la rúbrica que se usó para evaluar la conversación.
scoreExplanation	string Solo salida. Es la respuesta del evaluador a la rúbrica.
Campo de unión _score. _score puede ser una de las siguientes opciones:
score	number Solo salida. Es la puntuación de la conversación según la rúbrica.

TaskCompletionResult

Representación JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Campos
label	string Solo salida. Es la etiqueta asociada a cada puntuación. Puntuación 1: Tarea completada Puntuación 0: Tarea no completada Puntuación -1: Objetivo del usuario no definido
explanation	string Solo salida. Es la explicación de la puntuación de finalización de la tarea.
Campo de unión _score. _score puede ser una de las siguientes opciones:
score	integer Solo salida. Es la puntuación de finalización de la tarea. Puede ser -1, 0 o 1.

UserGoalSatisfactionResult

Representación JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Campos
label	string Solo salida. Es la etiqueta asociada a cada puntuación. Puntuación 1: Tarea del usuario satisfecha. Puntuación 0: Tarea del usuario no satisfecha. Puntuación -1: Tarea del usuario no especificada.
explanation	string Solo salida. Es la explicación de la puntuación de satisfacción de la tarea del usuario.
Campo de unión _score. _score puede ser una de las siguientes opciones:
score	integer Solo salida. Es la puntuación de satisfacción con la tarea del usuario. Puede ser -1, 0 o 1.

EvaluationPersona

Representación JSON
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (SpeechConfig) } }

Campos
name	string Obligatorio. Es el identificador único del arquetipo. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description	string Es opcional. Es la descripción del arquetipo.
displayName	string Obligatorio. Es el nombre visible del arquetipo. Es único dentro de una app.
personality	string Obligatorio. Es una instrucción para el agente sobre cómo comportarse en la evaluación.
speechConfig	object (SpeechConfig) Es opcional. Es la configuración de cómo suena la persona (parámetros de configuración de TTS).

SpeechConfig

Representación JSON
{ "speakingRate": number, "environment": enum (BackgroundEnvironment), "voiceId": string }

Campos
speakingRate	number Es opcional. Es la velocidad de habla. 1.0 es normal. Cuanto más bajo, más lento (p.ej., 0.8), cuanto más alto sea el valor, más rápido será (p.ej., 1.5). Es útil para probar cómo el agente maneja a las personas que hablan rápido.
environment	enum (BackgroundEnvironment) Es opcional. Es el entorno de audio simulado.
voiceId	string Es opcional. Es el identificador o acento de voz específico que se usará. Ejemplo: "es-MX-Wavenet-D" o "es-ES-Standard-A"

Estado

Representación JSON
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

Campos
code	integer El código de estado, que debe ser un valor enum de google.rpc.Code.
message	string Un mensaje de error dirigido al desarrollador, que debe estar en inglés. Cualquier mensaje de error dirigido al usuario debe localizarse y enviarse al campo google.rpc.Status.details; o el cliente debe localizarlo.
details[]	object Una lista de mensajes que contienen los detalles del error. Hay un conjunto común de tipos de mensajes para que usen las API. Un objeto que contiene campos de un tipo arbitrario. Un campo adicional "@type" contiene una URI que identifica el tipo. Ejemplo: { "id": 1234, "@type": "types.example.com/standard/id" }.

Cualquiera

Representación JSON
{ "typeUrl": string, "value": string }

Campos
typeUrl	string Identifica el tipo del mensaje serializado de Protobuf con una referencia de URI que consta de un prefijo que termina en una barra y el nombre del tipo completamente calificado. Ejemplo: type.googleapis.com/google.protobuf.StringValue Esta cadena debe contener al menos un carácter /, y el contenido después del último / debe ser el nombre completamente calificado del tipo en formato canónico, sin un punto inicial. No escribas un esquema en estas referencias de URI para que los clientes no intenten comunicarse con ellas. El prefijo es arbitrario, y se espera que las implementaciones de Protobuf simplemente quiten todo hasta el último / inclusive para identificar el tipo. type.googleapis.com/ es un prefijo predeterminado común que requieren algunas implementaciones heredadas. Este prefijo no indica el origen del tipo, y no se espera que los URIs que lo contienen respondan a ninguna solicitud. Todas las cadenas de URL de tipo deben ser referencias URI legales con la restricción adicional (para el formato de texto) de que el contenido de la referencia solo debe constar de caracteres alfanuméricos, escapes codificados como porcentaje y caracteres del siguiente conjunto (sin incluir las comillas invertidas externas): /-.~_!$&()*+,;=. A pesar de que permitimos la codificación de porcentaje, las implementaciones no deben decodificarlas para evitar confusiones con los analizadores existentes. Por ejemplo, se debe rechazar type.googleapis.com%2FFoo. En el diseño original de Any, se consideró la posibilidad de lanzar un servicio de resolución de tipos en estas URLs de tipos, pero Protobuf nunca implementó uno y considera que contactar estas URLs es problemático y un posible problema de seguridad. No intentes comunicarte con URLs de tipo.
value	string (bytes format) Contiene una serialización de Protobuf del tipo que describe type_url. Es una cadena codificada en Base64.

EvaluationMetricsThresholds

Representación JSON
{ "goldenEvaluationMetricsThresholds": { object (GoldenEvaluationMetricsThresholds) }, "hallucinationMetricBehavior": enum (HallucinationMetricBehavior), "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior), "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior) }

Campos
goldenEvaluationMetricsThresholds	object (GoldenEvaluationMetricsThresholds) Es opcional. Son los umbrales de las métricas de evaluación de referencia.
hallucinationMetricBehavior (deprecated)	enum (HallucinationMetricBehavior) Este elemento está obsoleto. Es opcional. Obsoleto: Usa golden_hallucination_metric_behavior en su lugar. Actualmente, el comportamiento de la métrica de alucinación se usa para las evaluaciones de referencia.
goldenHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Es opcional. Es el comportamiento de la métrica de alucinación para las evaluaciones de referencia.
scenarioHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Es opcional. Es el comportamiento de la métrica de alucinación para las evaluaciones de situaciones.

GoldenEvaluationMetricsThresholds

Representación JSON
{ "turnLevelMetricsThresholds": { object (TurnLevelMetricsThresholds) }, "expectationLevelMetricsThresholds": { object (ExpectationLevelMetricsThresholds) }, "toolMatchingSettings": { object (ToolMatchingSettings) } }

Campos
turnLevelMetricsThresholds	object (TurnLevelMetricsThresholds) Es opcional. Son los umbrales de las métricas a nivel del turno.
expectationLevelMetricsThresholds	object (ExpectationLevelMetricsThresholds) Es opcional. Son los umbrales de las métricas del nivel de expectativa.
toolMatchingSettings	object (ToolMatchingSettings) Es opcional. Es la configuración de la herramienta de correlación. Una llamada a herramienta adicional es una llamada a herramienta que está presente en la ejecución, pero no coincide con ninguna llamada a herramienta en la expectativa ideal.

TurnLevelMetricsThresholds

Representación JSON

{ "semanticSimilarityChannel": enum (SemanticSimilarityChannel), // Union field _semantic_similarity_success_threshold can be only one of the // following: "semanticSimilaritySuccessThreshold": integer // End of list of possible types for union field // _semantic_similarity_success_threshold. // Union field _overall_tool_invocation_correctness_threshold can be only one // of the following: "overallToolInvocationCorrectnessThreshold": number // End of list of possible types for union field // _overall_tool_invocation_correctness_threshold. }

Campos
semanticSimilarityChannel	enum (SemanticSimilarityChannel) Es opcional. Es el canal de similitud semántica que se usará para la evaluación.
Campo de unión _semantic_similarity_success_threshold. _semantic_similarity_success_threshold puede ser una de las siguientes opciones:
semanticSimilaritySuccessThreshold	integer Es opcional. Es el umbral de éxito para la similitud semántica. Debe ser un número entero entre 0 y 4. El valor predeterminado es >= 3.
Campo de unión _overall_tool_invocation_correctness_threshold. _overall_tool_invocation_correctness_threshold puede ser una de las siguientes opciones:
overallToolInvocationCorrectnessThreshold	number Es opcional. Es el umbral de éxito para la corrección general de la invocación de la herramienta. Debe ser un número de punto flotante entre 0 y 1. El valor predeterminado es 1.0.

ExpectationLevelMetricsThresholds

Representación JSON
{ // Union field _tool_invocation_parameter_correctness_threshold can be only one // of the following: "toolInvocationParameterCorrectnessThreshold": number // End of list of possible types for union field // _tool_invocation_parameter_correctness_threshold. }

Campos
Campo de unión _tool_invocation_parameter_correctness_threshold. _tool_invocation_parameter_correctness_threshold puede ser una de las siguientes opciones:
toolInvocationParameterCorrectnessThreshold	number Es opcional. Es el umbral de éxito para la corrección de parámetros de invocación de herramientas individuales. Debe ser un número de punto flotante entre 0 y 1. El valor predeterminado es 1.0.

ToolMatchingSettings

Representación JSON
{ "extraToolCallBehavior": enum (ExtraToolCallBehavior) }

Campos
extraToolCallBehavior	enum (ExtraToolCallBehavior) Es opcional. Comportamiento para las llamadas a herramientas adicionales. La configuración predeterminada es FAIL.

EvaluationConfig

Representación JSON
{ "inputAudioConfig": { object (InputAudioConfig) }, "outputAudioConfig": { object (OutputAudioConfig) }, "evaluationChannel": enum (EvaluationChannel), "toolCallBehaviour": enum (EvaluationToolCallBehaviour) }

Campos
inputAudioConfig (deprecated)	object (InputAudioConfig) Este elemento está obsoleto. Es opcional. Es la configuración para procesar el audio de entrada.
outputAudioConfig (deprecated)	object (OutputAudioConfig) Este elemento está obsoleto. Es opcional. Es la configuración para generar el audio de salida.
evaluationChannel	enum (EvaluationChannel) Es opcional. Es el canal que se evaluará.
toolCallBehaviour	enum (EvaluationToolCallBehaviour) Es opcional. Especifica si la evaluación debe usar llamadas a herramientas reales o herramientas simuladas.

InputAudioConfig

Representación JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

Campos
audioEncoding	enum (AudioEncoding) Obligatorio. Es la codificación de los datos de audio de entrada.
sampleRateHertz	integer Obligatorio. Es la tasa de muestreo (en hercios) de los datos de audio de entrada.
noiseSuppressionLevel	string Es opcional. Indica si se debe habilitar la supresión de ruido en el audio de entrada. Los valores disponibles son "low", "moderate", "high" y "very_high".

OutputAudioConfig

Representación JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer }

Campos
audioEncoding	enum (AudioEncoding) Obligatorio. Es la codificación de los datos de audio de salida.
sampleRateHertz	integer Obligatorio. Es la tasa de muestreo (en hercios) de los datos de audio de salida.

FieldMask

Representación JSON
{ "paths": [ string ] }

Campos
paths[]	string Es el conjunto de rutas de máscara de campo.

Esquema de salida

Una evaluación representa toda la información necesaria para simular y evaluar un agente.

Evaluación

Representación JSON

{ "name": string, "displayName": string, "description": string, "tags": [ string ], "evaluationDatasets": [ string ], "createTime": string, "createdBy": string, "updateTime": string, "lastUpdatedBy": string, "evaluationRuns": [ string ], "etag": string, "aggregatedMetrics": { object (AggregatedMetrics) }, "lastCompletedResult": { object (EvaluationResult) }, "invalid": boolean, "lastTenResults": [ { object (EvaluationResult) } ], // Union field inputs can be only one of the following: "golden": { object (Golden) }, "scenario": { object (Scenario) } // End of list of possible types for union field inputs. }

Campos
name	string Es el identificador. Es el identificador único de esta evaluación. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName	string Obligatorio. Es el nombre visible de la evaluación definido por el usuario. Es único dentro de una app.
description	string Es opcional. Es la descripción de la evaluación definida por el usuario.
tags[]	string Es opcional. Son etiquetas definidas por el usuario para categorizar la evaluación.
evaluationDatasets[]	string Solo salida. Es la lista de conjuntos de datos de evaluación a los que pertenece la evaluación. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime	string (Timestamp format) Solo salida. Es la marca de tiempo de cuando se creó la evaluación. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
createdBy	string Solo salida. Es el usuario que creó la evaluación.
updateTime	string (Timestamp format) Solo salida. Marca de tiempo de la última actualización de la evaluación. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
lastUpdatedBy	string Solo salida. Es el usuario que actualizó la evaluación por última vez.
evaluationRuns[]	string Solo salida. Son los EvaluationRuns con los que se asocia esta Evaluación.
etag	string Solo salida. Es el ETag que se usa para garantizar que el objeto no haya cambiado durante una operación de lectura, modificación y escritura. Si el ETag está vacío, la actualización reemplazará cualquier cambio simultáneo.
aggregatedMetrics	object (AggregatedMetrics) Solo salida. Son las métricas agregadas de esta evaluación en todas las ejecuciones.
lastCompletedResult	object (EvaluationResult) Solo salida. Es el resultado de la evaluación más reciente para esta evaluación.
invalid	boolean Solo salida. Indica si la evaluación no es válida. Esto puede suceder si una evaluación hace referencia a una herramienta, un conjunto de herramientas o un agente que se borró.
lastTenResults[]	object (EvaluationResult) Solo salida. Son los últimos 10 resultados de la evaluación. Este campo solo se completa si include_last_ten_results se establece como verdadero en ListEvaluationsRequest o GetEvaluationRequest.
Campo de unión inputs. Las entradas para la evaluación inputs solo pueden ser una de las siguientes:
golden	object (Golden) Es opcional. Son los pasos de referencia que se evaluarán.
scenario	object (Scenario) Es opcional. Es la configuración de una situación.

Golden

Representación JSON
{ "turns": [ { object (GoldenTurn) } ], "evaluationExpectations": [ string ] }

Campos
turns[]	object (GoldenTurn) Obligatorio. Son los turnos de oro necesarios para reproducir una conversación de oro.
evaluationExpectations[]	string Es opcional. Son las expectativas de evaluación con las que se evalúa la conversación reproducida. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

Representación JSON
{ "steps": [ { object (Step) } ], "rootSpan": { object (Span) } }

Campos
steps[]	object (Step) Obligatorio. Son los pasos necesarios para reproducir una conversación de referencia.
rootSpan	object (Span) Es opcional. Es el intervalo raíz del turno dorado para procesar y mantener la información de audio.

Paso

Representación JSON
{ // Union field step can be only one of the following: "userInput": { object (SessionInput) }, "agentTransfer": { object (AgentTransfer) }, "expectation": { object (GoldenExpectation) } // End of list of possible types for union field step. }

Campos
Campo de unión step. Paso que se debe realizar. step puede ser solo uno de los parámetros siguientes:
userInput	object (SessionInput) Es opcional. Es la entrada del usuario para la conversación.
agentTransfer	object (AgentTransfer) Es opcional. Transferir la conversación a otro agente
expectation	object (GoldenExpectation) Es opcional. Ejecuta una expectativa en el turno actual.

SessionInput

Representación JSON
{ "willContinue": boolean, // Union field input_type can be only one of the following: "text": string, "dtmf": string, "audio": string, "toolResponses": { object (ToolResponses) }, "image": { object (Image) }, "blob": { object (Blob) }, "variables": { object }, "event": { object (Event) } // End of list of possible types for union field input_type. }

Campos
willContinue	boolean Es opcional. Es una marca que indica si el mensaje actual es un fragmento de una entrada más grande en la sesión de transmisión bidireccional. Cuando se establece en true, el agente aplaza el procesamiento hasta que recibe un mensaje posterior en el que will_continue es false o hasta que el sistema detecta un extremo en la entrada de audio. NOTA: Este campo no se aplica a las entradas de audio y DTMF, ya que siempre se procesan automáticamente según la señal de finalización.
Campo de unión input_type. Es el tipo de entrada. input_type puede ser solo uno de los parámetros siguientes:
text	string Es opcional. Son los datos de texto del usuario final.
dtmf	string Es opcional. Dígitos de DTMF del usuario final.
audio	string (bytes format) Es opcional. Son los datos de audio del usuario final. Es una cadena codificada en Base64.
toolResponses	object (ToolResponses) Es opcional. Son los resultados de la ejecución de las llamadas a herramientas del cliente.
image	object (Image) Es opcional. Son los datos de imagen del usuario final.
blob	object (Blob) Es opcional. Son los datos de BLOB del usuario final.
variables	object (Struct format) Es opcional. Son las variables contextuales de la sesión, con la clave establecida por el nombre. El agente de CES solo usará las variables declaradas en la app. Las variables no reconocidas se seguirán enviando al [agente de Dialogflow][Agent.RemoteDialogflowAgent] como parámetros de sesión adicionales.
event	object (Event) Es opcional. Es la entrada del evento.

ToolResponses

Representación JSON
{ "toolResponses": [ { object (ToolResponse) } ] }

Campos
toolResponses[]	object (ToolResponse) Es opcional. Es la lista de resultados de la ejecución de la herramienta.

ToolResponse

Representación JSON
{ "id": string, "displayName": string, "response": { object }, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Campos
id	string Es opcional. Es el ID para coincidencias del tool call para el que es la respuesta.
displayName	string Solo salida. Nombre visible de la herramienta.
response	object (Struct format) Obligatorio. Es el resultado de la ejecución de la herramienta en formato de objeto JSON. Usa la clave "output" para especificar la respuesta de la herramienta y la clave "error" para especificar los detalles del error (si hay alguno). Si no se especifican las claves "output" y "error", toda la "response" se trata como resultado de la ejecución de la herramienta.
Campo de unión tool_identifier. Es el identificador de la herramienta que se ejecutó. Puede ser una herramienta persistente o una herramienta de un conjunto de herramientas. tool_identifier puede ser solo uno de los parámetros siguientes:
tool	string Es opcional. Es el nombre de la herramienta que se ejecutará. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Es opcional. Es la herramienta del conjunto de herramientas que se ejecutó.

ToolsetTool

Representación JSON
{ "toolset": string, "toolId": string }

Campos
toolset	string Obligatorio. Es el nombre del recurso del conjunto de herramientas del que se deriva esta herramienta. Formato: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId	string Es opcional. Es el ID de la herramienta para filtrar las herramientas y recuperar el esquema.

Struct

Representación JSON
{ "fields": { string: value, ... } }

Campos
fields	map (key: string, value: value (Value format)) Es un mapa no ordenado de valores escritos de forma dinámica. Un objeto que contiene una lista de pares "key": value. Ejemplo: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Representación JSON
{ "key": string, "value": value }

Campos
key	string
value	value (Value format)

Valor

Representación JSON
{ // Union field kind can be only one of the following: "nullValue": null, "numberValue": number, "stringValue": string, "boolValue": boolean, "structValue": { object }, "listValue": array // End of list of possible types for union field kind. }

Campos
Campo de unión kind. Es el tipo de valor. kind puede ser solo uno de los parámetros siguientes:
nullValue	null Representa un valor nulo.
numberValue	number Representa un valor doble.
stringValue	string Representa un valor de cadena.
boolValue	boolean Representa un valor booleano.
structValue	object (Struct format) Representa un valor estructurado.
listValue	array (ListValue format) Representa un Value repetido.

ListValue

Representación JSON
{ "values": [ value ] }

Campos
values[]	value (Value format) Es un campo repetido de valores escritos de forma dinámica.

Imagen

Representación JSON
{ "mimeType": string, "data": string }

Campos
mimeType	string Obligatorio. Es el tipo de MIME estándar de IANA de los datos de origen. Los tipos de imágenes admitidos incluyen los siguientes: * image/png * image/jpeg * image/webp
data	string (bytes format) Obligatorio. Son los bytes sin procesar de la imagen. Es una cadena codificada en Base64.

BLOB

Representación JSON
{ "mimeType": string, "data": string }

Campos
mimeType	string Obligatorio. Es el tipo de MIME estándar de IANA de los datos de origen.
data	string (bytes format) Obligatorio. Son los bytes sin procesar del BLOB. Es una cadena codificada en Base64.

Evento

Representación JSON
{ "event": string }

Campos
event	string Obligatorio. Es el nombre del evento.

AgentTransfer

Representación JSON
{ "targetAgent": string, "displayName": string }

Campos
targetAgent	string Obligatorio. Es el agente al que se transfiere la conversación. El agente se encargará de la conversación a partir de este punto. Formato: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName	string Solo salida. Es el nombre visible del agente.

GoldenExpectation

Representación JSON
{ "note": string, // Union field condition can be only one of the following: "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentResponse": { object (Message) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "mockToolResponse": { object (ToolResponse) } // End of list of possible types for union field condition. }

Campos
note	string Es opcional. Es una nota para este requisito, útil para informar cuando fallan verificaciones específicas. P. ej., "Check_Payment_Tool_Called".
Campo de unión condition. Es la verificación real que se realizará. condition puede ser solo uno de los parámetros siguientes:
toolCall	object (ToolCall) Es opcional. Verifica que se haya llamado a una herramienta específica con los parámetros.
toolResponse	object (ToolResponse) Es opcional. Verifica que una herramienta específica haya tenido la respuesta esperada.
agentResponse	object (Message) Es opcional. Verifica que el agente haya respondido con la respuesta correcta. Se da por sentado el rol de "agente".
agentTransfer	object (AgentTransfer) Es opcional. Comprueba que el agente haya transferido la conversación a otro agente.
updatedVariables	object (Struct format) Es opcional. Verifica que el agente haya actualizado las variables de sesión a los valores esperados. También se usa para capturar actualizaciones de variables del agente para las evaluaciones doradas.
mockToolResponse	object (ToolResponse) Es opcional. Es la respuesta de la herramienta que se simulará, con los parámetros de interés especificados. El LLM alucinará los parámetros que no se especifiquen.

ToolCall

Representación JSON
{ "id": string, "displayName": string, "args": { object }, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Campos
id	string Es opcional. Es el identificador único de la llamada a la herramienta. Si se completa, el cliente debe devolver el resultado de la ejecución con el ID para coincidencias en ToolResponse.
displayName	string Solo salida. Nombre visible de la herramienta.
args	object (Struct format) Es opcional. Son los parámetros y valores de entrada de la herramienta en formato de objeto JSON.
Campo de unión tool_identifier. Es el identificador de la herramienta que se ejecutará. Puede ser una herramienta persistente o una herramienta de un conjunto de herramientas. tool_identifier puede ser solo uno de los parámetros siguientes:
tool	string Es opcional. Es el nombre de la herramienta que se ejecutará. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Es opcional. Es la herramienta del conjunto de herramientas que se ejecutará.

Mensaje

Representación JSON
{ "role": string, "chunks": [ { object (Chunk) } ], "eventTime": string }

Campos
role	string Es opcional. Es el rol dentro de la conversación, p.ej., usuario o agente.
chunks[]	object (Chunk) Es opcional. Es el contenido del mensaje como una serie de fragmentos.
eventTime	string (Timestamp format) Es opcional. Es la marca de tiempo del momento en que se envió o recibió el mensaje. No se debe usar si el mensaje forma parte de un example. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".

Fragmento

Representación JSON

{ // Union field data can be only one of the following: "text": string, "transcript": string, "blob": { object (Blob) }, "payload": { object }, "image": { object (Image) }, "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "defaultVariables": { object } // End of list of possible types for union field data. }

Campos
Campo de unión data. Datos de fragmentos data puede ser solo uno de los parámetros siguientes:
text	string Es opcional. Datos de texto.
transcript	string Es opcional. Es la transcripción asociada al audio.
blob	object (Blob) Es opcional. Son los datos del BLOB.
payload	object (Struct format) Es opcional. Son los datos de carga útil personalizados.
image	object (Image) Es opcional. Son los datos de la imagen.
toolCall	object (ToolCall) Es opcional. Es la solicitud de ejecución de la herramienta.
toolResponse	object (ToolResponse) Es opcional. Es la respuesta de la ejecución de la herramienta.
agentTransfer	object (AgentTransfer) Es opcional. Es el evento de transferencia del agente.
updatedVariables	object (Struct format) Un struct representa las variables que se actualizaron en la conversación, con claves según los nombres de las variables.
defaultVariables	object (Struct format) Un struct representa las variables predeterminadas al comienzo de la conversación, con claves según los nombres de las variables.

Marca de tiempo

Representación JSON
{ "seconds": string, "nanos": integer }

Campos
seconds	string (int64 format) Representa los segundos de la hora UTC desde la época de Unix 1970-01-01T00:00:00Z. Debe estar entre -62135596800 y 253402300799 inclusive (lo que corresponde a 0001-01-01T00:00:00Z y 9999-12-31T23:59:59Z).
nanos	integer Fracciones no negativas de un segundo a una resolución de nanosegundos. Este campo es la parte de la duración en nanosegundos, no una alternativa a los segundos. Los valores de segundos negativos con fracciones deben tener valores nanos no negativos que se cuentan hacia adelante en el tiempo. Debe ser un valor entre 0 y 999,999,999, inclusive.

Intervalo

Representación JSON
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (Span) } ] }

Campos
name	string Solo salida. Es el nombre del intervalo.
startTime	string (Timestamp format) Solo salida. Es la hora de inicio del período. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Solo salida. Es la hora de finalización del período. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
duration	string (Duration format) Solo salida. Es la duración del intervalo. Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".
attributes	object (Struct format) Solo salida. Son los atributos clave-valor asociados con el intervalo.
childSpans[]	object (Span) Solo salida. Son los intervalos secundarios anidados en este intervalo.

Duración

Representación JSON
{ "seconds": string, "nanos": integer }

Campos
seconds	string (int64 format) Son los segundos firmados del período. Debe estar entre -315,576,000,000 y +315,576,000,000, inclusive. Nota: Estos límites se calculan de la siguiente manera: 60 s/min * 60 min/h * 24 h/día * 365.25 días/año * 10,000 años
nanos	integer Fracciones firmadas de un segundo con una resolución de nanosegundos del período. Las duraciones inferiores a un segundo se representan con un campo seconds igual a 0 y un campo nanos positivo o negativo. Para duraciones de un segundo o más, un valor distinto de cero para el campo nanos debe tener el mismo signo que el campo seconds. Debe ser un valor entre -999,999,999 y +999,999,999, inclusive.

Situación

Representación JSON
{ "task": string, "userFacts": [ { object (UserFact) } ], "maxTurns": integer, "rubrics": [ string ], "scenarioExpectations": [ { object (ScenarioExpectation) } ], "variableOverrides": { object }, "taskCompletionBehavior": enum (TaskCompletionBehavior), "userGoalBehavior": enum (UserGoalBehavior), "evaluationExpectations": [ string ] }

Campos
task	string Obligatorio. Es la tarea a la que se orientará el caso de uso.
userFacts[]	object (UserFact) Es opcional. Son los datos del usuario que se usarán en la situación.
maxTurns	integer Es opcional. Es la cantidad máxima de turnos que se simularán. Si no se especifica, la simulación continuará hasta que se complete la tarea.
rubrics[]	string Obligatorio. Son las rúbricas con las que se calificará la situación.
scenarioExpectations[]	object (ScenarioExpectation) Obligatorio. Es el objeto ScenarioExpectations para evaluar la conversación que produce la simulación del usuario.
variableOverrides	object (Struct format) Es opcional. Variables o parámetros de sesión como contexto de la sesión, con claves según los nombres de las variables. Los miembros de esta estructura anularán cualquier valor predeterminado establecido por el sistema. Ten en cuenta que son diferentes de los hechos del usuario, que son hechos que el usuario conoce. Las variables son parámetros que conoce el agente, es decir, el MDN (número de teléfono) que pasa el sistema de telefonía.
taskCompletionBehavior (deprecated)	enum (TaskCompletionBehavior) Este elemento está obsoleto. Es opcional. Obsoleto. En su lugar, usa user_goal_behavior.
userGoalBehavior	enum (UserGoalBehavior) Es opcional. Es el comportamiento esperado del objetivo del usuario.
evaluationExpectations[]	string Es opcional. Son las expectativas de evaluación con las que se evalúa la conversación producida por la simulación. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

UserFact

Representación JSON
{ "name": string, "value": string }

Campos
name	string Obligatorio. Es el nombre del hecho del usuario.
value	string Obligatorio. Es el valor del hecho del usuario.

ScenarioExpectation

Representación JSON
{ // Union field expectation can be only one of the following: "toolExpectation": { object (ToolExpectation) }, "agentResponse": { object (Message) } // End of list of possible types for union field expectation. }

Campos
Campo de unión expectation. Es la expectativa para evaluar la conversación que produce la simulación. expectation puede ser solo uno de los parámetros siguientes:
toolExpectation	object (ToolExpectation) Es opcional. Es el par de llamada a la herramienta y respuesta que se evaluará.
agentResponse	object (Message) Es opcional. Es la respuesta del agente que se evaluará.

ToolExpectation

Representación JSON
{ "expectedToolCall": { object (ToolCall) }, "mockToolResponse": { object (ToolResponse) } }

Campos
expectedToolCall	object (ToolCall) Obligatorio. Es la llamada a la herramienta esperada, con los parámetros de interés especificados. El LLM alucinará los parámetros que no se especifiquen.
mockToolResponse	object (ToolResponse) Obligatorio. Es la respuesta de la herramienta que se simulará, con los parámetros de interés especificados. El LLM alucinará los parámetros que no se especifiquen.

AggregatedMetrics

Representación JSON
{ "metricsByAppVersion": [ { object (MetricsByAppVersion) } ] }

Campos
metricsByAppVersion[]	object (MetricsByAppVersion) Solo salida. Son las métricas agregadas, agrupadas por el ID de versión de la app.

MetricsByAppVersion

Representación JSON

{ "appVersionId": string, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ], "passCount": integer, "failCount": integer, "metricsByTurn": [ { object (MetricsByTurn) } ] }

Campos
appVersionId	string Solo salida. Es el ID de la versión de la app.
toolMetrics[]	object (ToolMetrics) Solo salida. Son las métricas de cada herramienta dentro de esta versión de la app.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) Solo salida. Son las métricas de similitud semántica dentro de esta versión de la app.
hallucinationMetrics[]	object (HallucinationMetrics) Solo salida. Son las métricas de alucinación dentro de esta versión de la app.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) Solo salida. Son las métricas de latencia de la llamada a la herramienta dentro de esta versión de la app.
turnLatencyMetrics[]	object (TurnLatencyMetrics) Solo salida. Son las métricas de latencia de turnos dentro de esta versión de la app.
passCount	integer Solo salida. Es la cantidad de veces que se aprobó la evaluación.
failCount	integer Solo salida. Es la cantidad de veces que falló la evaluación.
metricsByTurn[]	object (MetricsByTurn) Solo salida. Son las métricas agregadas por turno dentro de esta versión de la app.

ToolMetrics

Representación JSON
{ "tool": string, "passCount": integer, "failCount": integer }

Campos
tool	string Solo salida. Es el nombre de la herramienta.
passCount	integer Solo salida. Es la cantidad de veces que la herramienta pasó la prueba.
failCount	integer Solo salida. Es la cantidad de veces que falló la herramienta.

SemanticSimilarityMetrics

Representación JSON
{ "score": number }

Campos
score	number Solo salida. Es la puntuación promedio de similitud semántica (de 0 a 4).

HallucinationMetrics

Representación JSON
{ "score": number }

Campos
score	number Solo salida. Es la puntuación promedio de alucinación (de 0 a 1).

ToolCallLatencyMetrics

Representación JSON
{ "tool": string, "averageLatency": string }

Campos
tool	string Solo salida. Es el nombre de la herramienta.
averageLatency	string (Duration format) Solo salida. Es la latencia promedio de las llamadas a herramientas. Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".

TurnLatencyMetrics

Representación JSON
{ "averageLatency": string }

Campos
averageLatency	string (Duration format) Solo salida. Es la latencia promedio de los turnos. Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".

MetricsByTurn

Representación JSON
{ "turnIndex": integer, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ] }

Campos
turnIndex	integer Solo salida. Índice de turno (basado en 0).
toolMetrics[]	object (ToolMetrics) Solo salida. Son las métricas de cada herramienta en este turno.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) Solo salida. Son las métricas de similitud semántica dentro de este turno.
hallucinationMetrics[]	object (HallucinationMetrics) Solo salida. Son las métricas de alucinación dentro de este turno.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) Solo salida. Son las métricas de latencia de la llamada a la herramienta dentro de este turno.
turnLatencyMetrics[]	object (TurnLatencyMetrics) Solo salida. Son las métricas de latencia del turno dentro de este turno.

EvaluationResult

Representación JSON

{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum (Outcome), "evaluationRun": string, "persona": { object (EvaluationPersona) }, "errorInfo": { object (EvaluationErrorInfo) }, "error": { object (Status) }, "initiatedBy": string, "appVersion": string, "appVersionDisplayName": string, "changelog": string, "changelogCreateTime": string, "executionState": enum (ExecutionState), "evaluationMetricsThresholds": { object (EvaluationMetricsThresholds) }, "config": { object (EvaluationConfig) }, "goldenRunMethod": enum (GoldenRunMethod), // Union field result can be only one of the following: "goldenResult": { object (GoldenResult) }, "scenarioResult": { object (ScenarioResult) } // End of list of possible types for union field result. }

Campos
name	string Es el identificador. Es el identificador único del resultado de la evaluación. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName	string Obligatorio. Es el nombre visible del resultado de la evaluación. Es único dentro de una evaluación. De forma predeterminada, tiene el siguiente formato: " resultado - ".
createTime	string (Timestamp format) Solo salida. Es la marca de tiempo de cuando se creó el resultado de la evaluación. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
evaluationStatus	enum (Outcome) Solo salida. Es el resultado de la evaluación. Solo se propaga si execution_state es COMPLETE.
evaluationRun	string Solo salida. Es la ejecución de la evaluación que produjo este resultado. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona	object (EvaluationPersona) Solo salida. Es el arquetipo que se usó para generar la conversación del resultado de la evaluación.
errorInfo	object (EvaluationErrorInfo) Solo salida. Es la información del error del resultado de la evaluación.
error (deprecated)	object (Status) Este elemento está obsoleto. Solo salida. Obsoleto: Usa error_info en su lugar. Son los errores que se produjeron durante la ejecución.
initiatedBy	string Solo salida. Es el usuario que inició la ejecución de la evaluación que generó este resultado.
appVersion	string Solo salida. Es la versión de la app que se usó para generar la conversación que produjo este resultado. Formato: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName	string Solo salida. Es el nombre visible del app_version con el que se ejecutó la evaluación.
changelog	string Solo salida. Registro de cambios de la versión de la app con la que se ejecutó la evaluación. Se completa si el usuario ejecuta la evaluación en la versión más reciente o en el borrador.
changelogCreateTime	string (Timestamp format) Solo salida. Es la fecha y hora de creación del registro de cambios de la versión de la app con la que se ejecutó la evaluación. Se completa si el usuario ejecuta la evaluación en la versión más reciente o en el borrador. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
executionState	enum (ExecutionState) Solo salida. Es el estado de la ejecución del resultado de la evaluación.
evaluationMetricsThresholds	object (EvaluationMetricsThresholds) Solo salida. Son los umbrales de evaluación del resultado.
config	object (EvaluationConfig) Solo salida. Es la configuración que se usó en la ejecución de la evaluación que generó este resultado.
goldenRunMethod	enum (GoldenRunMethod) Solo salida. Es el método que se usa para ejecutar la evaluación de referencia.
Campo de unión result. Es el resultado de la evaluación. Solo se propaga cuando execution_state es COMPLETED. result puede ser solo uno de los parámetros siguientes:
goldenResult	object (GoldenResult) Solo salida. Es el resultado de una evaluación de datos de referencia.
scenarioResult	object (ScenarioResult) Solo salida. Es el resultado de la evaluación de un caso.

GoldenResult

Representación JSON
{ "turnReplayResults": [ { object (TurnReplayResult) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ] }

Campos
turnReplayResults[]	object (TurnReplayResult) Solo salida. Es el resultado de ejecutar cada turno de la conversación de referencia.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Solo salida. Son los resultados esperados de la evaluación.

TurnReplayResult

Representación JSON

{ "conversation": string, "expectationOutcome": [ { object (GoldenExpectationOutcome) } ], "hallucinationResult": { object (HallucinationResult) }, "toolInvocationScore": number, "turnLatency": string, "toolCallLatencies": [ { object (ToolCallLatency) } ], "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "overallToolInvocationResult": { object (OverallToolInvocationResult) }, "errorInfo": { object (EvaluationErrorInfo) }, "spanLatencies": [ { object (SpanLatency) } ], // Union field _tool_ordered_invocation_score can be only one of the following: "toolOrderedInvocationScore": number // End of list of possible types for union field // _tool_ordered_invocation_score. }

Campos
conversation	string Solo salida. Es la conversación que se generó para este turno.
expectationOutcome[]	object (GoldenExpectationOutcome) Solo salida. Es el resultado de cada expectativa.
hallucinationResult	object (HallucinationResult) Solo salida. Es el resultado de la verificación de alucinaciones.
toolInvocationScore (deprecated)	number Este elemento está obsoleto. Solo salida. Obsoleto. En su lugar, usa OverallToolInvocationResult.
turnLatency	string (Duration format) Solo salida. Es la duración del turno. Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".
toolCallLatencies[]	object (ToolCallLatency) Solo salida. Es la latencia de cada llamada a herramienta en el turno.
semanticSimilarityResult	object (SemanticSimilarityResult) Solo salida. Es el resultado de la verificación de similitud semántica.
overallToolInvocationResult	object (OverallToolInvocationResult) Solo salida. Es el resultado de la verificación general de la invocación de la herramienta.
errorInfo	object (EvaluationErrorInfo) Solo salida. Es información sobre el error que ocurrió durante este turno.
spanLatencies[]	object (SpanLatency) Solo salida. Es la latencia de los intervalos en el turno.
Campo de unión _tool_ordered_invocation_score. _tool_ordered_invocation_score puede ser una de las siguientes opciones:
toolOrderedInvocationScore	number Solo salida. Es la puntuación general de invocación ordenada de la herramienta para este turno. Indica el porcentaje general de herramientas del turno esperado que se invocaron realmente en el orden esperado.

GoldenExpectationOutcome

Representación JSON

{ "expectation": { object (GoldenExpectation) }, "outcome": enum (Outcome), "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "toolInvocationResult": { object (ToolInvocationResult) }, // Union field result can be only one of the following: "observedToolCall": { object (ToolCall) }, "observedToolResponse": { object (ToolResponse) }, "observedAgentResponse": { object (Message) }, "observedAgentTransfer": { object (AgentTransfer) } // End of list of possible types for union field result. }

Campos
expectation	object (GoldenExpectation) Solo salida. Es la expectativa que se evaluó.
outcome	enum (Outcome) Solo salida. Es el resultado de la expectativa.
semanticSimilarityResult (deprecated)	object (SemanticSimilarityResult) Este elemento está obsoleto. Solo salida. Es el resultado de la verificación de similitud semántica.
toolInvocationResult	object (ToolInvocationResult) Solo salida. Es el resultado de la verificación de la invocación de la herramienta.
Campo de unión result. Es el resultado de la expectativa. result puede ser solo uno de los parámetros siguientes:
observedToolCall	object (ToolCall) Solo salida. Es el resultado de la expectativa de llamada a herramienta.
observedToolResponse	object (ToolResponse) Solo salida. Es el resultado de la expectativa de respuesta de la herramienta.
observedAgentResponse	object (Message) Solo salida. Es el resultado de la expectativa de respuesta del agente.
observedAgentTransfer	object (AgentTransfer) Solo salida. Es el resultado de la expectativa de transferencia del agente.

SemanticSimilarityResult

Representación JSON
{ "label": string, "explanation": string, "outcome": enum (Outcome), // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Campos
label	string Solo salida. Es la etiqueta asociada a cada puntuación. Puntuación 4: Completamente coherente Puntuación 3: Mayormente coherente Puntuación 2: Parcialmente coherente (omisiones menores) Puntuación 1: Mayormente incoherente (omisiones importantes) Puntuación 0: Completamente incoherente o contradictorio
explanation	string Solo salida. Es la explicación de la puntuación de similitud semántica.
outcome	enum (Outcome) Solo salida. Es el resultado de la verificación de similitud semántica. Esto se determina comparando la puntuación con semantic_similarity_success_threshold. Si la puntuación es igual o superior al umbral, el resultado será APROBADO. De lo contrario, el resultado será FAIL.
Campo de unión _score. _score puede ser una de las siguientes opciones:
score	integer Solo salida. Es la puntuación de similitud semántica. Puede ser 0, 1, 2, 3 o 4.

ToolInvocationResult

Representación JSON
{ "outcome": enum (Outcome), "explanation": string, // Union field _parameter_correctness_score can be only one of the following: "parameterCorrectnessScore": number // End of list of possible types for union field _parameter_correctness_score. }

Campos
outcome	enum (Outcome) Solo salida. Es el resultado de la verificación de la invocación de la herramienta. Esto se determina comparando el parámetro parameter_correctness_score con el umbral. Si la puntuación es igual o superior al umbral, el resultado será APROBADO. De lo contrario, el resultado será FAIL.
explanation	string Solo salida. Es una explicación de texto libre sobre el resultado de la invocación de la herramienta.
Campo de unión _parameter_correctness_score. _parameter_correctness_score puede ser una de las siguientes opciones:
parameterCorrectnessScore	number Solo salida. Es la puntuación de corrección del parámetro de invocación de la herramienta. Indica el porcentaje de parámetros de la llamada a la herramienta esperada que también estuvieron presentes en la llamada a la herramienta real.

HallucinationResult

Representación JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Campos
label	string Solo salida. Es la etiqueta asociada a cada puntuación. Puntuación 1: Puntuación justificada 0: Puntuación no justificada -1: No hay reclamo para evaluar
explanation	string Solo salida. Es la explicación de la puntuación de alucinación.
Campo de unión _score. _score puede ser una de las siguientes opciones:
score	integer Solo salida. Es la puntuación de alucinación. Puede ser -1, 0 o 1.

ToolCallLatency

Representación JSON
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

Campos
tool	string Solo salida. Es el nombre de la herramienta que se ejecutó. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName	string Solo salida. Es el nombre visible de la herramienta.
startTime	string (Timestamp format) Solo salida. Es la hora de inicio de la ejecución de la llamada a la herramienta. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Solo salida. Es la hora de finalización de la ejecución de la llamada a la herramienta. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) Solo salida. Es la latencia de la ejecución de la llamada a la herramienta. Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".

OverallToolInvocationResult

Representación JSON
{ "outcome": enum (Outcome), // Union field _tool_invocation_score can be only one of the following: "toolInvocationScore": number // End of list of possible types for union field _tool_invocation_score. }

Campos
outcome	enum (Outcome) Solo salida. Es el resultado de la verificación de la invocación de la herramienta. Esto se determina comparando tool_invocation_score con overall_tool_invocation_correctness_threshold. Si la puntuación es igual o superior al umbral, el resultado será APROBADO. De lo contrario, el resultado será FAIL.
Campo de unión _tool_invocation_score. _tool_invocation_score puede ser una de las siguientes opciones:
toolInvocationScore	number Es la puntuación general de invocación de la herramienta para este turno. Indica el porcentaje general de herramientas del turno esperado que se invocaron realmente.

EvaluationErrorInfo

Representación JSON
{ "errorType": enum (ErrorType), "errorMessage": string, "sessionId": string }

Campos
errorType	enum (ErrorType) Solo salida. Es el tipo de error.
errorMessage	string Solo salida. Mensaje de error.
sessionId	string Solo salida. Es el ID de la sesión de la conversación que causó el error.

SpanLatency

Representación JSON
{ "type": enum (Type), "displayName": string, "startTime": string, "endTime": string, "executionLatency": string, // Union field identifier can be only one of the following: "resource": string, "toolset": { object (ToolsetTool) }, "model": string, "callback": string // End of list of possible types for union field identifier. }

Campos
type	enum (Type) Solo salida. Es el tipo de intervalo.
displayName	string Solo salida. Es el nombre visible del intervalo. Se aplica a los tramos de herramientas y protecciones.
startTime	string (Timestamp format) Solo salida. Es la hora de inicio del período. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Solo salida. Es la hora de finalización del período. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) Solo salida. Es la latencia del intervalo. Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".
Campo de unión identifier. Es el identificador del elemento específico según su tipo. identifier puede ser solo uno de los parámetros siguientes:
resource	string Solo salida. Es el nombre del recurso de los tramos de la herramienta o la protección.
toolset	object (ToolsetTool) Solo salida. Es el identificador de la herramienta del conjunto de herramientas.
model	string Solo salida. Es el nombre del intervalo del LLM.
callback	string Solo salida. Es el nombre del intervalo de devolución de llamada del usuario.

EvaluationExpectationResult

Representación JSON
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (Outcome), "explanation": string }

Campos
evaluationExpectation	string Solo salida. Es la expectativa de evaluación. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt	string Solo salida. Es la instrucción que se usó para la evaluación.
outcome	enum (Outcome) Solo salida. Es el resultado esperado de la evaluación.
explanation	string Solo salida. Es la explicación del resultado.

ScenarioResult

Representación JSON

{ "conversation": string, "task": string, "userFacts": [ { object (UserFact) } ], "expectationOutcomes": [ { object (ScenarioExpectationOutcome) } ], "rubricOutcomes": [ { object (ScenarioRubricOutcome) } ], "hallucinationResult": [ { object (HallucinationResult) } ], "taskCompletionResult": { object (TaskCompletionResult) }, "toolCallLatencies": [ { object (ToolCallLatency) } ], "userGoalSatisfactionResult": { object (UserGoalSatisfactionResult) }, "spanLatencies": [ { object (SpanLatency) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ], // Union field _all_expectations_satisfied can be only one of the following: "allExpectationsSatisfied": boolean // End of list of possible types for union field _all_expectations_satisfied. // Union field _task_completed can be only one of the following: "taskCompleted": boolean // End of list of possible types for union field _task_completed. }

Campos
conversation	string Solo salida. Es la conversación que se generó en la situación.
task	string Solo salida. Es la tarea que se usó cuando se ejecutó la situación para este resultado.
userFacts[]	object (UserFact) Solo salida. Son los datos del usuario que el escenario usó para este resultado.
expectationOutcomes[]	object (ScenarioExpectationOutcome) Solo salida. Es el resultado de cada expectativa.
rubricOutcomes[]	object (ScenarioRubricOutcome) Solo salida. Es el resultado de la rúbrica.
hallucinationResult[]	object (HallucinationResult) Solo salida. Es el resultado de la verificación de alucinaciones. Habrá un resultado de alucinación por cada turno de la conversación.
taskCompletionResult (deprecated)	object (TaskCompletionResult) Este elemento está obsoleto. Solo salida. Es el resultado de la verificación de finalización de la tarea.
toolCallLatencies[]	object (ToolCallLatency) Solo salida. Es la latencia de cada ejecución de llamada a herramienta en la conversación.
userGoalSatisfactionResult	object (UserGoalSatisfactionResult) Solo salida. Es el resultado de la verificación de satisfacción del objetivo del usuario.
spanLatencies[]	object (SpanLatency) Solo salida. Es la latencia de los tramos en la conversación.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Solo salida. Son los resultados de las expectativas de evaluación.
Campo de unión _all_expectations_satisfied. _all_expectations_satisfied puede ser una de las siguientes opciones:
allExpectationsSatisfied	boolean Solo salida. Indica si se cumplieron todas las expectativas para este turno.
Campo de unión _task_completed. _task_completed puede ser una de las siguientes opciones:
taskCompleted	boolean Solo salida. Indica si la tarea se completó en este turno. Es una combinación de todas las expectativas satisfechas, la ausencia de alucinaciones y la satisfacción del objetivo del usuario.

ScenarioExpectationOutcome

Representación JSON
{ "expectation": { object (ScenarioExpectation) }, "outcome": enum (Outcome), // Union field result can be only one of the following: "observedToolCall": { object (ObservedToolCall) }, "observedAgentResponse": { object (Message) } // End of list of possible types for union field result. }

Campos
expectation	object (ScenarioExpectation) Solo salida. Es la expectativa que se evaluó.
outcome	enum (Outcome) Solo salida. Es el resultado de ScenarioExpectation.
Campo de unión result. Es el resultado de la expectativa. result puede ser solo uno de los parámetros siguientes:
observedToolCall	object (ObservedToolCall) Solo salida. Es la llamada a la herramienta observada.
observedAgentResponse	object (Message) Solo salida. Es la respuesta observada del agente.

ObservedToolCall

Representación JSON
{ "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) } }

Campos
toolCall	object (ToolCall) Solo salida. Es la llamada a la herramienta observada.
toolResponse	object (ToolResponse) Solo salida. Es la respuesta observada de la herramienta.

ScenarioRubricOutcome

Representación JSON
{ "rubric": string, "scoreExplanation": string, // Union field _score can be only one of the following: "score": number // End of list of possible types for union field _score. }

Campos
rubric	string Solo salida. Es la rúbrica que se usó para evaluar la conversación.
scoreExplanation	string Solo salida. Es la respuesta del evaluador a la rúbrica.
Campo de unión _score. _score puede ser una de las siguientes opciones:
score	number Solo salida. Es la puntuación de la conversación según la rúbrica.

TaskCompletionResult

Representación JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Campos
label	string Solo salida. Es la etiqueta asociada a cada puntuación. Puntuación 1: Tarea completada Puntuación 0: Tarea no completada Puntuación -1: Objetivo del usuario no definido
explanation	string Solo salida. Es la explicación de la puntuación de finalización de la tarea.
Campo de unión _score. _score puede ser una de las siguientes opciones:
score	integer Solo salida. Es la puntuación de finalización de la tarea. Puede ser -1, 0 o 1.

UserGoalSatisfactionResult

Representación JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Campos
label	string Solo salida. Es la etiqueta asociada a cada puntuación. Puntuación 1: Tarea del usuario satisfecha. Puntuación 0: Tarea del usuario no satisfecha. Puntuación -1: Tarea del usuario no especificada.
explanation	string Solo salida. Es la explicación de la puntuación de satisfacción de la tarea del usuario.
Campo de unión _score. _score puede ser una de las siguientes opciones:
score	integer Solo salida. Es la puntuación de satisfacción con la tarea del usuario. Puede ser -1, 0 o 1.

EvaluationPersona

Representación JSON
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (SpeechConfig) } }

Campos
name	string Obligatorio. Es el identificador único del arquetipo. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description	string Es opcional. Es la descripción del arquetipo.
displayName	string Obligatorio. Es el nombre visible del arquetipo. Es único dentro de una app.
personality	string Obligatorio. Es una instrucción para el agente sobre cómo comportarse en la evaluación.
speechConfig	object (SpeechConfig) Es opcional. Es la configuración de cómo suena la persona (parámetros de configuración de TTS).

SpeechConfig

Representación JSON
{ "speakingRate": number, "environment": enum (BackgroundEnvironment), "voiceId": string }

Campos
speakingRate	number Es opcional. Es la velocidad de habla. 1.0 es normal. Cuanto más bajo, más lento (p.ej., 0.8), cuanto más alto sea el valor, más rápido será (p.ej., 1.5). Es útil para probar cómo el agente maneja a las personas que hablan rápido.
environment	enum (BackgroundEnvironment) Es opcional. Es el entorno de audio simulado.
voiceId	string Es opcional. Es el identificador o acento de voz específico que se usará. Ejemplo: "es-MX-Wavenet-D" o "es-ES-Standard-A"

Estado

Representación JSON
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

Campos
code	integer El código de estado, que debe ser un valor enum de google.rpc.Code.
message	string Un mensaje de error dirigido al desarrollador, que debe estar en inglés. Cualquier mensaje de error dirigido al usuario debe localizarse y enviarse al campo google.rpc.Status.details; o el cliente debe localizarlo.
details[]	object Una lista de mensajes que contienen los detalles del error. Hay un conjunto común de tipos de mensajes para que usen las API. Un objeto que contiene campos de un tipo arbitrario. Un campo adicional "@type" contiene una URI que identifica el tipo. Ejemplo: { "id": 1234, "@type": "types.example.com/standard/id" }.

Cualquiera

Representación JSON
{ "typeUrl": string, "value": string }

Campos
typeUrl	string Identifica el tipo del mensaje serializado de Protobuf con una referencia de URI que consta de un prefijo que termina en una barra y el nombre del tipo completamente calificado. Ejemplo: type.googleapis.com/google.protobuf.StringValue Esta cadena debe contener al menos un carácter /, y el contenido después del último / debe ser el nombre completamente calificado del tipo en formato canónico, sin un punto inicial. No escribas un esquema en estas referencias de URI para que los clientes no intenten comunicarse con ellas. El prefijo es arbitrario, y se espera que las implementaciones de Protobuf simplemente quiten todo hasta el último / inclusive para identificar el tipo. type.googleapis.com/ es un prefijo predeterminado común que requieren algunas implementaciones heredadas. Este prefijo no indica el origen del tipo, y no se espera que los URIs que lo contienen respondan a ninguna solicitud. Todas las cadenas de URL de tipo deben ser referencias URI legales con la restricción adicional (para el formato de texto) de que el contenido de la referencia solo debe constar de caracteres alfanuméricos, escapes codificados como porcentaje y caracteres del siguiente conjunto (sin incluir las comillas invertidas externas): /-.~_!$&()*+,;=. A pesar de que permitimos la codificación de porcentaje, las implementaciones no deben decodificarlas para evitar confusiones con los analizadores existentes. Por ejemplo, se debe rechazar type.googleapis.com%2FFoo. En el diseño original de Any, se consideró la posibilidad de lanzar un servicio de resolución de tipos en estas URLs de tipos, pero Protobuf nunca implementó uno y considera que contactar estas URLs es problemático y un posible problema de seguridad. No intentes comunicarte con URLs de tipo.
value	string (bytes format) Contiene una serialización de Protobuf del tipo que describe type_url. Es una cadena codificada en Base64.

EvaluationMetricsThresholds

Representación JSON
{ "goldenEvaluationMetricsThresholds": { object (GoldenEvaluationMetricsThresholds) }, "hallucinationMetricBehavior": enum (HallucinationMetricBehavior), "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior), "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior) }

Campos
goldenEvaluationMetricsThresholds	object (GoldenEvaluationMetricsThresholds) Es opcional. Son los umbrales de las métricas de evaluación de referencia.
hallucinationMetricBehavior (deprecated)	enum (HallucinationMetricBehavior) Este elemento está obsoleto. Es opcional. Obsoleto: Usa golden_hallucination_metric_behavior en su lugar. Actualmente, el comportamiento de la métrica de alucinación se usa para las evaluaciones de referencia.
goldenHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Es opcional. Es el comportamiento de la métrica de alucinación para las evaluaciones de referencia.
scenarioHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Es opcional. Es el comportamiento de la métrica de alucinación para las evaluaciones de situaciones.

GoldenEvaluationMetricsThresholds

Representación JSON
{ "turnLevelMetricsThresholds": { object (TurnLevelMetricsThresholds) }, "expectationLevelMetricsThresholds": { object (ExpectationLevelMetricsThresholds) }, "toolMatchingSettings": { object (ToolMatchingSettings) } }

Campos
turnLevelMetricsThresholds	object (TurnLevelMetricsThresholds) Es opcional. Son los umbrales de las métricas a nivel del turno.
expectationLevelMetricsThresholds	object (ExpectationLevelMetricsThresholds) Es opcional. Son los umbrales de las métricas del nivel de expectativa.
toolMatchingSettings	object (ToolMatchingSettings) Es opcional. Es la configuración de la herramienta de correlación. Una llamada a herramienta adicional es una llamada a herramienta que está presente en la ejecución, pero no coincide con ninguna llamada a herramienta en la expectativa ideal.

TurnLevelMetricsThresholds

Representación JSON

{ "semanticSimilarityChannel": enum (SemanticSimilarityChannel), // Union field _semantic_similarity_success_threshold can be only one of the // following: "semanticSimilaritySuccessThreshold": integer // End of list of possible types for union field // _semantic_similarity_success_threshold. // Union field _overall_tool_invocation_correctness_threshold can be only one // of the following: "overallToolInvocationCorrectnessThreshold": number // End of list of possible types for union field // _overall_tool_invocation_correctness_threshold. }

Campos
semanticSimilarityChannel	enum (SemanticSimilarityChannel) Es opcional. Es el canal de similitud semántica que se usará para la evaluación.
Campo de unión _semantic_similarity_success_threshold. _semantic_similarity_success_threshold puede ser una de las siguientes opciones:
semanticSimilaritySuccessThreshold	integer Es opcional. Es el umbral de éxito para la similitud semántica. Debe ser un número entero entre 0 y 4. El valor predeterminado es >= 3.
Campo de unión _overall_tool_invocation_correctness_threshold. _overall_tool_invocation_correctness_threshold puede ser una de las siguientes opciones:
overallToolInvocationCorrectnessThreshold	number Es opcional. Es el umbral de éxito para la corrección general de la invocación de la herramienta. Debe ser un número de punto flotante entre 0 y 1. El valor predeterminado es 1.0.

ExpectationLevelMetricsThresholds

Representación JSON
{ // Union field _tool_invocation_parameter_correctness_threshold can be only one // of the following: "toolInvocationParameterCorrectnessThreshold": number // End of list of possible types for union field // _tool_invocation_parameter_correctness_threshold. }

Campos
Campo de unión _tool_invocation_parameter_correctness_threshold. _tool_invocation_parameter_correctness_threshold puede ser una de las siguientes opciones:
toolInvocationParameterCorrectnessThreshold	number Es opcional. Es el umbral de éxito para la corrección de parámetros de invocación de herramientas individuales. Debe ser un número de punto flotante entre 0 y 1. El valor predeterminado es 1.0.

ToolMatchingSettings

Representación JSON
{ "extraToolCallBehavior": enum (ExtraToolCallBehavior) }

Campos
extraToolCallBehavior	enum (ExtraToolCallBehavior) Es opcional. Comportamiento para las llamadas a herramientas adicionales. La configuración predeterminada es FAIL.

EvaluationConfig

Representación JSON
{ "inputAudioConfig": { object (InputAudioConfig) }, "outputAudioConfig": { object (OutputAudioConfig) }, "evaluationChannel": enum (EvaluationChannel), "toolCallBehaviour": enum (EvaluationToolCallBehaviour) }

Campos
inputAudioConfig (deprecated)	object (InputAudioConfig) Este elemento está obsoleto. Es opcional. Es la configuración para procesar el audio de entrada.
outputAudioConfig (deprecated)	object (OutputAudioConfig) Este elemento está obsoleto. Es opcional. Es la configuración para generar el audio de salida.
evaluationChannel	enum (EvaluationChannel) Es opcional. Es el canal que se evaluará.
toolCallBehaviour	enum (EvaluationToolCallBehaviour) Es opcional. Especifica si la evaluación debe usar llamadas a herramientas reales o herramientas simuladas.

InputAudioConfig

Representación JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

Campos
audioEncoding	enum (AudioEncoding) Obligatorio. Es la codificación de los datos de audio de entrada.
sampleRateHertz	integer Obligatorio. Es la tasa de muestreo (en hercios) de los datos de audio de entrada.
noiseSuppressionLevel	string Es opcional. Indica si se debe habilitar la supresión de ruido en el audio de entrada. Los valores disponibles son "low", "moderate", "high" y "very_high".

OutputAudioConfig

Representación JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer }

Campos
audioEncoding	enum (AudioEncoding) Obligatorio. Es la codificación de los datos de audio de salida.
sampleRateHertz	integer Obligatorio. Es la tasa de muestreo (en hercios) de los datos de audio de salida.

Anotaciones de herramientas

Pista destructiva: ❌ | Pista idempotente: ❌ | Pista de solo lectura: ❌ | Pista de mundo abierto: ❌