MCP Tools Reference: ces.googleapis.com

Herramienta: get_evaluation_run

Obtiene detalles de la ejecución de evaluación especificada.

En el siguiente ejemplo, se muestra cómo usar curl para invocar la herramienta de MCP get_evaluation_run.

Solicitud de Curl 
                  
curl --location 'https://ces.[REGION].rep.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "get_evaluation_run",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

Esquema de entrada

Mensaje de solicitud para EvaluationService.GetEvaluationRun.

GetEvaluationRunRequest

Representación JSON 
{
  "name": string
}
Campos
name

string

Obligatorio. Es el nombre del recurso de la ejecución de la evaluación que se recuperará.

Esquema de salida

Una ejecución de evaluación representa todos los resultados de evaluación de una ejecución de evaluación.

EvaluationRun

Representación JSON 
{
  "name": string,
  "displayName": string,
  "evaluationResults": [
    string
  ],
  "createTime": string,
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "evaluations": [
    string
  ],
  "evaluationDataset": string,
  "evaluationType": enum (EvaluationType),
  "state": enum (EvaluationRunState),
  "progress": {
    object (Progress)
  },
  "config": {
    object (EvaluationConfig)
  },
  "error": {
    object (Status)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "evaluationRunSummaries": {
    string: {
      object (EvaluationRunSummary)
    },
    ...
  },
  "latencyReport": {
    object (LatencyReport)
  },
  "runCount": integer,
  "personaRunConfigs": [
    {
      object (PersonaRunConfig)
    }
  ],
  "optimizationConfig": {
    object (OptimizationConfig)
  },
  "scheduledEvaluationRun": string,
  "goldenRunMethod": enum (GoldenRunMethod)
}
Campos
name

string

Es el identificador. Es el identificador único de la ejecución de la evaluación. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
displayName

string

Es opcional. Nombre visible definido por el usuario de la ejecución de la evaluación. El valor predeterminado es " run - ".
evaluationResults[]

string

Solo salida. Son los resultados de la evaluación que forman parte de esta ejecución. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
createTime

string (Timestamp format)

Solo salida. Es la marca de tiempo de cuando se creó la ejecución de la evaluación.

Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
initiatedBy

string

Solo salida. Es el usuario que inició la ejecución de la evaluación.
appVersion

string

Solo salida. Es la versión de la app que se evaluará. Formato: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Solo salida. Es el nombre visible del app_version con el que se ejecutó la evaluación.
changelog

string

Solo salida. Registro de cambios de la versión de la app con la que se ejecutó la evaluación. Se completa si el usuario ejecuta la evaluación en la versión más reciente o en el borrador.
changelogCreateTime

string (Timestamp format)

Solo salida. Es la fecha y hora de creación del registro de cambios de la versión de la app con la que se ejecutó la evaluación. Se completa si el usuario ejecuta la evaluación en la versión más reciente o en el borrador.

Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
evaluations[]

string

Solo salida. Son las evaluaciones que forman parte de esta ejecución. La lista puede contener evaluaciones de cualquiera de los dos tipos. Este campo es mutuamente exclusivo con evaluation_dataset. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
evaluationDataset

string

Solo salida. Es el conjunto de datos de evaluación con el que se asocia esta ejecución. Este campo es mutuamente exclusivo con evaluations. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
evaluationType

enum (EvaluationType)

Solo salida. Es el tipo de evaluaciones de esta ejecución.
state

enum (EvaluationRunState)

Solo salida. Es el estado de la ejecución de la evaluación.
progress

object (Progress)

Solo salida. Es el progreso de la ejecución de la evaluación.
config

object (EvaluationConfig)

Solo salida. Es la configuración que se usó en la ejecución.
error
(deprecated)

object (Status)

Solo salida. Obsoleto: Usa error_info en su lugar. Son los errores que se produjeron durante la ejecución.
errorInfo

object (EvaluationErrorInfo)

Solo salida. Es la información del error de la ejecución de la evaluación.
evaluationRunSummaries

map (key: string, value: object (EvaluationRunSummary))

Solo salida. Es un mapa del nombre de la evaluación al objeto EvaluationRunSummary.

Un objeto que contiene una lista de pares "key": value. Ejemplo: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
latencyReport

object (LatencyReport)

Solo salida. Es el informe de latencia de la ejecución de la evaluación.
runCount

integer

Solo salida. Es la cantidad de veces que se ejecutaron las evaluaciones dentro de la ejecución.
personaRunConfigs[]

object (PersonaRunConfig)

Solo salida. Es la configuración que se usará para la ejecución por arquetipo.
optimizationConfig

object (OptimizationConfig)

Es opcional. Es la configuración para ejecutar el paso de optimización después de la ejecución de la evaluación. Si no se configura, no se ejecutará el paso de optimización.
scheduledEvaluationRun

string

Solo salida. Es el nombre del recurso de la ejecución de evaluación programada que creó esta ejecución de evaluación. Este campo solo se configura si la ejecución de la evaluación se creó a partir de una ejecución de evaluación programada. Formato: projects/{project}/locations/{location}/apps/{app}/scheduledEvaluationRuns/{scheduled_evaluation_run}
goldenRunMethod

enum (GoldenRunMethod)

Solo salida. Es el método que se usa para ejecutar la evaluación.

Marca de tiempo

Representación JSON 
{
  "seconds": string,
  "nanos": integer
}
Campos
seconds

string (int64 format)

Representa los segundos de la hora UTC desde la época de Unix 1970-01-01T00:00:00Z. Debe estar entre -62135596800 y 253402300799 inclusive (lo que corresponde a 0001-01-01T00:00:00Z y 9999-12-31T23:59:59Z).
nanos

integer

Fracciones no negativas de un segundo a una resolución de nanosegundos. Este campo es la parte de la duración en nanosegundos, no una alternativa a los segundos. Los valores de segundos negativos con fracciones deben tener valores nanos no negativos que se cuentan hacia adelante en el tiempo. Debe ser un valor entre 0 y 999,999,999, inclusive.

Progreso

Representación JSON 
{
  "totalCount": integer,
  "failedCount": integer,
  "errorCount": integer,
  "completedCount": integer,
  "passedCount": integer
}
Campos
totalCount

integer

Solo salida. Es la cantidad total de resultados de la evaluación en esta ejecución.
failedCount

integer

Solo salida. Es la cantidad de resultados de evaluación completados con un resultado de FALLA. (EvaluationResult.execution_state es COMPLETED y EvaluationResult.evaluation_status es FAIL).
errorCount

integer

Solo salida. Es la cantidad de resultados de la evaluación que no se pudieron ejecutar. (EvaluationResult.execution_state es ERROR).
completedCount

integer

Solo salida. Es la cantidad de resultados de la evaluación que finalizaron correctamente. (EvaluationResult.execution_state es COMPLETED).
passedCount

integer

Solo salida. Cantidad de resultados de evaluación completados con el resultado APROBADO. (EvaluationResult.execution_state es COMPLETED y EvaluationResult.evaluation_status es PASS).

EvaluationConfig

Representación JSON 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Campos
inputAudioConfig
(deprecated)

object (InputAudioConfig)

Es opcional. Es la configuración para procesar el audio de entrada.
outputAudioConfig
(deprecated)

object (OutputAudioConfig)

Es opcional. Es la configuración para generar el audio de salida.
evaluationChannel

enum (EvaluationChannel)

Es opcional. Es el canal que se evaluará.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Es opcional. Especifica si la evaluación debe usar llamadas a herramientas reales o herramientas simuladas.

InputAudioConfig

Representación JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Campos
audioEncoding

enum (AudioEncoding)

Obligatorio. Es la codificación de los datos de audio de entrada.
sampleRateHertz

integer

Obligatorio. Es la tasa de muestreo (en hercios) de los datos de audio de entrada.
noiseSuppressionLevel

string

Es opcional. Indica si se debe habilitar la supresión de ruido en el audio de entrada. Los valores disponibles son "low", "moderate", "high" y "very_high".

OutputAudioConfig

Representación JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Campos
audioEncoding

enum (AudioEncoding)

Obligatorio. Es la codificación de los datos de audio de salida.
sampleRateHertz

integer

Obligatorio. Es la tasa de muestreo (en hercios) de los datos de audio de salida.

Estado

Representación JSON 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Campos
code

integer

El código de estado, que debe ser un valor enum de google.rpc.Code.
message

string

Un mensaje de error dirigido al desarrollador, que debe estar en inglés. Cualquier mensaje de error dirigido al usuario debe localizarse y enviarse al campo google.rpc.Status.details; o el cliente debe localizarlo.
details[]

object

Una lista de mensajes que contienen los detalles del error. Hay un conjunto común de tipos de mensajes para que usen las API.

Un objeto que contiene campos de un tipo arbitrario. Un campo adicional "@type" contiene una URI que identifica el tipo. Ejemplo: { "id": 1234, "@type": "types.example.com/standard/id" }.

Cualquiera

Representación JSON 
{
  "typeUrl": string,
  "value": string
}
Campos
typeUrl

string

Identifica el tipo del mensaje serializado de Protobuf con una referencia de URI que consta de un prefijo que termina en una barra y el nombre del tipo completamente calificado.

Ejemplo: type.googleapis.com/google.protobuf.StringValue

Esta cadena debe contener al menos un carácter /, y el contenido después del último / debe ser el nombre completamente calificado del tipo en formato canónico, sin un punto inicial. No escribas un esquema en estas referencias de URI para que los clientes no intenten comunicarse con ellas.

El prefijo es arbitrario, y se espera que las implementaciones de Protobuf simplemente quiten todo hasta el último / inclusive para identificar el tipo. type.googleapis.com/ es un prefijo predeterminado común que requieren algunas implementaciones heredadas. Este prefijo no indica el origen del tipo, y no se espera que los URIs que lo contienen respondan a ninguna solicitud.

Todas las cadenas de URL de tipo deben ser referencias URI legales con la restricción adicional (para el formato de texto) de que el contenido de la referencia solo debe constar de caracteres alfanuméricos, escapes codificados como porcentaje y caracteres del siguiente conjunto (sin incluir las comillas invertidas externas): /-.~_!$&()*+,;=. A pesar de que permitimos la codificación de porcentaje, las implementaciones no deben decodificarlas para evitar confusiones con los analizadores existentes. Por ejemplo, se debe rechazar type.googleapis.com%2FFoo.

En el diseño original de Any, se consideró la posibilidad de lanzar un servicio de resolución de tipos en estas URLs de tipos, pero Protobuf nunca implementó uno y considera que contactar estas URLs es problemático y un posible problema de seguridad. No intentes comunicarte con URLs de tipo.
value

string (bytes format)

Contiene una serialización de Protobuf del tipo que describe type_url.

Es una cadena codificada en Base64.

EvaluationErrorInfo

Representación JSON 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string
}
Campos
errorType

enum (ErrorType)

Solo salida. Es el tipo de error.
errorMessage

string

Solo salida. Mensaje de error.
sessionId

string

Solo salida. Es el ID de la sesión de la conversación que causó el error.

EvaluationRunSummariesEntry

Representación JSON 
{
  "key": string,
  "value": {
    object (EvaluationRunSummary)
  }
}
Campos
key

string
value

object (EvaluationRunSummary)

EvaluationRunSummary

Representación JSON 
{
  "passedCount": integer,
  "failedCount": integer,
  "errorCount": integer
}
Campos
passedCount

integer

Solo salida. Es la cantidad de resultados aprobados para la evaluación asociada en esta ejecución.
failedCount

integer

Solo salida. Es la cantidad de resultados fallidos para la evaluación asociada en esta ejecución.
errorCount

integer

Solo salida. Es la cantidad de resultados de error para la evaluación asociada en esta ejecución.

LatencyReport

Representación JSON 
{
  "toolLatencies": [
    {
      object (ToolLatency)
    }
  ],
  "callbackLatencies": [
    {
      object (CallbackLatency)
    }
  ],
  "guardrailLatencies": [
    {
      object (GuardrailLatency)
    }
  ],
  "llmCallLatencies": [
    {
      object (LlmCallLatency)
    }
  ],
  "sessionCount": integer
}
Campos
toolLatencies[]

object (ToolLatency)

Solo salida. Lista sin ordenar. Métricas de latencia para cada herramienta.
callbackLatencies[]

object (CallbackLatency)

Solo salida. Lista sin ordenar. Son las métricas de latencia para cada devolución de llamada.
guardrailLatencies[]

object (GuardrailLatency)

Solo salida. Lista sin ordenar. Son las métricas de latencia para cada barrera de protección.
llmCallLatencies[]

object (LlmCallLatency)

Solo salida. Lista sin ordenar. Son las métricas de latencia para cada llamada al LLM.
sessionCount

integer

Solo salida. Es la cantidad total de sesiones que se tienen en cuenta en el informe de latencia.

ToolLatency

Representación JSON 
{
  "toolDisplayName": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Campos
toolDisplayName

string

Solo salida. Es el nombre visible de la herramienta.
latencyMetrics

object (LatencyMetrics)

Solo salida. Son las métricas de latencia de la herramienta.
Campo de unión tool_identifier. Es el identificador de la herramienta. tool_identifier puede ser solo uno de los parámetros siguientes:
tool

string

Solo salida. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
toolsetTool

object (ToolsetTool)

Solo salida. Es el identificador de la herramienta del conjunto de herramientas.

ToolsetTool

Representación JSON 
{
  "toolset": string,
  "toolId": string
}
Campos
toolset

string

Obligatorio. Es el nombre del recurso del conjunto de herramientas del que se deriva esta herramienta. Formato: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

Es opcional. Es el ID de la herramienta para filtrar las herramientas y recuperar el esquema.

LatencyMetrics

Representación JSON 
{
  "p50Latency": string,
  "p90Latency": string,
  "p99Latency": string,
  "callCount": integer
}
Campos
p50Latency

string (Duration format)

Solo salida. Es la latencia del percentil 50.

Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".
p90Latency

string (Duration format)

Solo salida. Es la latencia del percentil 90.

Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".
p99Latency

string (Duration format)

Solo salida. Es la latencia del percentil 99.

Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".
callCount

integer

Solo salida. Cantidad de veces que se llamó al recurso.

Duración

Representación JSON 
{
  "seconds": string,
  "nanos": integer
}
Campos
seconds

string (int64 format)

Son los segundos firmados del período. Debe estar entre -315,576,000,000 y +315,576,000,000, inclusive. Nota: Estos límites se calculan de la siguiente manera: 60 s/min * 60 min/h * 24 h/día * 365.25 días/año * 10,000 años
nanos

integer

Fracciones firmadas de un segundo con una resolución de nanosegundos del período. Las duraciones inferiores a un segundo se representan con un campo seconds igual a 0 y un campo nanos positivo o negativo. Para duraciones de un segundo o más, un valor distinto de cero para el campo nanos debe tener el mismo signo que el campo seconds. Debe ser un valor entre -999,999,999 y +999,999,999, inclusive.

CallbackLatency

Representación JSON 
{
  "stage": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  }
}
Campos
stage

string

Solo salida. Es la etapa de la devolución de llamada.
latencyMetrics

object (LatencyMetrics)

Solo salida. Son las métricas de latencia de la devolución de llamada.

GuardrailLatency

Representación JSON 
{
  "guardrail": string,
  "guardrailDisplayName": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  }
}
Campos
guardrail

string

Solo salida. Es el nombre de la protección. Formato: projects/{project}/locations/{location}/apps/{app}/guardrails/{guardrail}.
guardrailDisplayName

string

Solo salida. Es el nombre visible de la protección.
latencyMetrics

object (LatencyMetrics)

Solo salida. Son las métricas de latencia del mecanismo de protección.

LlmCallLatency

Representación JSON 
{
  "model": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  }
}
Campos
model

string

Solo salida. El nombre del modelo.
latencyMetrics

object (LatencyMetrics)

Solo salida. Son las métricas de latencia de la llamada al LLM.

PersonaRunConfig

Representación JSON 
{
  "persona": string,
  "taskCount": integer
}
Campos
persona

string

Es opcional. Es el arquetipo que se usará para la evaluación. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
taskCount

integer

Es opcional. Es la cantidad de tareas que se ejecutarán para el arquetipo.

OptimizationConfig

Representación JSON 
{
  "generateLossReport": boolean,
  "assistantSession": string,
  "reportSummary": string,
  "shouldSuggestFix": boolean,
  "status": enum (OptimizationStatus),
  "errorMessage": string,
  "lossReport": {
    object
  }
}
Campos
generateLossReport

boolean

Es opcional. Indica si se debe generar un informe de pérdidas.
assistantSession

string

Solo salida. Es la sesión del asistente que se usará para la optimización según esta ejecución de evaluación. Formato: projects/{project}/locations/{location}/apps/{app}/assistantSessions/{assistantSession}
reportSummary

string

Solo salida. Es el resumen del informe de pérdida.
shouldSuggestFix

boolean

Solo salida. Indica si se debe sugerir una corrección para las pérdidas.
status

enum (OptimizationStatus)

Solo salida. Es el estado de la ejecución de la optimización.
errorMessage

string

Solo salida. Es el mensaje de error si falló la ejecución de la optimización.
lossReport

object (Struct format)

Solo salida. Es el informe de pérdidas generado.

Struct

Representación JSON 
{
  "fields": {
    string: value,
    ...
  }
}
Campos
fields

map (key: string, value: value (Value format))

Es un mapa no ordenado de valores escritos de forma dinámica.

Un objeto que contiene una lista de pares "key": value. Ejemplo: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Representación JSON 
{
  "key": string,
  "value": value
}
Campos
key

string
value

value (Value format)

Valor

Representación JSON 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Campos
Campo de unión kind. Es el tipo de valor. kind puede ser solo uno de los parámetros siguientes:
nullValue

null

Representa un valor nulo.
numberValue

number

Representa un valor doble.
stringValue

string

Representa un valor de cadena.
boolValue

boolean

Representa un valor booleano.
structValue

object (Struct format)

Representa un valor estructurado.
listValue

array (ListValue format)

Representa un Value repetido.

ListValue

Representación JSON 
{
  "values": [
    value
  ]
}
Campos
values[]

value (Value format)

Es un campo repetido de valores escritos de forma dinámica.

Anotaciones de herramientas

Sugerencia destructiva: ❌ | Sugerencia idempotente: ✅ | Sugerencia de solo lectura: ✅ | Sugerencia de mundo abierto: ❌