MCP Tools Reference: ces.googleapis.com

Ferramenta: list_evaluation_datasets

Lista conjuntos de dados de avaliação.

O exemplo de código a seguir mostra como usar curl para chamar a ferramenta MCP list_evaluation_datasets.

Solicitação curl 
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "list_evaluation_datasets",
    "arguments": {
      // Provide these details according to the MCP tool specification.
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

Esquema de entrada

Mensagem de solicitação para EvaluationService.ListEvaluationDatasets.

ListEvaluationDatasetsRequest

Representação JSON 
{
  "parent": string,
  "pageSize": integer,
  "pageToken": string,
  "filter": string,
  "orderBy": string
}
Campos
parent

string

Obrigatório. O nome do recurso do app em que os conjuntos de dados de avaliação serão listados.
pageSize

integer

Opcional. Tamanho da página solicitada. O servidor pode retornar menos resultados do que o solicitado. Se não for especificado, o servidor escolherá um padrão apropriado.
pageToken

string

Opcional. O valor next_page_token retornado de uma chamada EvaluationService.ListEvaluationDatasets de lista anterior.
filter

string

Opcional. Filtro a ser aplicado ao listar os conjuntos de dados de avaliação. Consulte https://google.aip.dev/160 para mais detalhes.
orderBy

string

Opcional. Campo de classificação. Somente "name", "create_time" e "update_time" são aceitos. Os campos de tempo são ordenados em ordem decrescente, e o campo de nome é ordenado em ordem crescente. Se não for incluído, "update_time" será o padrão. Consulte https://google.aip.dev/132#ordering para mais detalhes.

Esquema de saída

Mensagem de resposta para EvaluationService.ListEvaluationDatasets.

ListEvaluationDatasetsResponse

Representação JSON 
{
  "evaluationDatasets": [
    {
      object (EvaluationDataset)
    }
  ],
  "nextPageToken": string
}
Campos
evaluationDatasets[]

object (EvaluationDataset)

A lista de conjuntos de dados de avaliação.
nextPageToken

string

Um token que pode ser enviado como ListEvaluationDatasetsRequest.page_token para recuperar a próxima página. A ausência desse campo indica que não há páginas subsequentes.

EvaluationDataset

Representação JSON 
{
  "name": string,
  "displayName": string,
  "evaluations": [
    string
  ],
  "createTime": string,
  "updateTime": string,
  "etag": string,
  "createdBy": string,
  "lastUpdatedBy": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  }
}
Campos
name

string

Identificador. O identificador exclusivo deste conjunto de dados de avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
displayName

string

Obrigatório. Nome de exibição do conjunto de dados de avaliação definido pelo usuário. Exclusivo em um app.
evaluations[]

string

Opcional. Avaliações incluídas neste conjunto de dados.
createTime

string (Timestamp format)

Apenas saída. Carimbo de data/hora da criação do conjunto de dados de avaliação.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
updateTime

string (Timestamp format)

Apenas saída. Carimbo de data/hora da última atualização do conjunto de dados de avaliação.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
etag

string

Apenas saída. Etag usada para garantir que o objeto não mudou durante uma operação de leitura-modificação-gravação. Se a ETag estiver vazia, a atualização vai substituir todas as mudanças simultâneas.
createdBy

string

Apenas saída. O usuário que criou o conjunto de dados de avaliação.
lastUpdatedBy

string

Apenas saída. O usuário que atualizou o conjunto de dados de avaliação por último.
aggregatedMetrics

object (AggregatedMetrics)

Apenas saída. As métricas agregadas desse conjunto de dados de avaliação em todas as execuções.

Carimbo de data/hora

Representação JSON 
{
  "seconds": string,
  "nanos": integer
}
Campos
seconds

string (int64 format)

Representa os segundos do horário UTC desde a época Unix 1970-01-01T00:00:00Z. Precisa estar entre -62135596800 e 253402300799 (o que corresponde a 0001-01-01T00:00:00Z a 9999-12-31T23:59:59Z).
nanos

integer

Frações não negativas de um segundo com resolução de nanossegundos. Esse campo é a parte de nanossegundos da duração, não uma alternativa aos segundos. Os valores de segundos negativos com frações ainda precisam ter valores em nanossegundos não negativos que representam períodos posteriores. O valor precisa ser de 0 a 999.999.999 (inclusive).

AggregatedMetrics

Representação JSON 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
Campos
metricsByAppVersion[]

object (MetricsByAppVersion)

Apenas saída. Métricas agregadas, agrupadas por ID da versão do app.

MetricsByAppVersion

Representação JSON 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
Campos
appVersionId

string

Apenas saída. O ID da versão do app.
toolMetrics[]

object (ToolMetrics)

Apenas saída. Métricas de cada ferramenta nesta versão do app.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Apenas saída. Métricas de similaridade semântica nesta versão do app.
hallucinationMetrics[]

object (HallucinationMetrics)

Apenas saída. Métricas de alucinação nesta versão do app.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Apenas saída. Métricas para latência de chamada de ferramenta nesta versão do app.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Apenas saída. Métricas para latência de turno nesta versão do app.
passCount

integer

Apenas saída. O número de vezes que a avaliação foi aprovada.
failCount

integer

Apenas saída. O número de vezes que a avaliação falhou.
metricsByTurn[]

object (MetricsByTurn)

Apenas saída. Métricas agregadas por turno nessa versão do app.

ToolMetrics

Representação JSON 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
Campos
tool

string

Apenas saída. O nome da ferramenta.
passCount

integer

Apenas saída. O número de vezes que a ferramenta foi aprovada.
failCount

integer

Apenas saída. O número de vezes que a ferramenta falhou.

SemanticSimilarityMetrics

Representação JSON 
{
  "score": number
}
Campos
score

number

Apenas saída. A pontuação média de similaridade semântica (0 a 4).

HallucinationMetrics

Representação JSON 
{
  "score": number
}
Campos
score

number

Apenas saída. A pontuação média de alucinação (de 0 a 1).

ToolCallLatencyMetrics

Representação JSON 
{
  "tool": string,
  "averageLatency": string
}
Campos
tool

string

Apenas saída. O nome da ferramenta.
averageLatency

string (Duration format)

Apenas saída. A latência média das chamadas de ferramenta.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

Duração

Representação JSON 
{
  "seconds": string,
  "nanos": integer
}
Campos
seconds

string (int64 format)

Segundos assinados do período. Precisa estar entre -315.576.000.000 e +315.576.000.000 (inclusive). Observação: esses limites são calculados com base em: 60 s/min * 60 min/h * 24 h/dia * 365,25 dias/ano * 10.000 anos
nanos

integer

Frações assinadas de um segundo com resolução de nanossegundos do período. Durações menores que um segundo são representadas com um campo seconds 0 e um campo nanos positivo ou negativo. Para durações de um segundo ou mais, um valor diferente de zero para o campo nanos precisa ter o mesmo sinal do campo seconds. Precisa estar entre -999.999.999 e +999.999.999 (inclusive).

TurnLatencyMetrics

Representação JSON 
{
  "averageLatency": string
}
Campos
averageLatency

string (Duration format)

Apenas saída. A latência média dos turnos.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

MetricsByTurn

Representação JSON 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
Campos
turnIndex

integer

Apenas saída. O índice da vez (com base em 0).
toolMetrics[]

object (ToolMetrics)

Apenas saída. Métricas para cada ferramenta nesta rodada.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Apenas saída. Métricas de similaridade semântica neste turno.
hallucinationMetrics[]

object (HallucinationMetrics)

Apenas saída. Métricas de alucinação neste turno.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Apenas saída. Métricas de latência de chamada de ferramenta neste turno.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Apenas saída. Métricas de latência do turno.

Anotações de ferramentas

As anotações de ferramentas são enviadas aos clientes do MCP para descrever o risco básico de uma determinada ferramenta. A maioria dos clientes trata essas dicas como não confiáveis, mas elas podem ser usadas para decidir quando um pedido de confirmação pode ser enviado a um usuário.

Além da string de título, as seguintes dicas booleanas são definidas da seguinte maneira:

  • readOnlyHint: se for "true", a ferramenta não vai modificar o ambiente. Padrão: false.
  • destructiveHint: se for "true", a ferramenta poderá realizar ações destrutivas. Se for "false", a ferramenta só poderá realizar ações de adição. Padrão: verdadeiro.
  • idempotentHint: se for "true", chamar a ferramenta repetidamente com os mesmos argumentos não terá efeito adicional no ambiente dela. Padrão: false.
  • openWorldHint: se for "true", a ferramenta poderá interagir com um "mundo aberto" de entidades externas. Se for "false", a ferramenta só poderá interagir com entidades internas. Por exemplo, uma ferramenta de pesquisa na Web seria de mundo aberto, enquanto uma ferramenta de memória não seria.

Dica destrutiva: ❌ | Dica idempotente: ✅ | Dica somente leitura: ✅ | Dica de mundo aberto: ❌