Upload em lote de avaliação

Nesta página, descrevemos o formato necessário para fazer upload de avaliações de ouro em um arquivo CSV. Para mais detalhes sobre avaliações de ouro, consulte a documentação sobre avaliações de ouro.

Baixar o modelo

  • Navegue até a guia Avaliar e clique em + Adicionar caso de teste -> Golden.
  • No menu que aparece, clique em Fazer o download do modelo.
  • Depois de usar o modelo para criar um arquivo CSV com suas avaliações de ouro, faça upload dele clicando em Fazer upload de arquivo no mesmo menu.

Estrutura geral

  • Um único arquivo CSV pode conter várias avaliações. Cada avaliação pode abranger várias linhas.
  • A primeira linha de uma avaliação é a linha de avaliação e define as propriedades gerais dela (nome e metadados).
  • Cada linha subsequente é uma linha de conversa e define um único turno de conversa na avaliação (por exemplo, um usuário final diz algo, o agente precisa responder ou uma chamada de ferramenta é esperada).
  • Para iniciar um novo caso de teste, forneça um novo nome na coluna display_name. Cada novo valor de display_name define o início de uma nova avaliação.

Linha de cabeçalho

O arquivo CSV precisa ter uma linha de cabeçalho como a primeira linha. Esse cabeçalho define uma variável de dados em cada coluna. Todas as variáveis, exceto as obrigatórias, são opcionais, a menos que sejam exigidas por um valor action_type. As colunas de variáveis opcionais podem estar em qualquer ordem depois das variáveis obrigatórias.

  • Variáveis obrigatórias: display_name, turn_index, action_type.

Definir uma avaliação de conversa

Cada nova avaliação começa em uma linha de avaliação. Cada linha de conversa abaixo da linha de avaliação corresponde a um turno de conversa até a próxima linha de avaliação.

Linha de avaliação

A primeira linha depois do cabeçalho precisa ser uma linha de avaliação. Cada linha de avaliação define uma nova avaliação.

  • Obrigatório:insira um nome exclusivo e legível para a avaliação no campo display_name.
  • Opcional:você pode adicionar qualquer dado de variável de metadados nessa linha.

Linha de conversa

Cada linha corresponde a dados de um turno de conversa.

  • Obrigatório:insira valores nos campos turn_index e action_type. display_name precisa ficar em branco.
  • Opcional:insira valores para todas as colunas de cabeçalho, exceto variáveis de metadados ou display_name.

Variáveis

As tabelas a seguir descrevem as variáveis de dados disponíveis. Todas as variáveis, exceto as obrigatórias, são opcionais, a menos que sejam exigidas por um valor de action_type. Todas as variáveis precisam ser definidas na linha de cabeçalho, uma por coluna. As colunas de variáveis opcionais podem estar em qualquer ordem depois das obrigatórias.

Variáveis de cabeçalho obrigatórias

Nome da coluna Descrição
display_name O nome legível da sua avaliação. Isso só é preenchido na primeira linha de uma nova avaliação. Cada novo valor de display_name define uma nova avaliação.
turn_index Um número (1, 2, 3...) que indica a ordem sequencial da rodada de conversa. Todas as linhas em uma rodada compartilham o valor do índice. Os valores precisam começar em 1 para cada avaliação. Cada linha subsequente precisa ter o mesmo valor ou um valor maior que a linha anterior.
action_type Especifica o que os dados desta linha representam. Cada valor tem valores de variáveis opcionais que também precisam ser preenchidos (conforme indicado) para que a vez da conversa seja inserida corretamente. O valor de entrada precisa ser um dos seguintes:

INPUT_TEXT: uma entrada de texto do usuário final.
: (obrigatório) text_content.

INPUT_IMAGE: uma entrada de imagem do usuário final.
: (obrigatório) image_mime_type, image_content.

INPUT_TOOL_RESPONSE: uma entrada de resposta da ferramenta.
- (Obrigatório) tool_name.
- (Opcional) tool_response_json.

INPUT_UPDATED_VARIABLES: atualiza variáveis de uma entrada.
- (Obrigatório) updated_variables_json

EXPECTATION_TEXT: saída esperada de uma resposta de texto do agente.
- (Obrigatório) response_agent, text_content.
- (Opcional) expectation_note.

EXPECTATION_TOOL_CALL: chamada de ferramenta esperada.
- (Obrigatório) tool_name.
- (Opcional) tool_call_args_json, expectation_note.

EXPECTATION_TOOL_RESPONSE: resposta esperada da ferramenta.
- (Obrigatório) tool_name.
- (Opcional) expectation_note.

EXPECTATION_AGENT_TRANSFER: transferência de agente esperada.
- (Obrigatório) agent_transfer_target.
- (Opcional) expectation_note.

Variáveis de metadados

Nome da coluna Descrição
evaluation_id Um ID exclusivo para a avaliação. Cada valor de evaluation_id precisa ser exclusivo para seu agente do Customer Experience Agent Studio. Se nenhum valor for inserido manualmente nessa coluna, um ID exclusivo será gerado automaticamente.
description Observações de texto livre ou uma descrição da finalidade da avaliação.
tags Tags separadas por ponto e vírgula para organizar avaliações (por exemplo, "tag1;tag2").
evaluation_groups Nomes separados por ponto e vírgula de todos os grupos de avaliação a que a avaliação pertence (por exemplo, "nome do grupo 1;nome do grupo 2"). Os valores de evaluation_groups inseridos nessa coluna, mas não definidos no cabeçalho, serão ignorados.

Variáveis de turnos de conversa

Nome da coluna Descrição
response_agent Nome do agente que forneceu a resposta. Esperado apenas para EXPECTATION_TEXT.
text_content O texto de INPUT_TEXT ou EXPECTATION_TEXT.
image_mime_type O tipo MIME padrão da IANA da imagem de origem. Valores aceitos: image/png, image/jpeg, image/webp, image/heic, image/heif.
image_content String de bytes do INPUT_IMAGE.
tool_name O display_name da ferramenta que está sendo chamada ou respondendo. Previsto para INPUT_TOOL_RESPONSE,EXPECTATION_TOOL_CALL ou EXPECTATION_TOOL_RESPONSE.
tool_call_args_json Os argumentos JSON para um EXPECTATION_TOOL_CALL.
tool_response_json O conteúdo JSON de um INPUT_TOOL_RESPONSE.
updated_variables_json O conteúdo JSON de INPUT_UPDATED_VARIABLES.
agent_transfer_target Nome de exibição do agente de destino para um EXPECTATION_AGENT_TRANSFER.
expectation_note Observação ou descrição da expectativa.