Avaliação

A avaliação é uma ferramenta essencial para testar o desempenho do agente e garantir que ele se comporte como esperado em situações específicas. Com ele, é possível automatizar os testes, detectar regressões após fazer alterações e medir a qualidade das respostas do agente para melhorar a qualidade dele.

Para começar, clique no botão Avaliar na parte de cima do criador de agentes.

Conceitos de avaliação

Caso de teste: cada caso de teste é um cenário ou comando de teste específico e independente, projetado para avaliar o desempenho do agente. É possível criar três tipos diferentes de caso de teste:

• Cenário: um recurso com tecnologia de IA para inicializar seus testes e garantir uma cobertura abrangente. Você descreve a meta de um usuário, e o sistema simula automaticamente o usuário e gera conversas para testar a capacidade do agente de lidar com o cenário de forma robusta. Os cenários são uma maneira útil de testar e ajudar a definir conversas de ouro.
• Simulação: ideal para testar jornadas com várias etapas. Em vez de uma única meta aberta do usuário, divida a conversa em uma lista ordenada de metas (também chamadas de marcos). O usuário simulado trabalha nas metas uma de cada vez e só passa para a próxima depois que os critérios de sucesso da meta atual são atendidos. As simulações oferecem a flexibilidade de um usuário simulado, mantendo a conversa em um caminho previsível.
• Ouro: ideal para testes de regressão. Você fornece um caminho de conversa "ideal" específico, e a avaliação verifica se o comportamento do agente corresponde a esse caminho ideal, incluindo chamadas de ferramentas.

Observação: os casos de teste de simulação oferecem uma alternativa aos cenários para testes de usuários simulados. Ao dividir uma única meta de usuário em uma lista ordenada de metas com critérios de sucesso por etapa, as simulações oferecem uma cobertura mais previsível e repetível para jornadas de várias etapas e diagnósticos mais claros quando uma execução falha.

Execução: uma execução de avaliação representa uma execução única e completa de um conjunto de casos de teste de referência, cenário e simulação em relação ao desempenho do agente que você está testando. Cada execução pode incluir um ou mais casos de teste.

Resultado: o resultado de um caso de teste se refere a uma única execução de um caso de teste específico em uma única execução. Se um caso de teste for executado várias vezes durante uma única execução de avaliação (por exemplo, para verificar consistência, instabilidade etc.), cada execução individual será um resultado individual. Os resultados são exibidos como ícones retangulares em colunas em cada linha de caso de teste, mostrando um X vermelho se a execução falhou e uma marca de seleção verde se foi aprovada.

Tags: os casos de teste podem ser agrupados com tags para facilitar o gerenciamento.

Criar casos de teste

Para criar e acessar casos de teste para seu agente, clique no botão Avaliar na parte de cima do Agent Builder. É possível criar e gerenciar casos de teste com base em golden, cenário ou simulação. A coluna Tipo na lista de casos de teste mostra o tipo de cada caso.

Cenário

O caso de teste baseado em cenário usa IA para gerar automaticamente várias conversas com base em uma meta de alto nível definida por você. Com esses casos de teste, em vez de fornecer conversas de referência específicas, você seleciona cenários gerados ou descreve cenários específicos que precisam ser testados. Essa é uma ferramenta poderosa para ajudar você a explorar casos extremos e testar a robustez do seu agente sem precisar escrever manualmente todos os caminhos de conversa possíveis.

Quando esses cenários estiverem funcionando bem, você poderá salvá-los como conversas de ouro.

Observação: para jornadas de várias etapas em que você quer mais controle sobre o caminho da conversa, use casos de teste de simulação como alternativa aos cenários. Uma simulação substitui a meta de usuário único por uma lista ordenada de metas e critérios de sucesso por etapa, tornando as execuções de usuários simulados mais repetíveis e fáceis de resolver problemas.

Para criar um cenário:

1. Clique em Criar cenário. Vários cenários são sugestões para você.
2. É possível gerar cenários com base nas seleções ou criar um novo do zero.

Ao visualizar a lista de cenários, é possível listar os detalhes e a lista de conversas de cada cenário clicando nele.

Para salvar um cenário como uma conversa de referência:

1. Selecione o cenário.
2. Clique no botão de menu no canto superior direito.
3. Selecione Salvar como conversa de ouro.

Objetivo do usuário no cenário

Cada cenário tem um objetivo do usuário, que descreve as metas do usuário final ao usar o aplicativo do agente. Exemplo:

Securely book a specific room at a chosen hotel and receive a confirmation.

Com base no objetivo do usuário, o CX Agent Studio gera automaticamente conversas usadas para avaliação.

Variáveis de cenário

Ao definir um cenário, você pode fornecer variáveis que devem ser usadas para o cenário.

Expectativas do cenário

Para realizar uma avaliação, defina as expectativas para o caso de teste.

As expectativas podem ser de dois tipos:

• Mensagem: uma resposta esperada do agente.
• Chamada de ferramenta: uma chamada de ferramenta com entradas e saídas esperadas.

As expectativas podem ter as seguintes condições:

• Essencial
• Não pode ter
• Depois da chamada de ferramenta
• Valor da variável

Para criar uma expectativa:

• Clique em um cenário específico para abrir os detalhes dele.
• Na seção Expectativas, clique em Ver tudo.
• Siga as instruções da interface para criar expectativas para o cenário.

Simulação

Um caso de teste de simulação divide uma conversa em uma lista ordenada de etapas, chamadas de metas (também conhecidas como marcos). Cada meta descreve um estágio da jornada do usuário e os critérios que precisam ser atendidos antes que o usuário simulado passe para o próximo estágio.

Uma simulação fica entre um cenário e um caso de teste de referência:

• Um cenário dá ao usuário simulado uma única meta aberta e permite que ele improvise toda a conversa. Isso é útil para explorar, mas a conversa pode seguir um caminho diferente a cada execução.
• Um caso de teste golden define cada turno do usuário. Isso é preciso para testes de regressão, mas é rígido para jornadas longas e não pode se adaptar a variações válidas na formulação do agente.
• Uma simulação mantém um usuário simulado em tempo real, mas o restringe às suas metas, em ordem. Isso torna as jornadas de várias etapas, como autenticação seguida por uma pesquisa seguida por uma atualização, repetíveis sem codificar cada turno.

Use uma simulação quando:

• A jornada tem várias etapas distintas que precisam acontecer em uma ordem fixa.
• É preciso confirmar que o agente chega a um estado intermediário, como verificar um autor de chamada, antes de fazer qualquer outra coisa.
• Uma conversa ideal seria muito rígida, mas um cenário de meta única não testa todo o caminho de forma confiável.

Criar uma simulação

1. Acesse a guia Avaliação.
2. Clique em + Adicionar caso de teste.
3. Selecione Simulação. O editor de simulação é aberto com uma meta vazia.
4. Insira um Nome do caso de teste e adicione Tags.
5. Preencha a Meta do usuário e os Critérios de sucesso para a primeira meta e defina o Máximo de turnos para alcançar.
6. Clique em Adicionar meta e repita para cada etapa da jornada, em ordem. Para detalhes sobre cada tipo de etapa, consulte Objetivos.
7. Opcionalmente, na seção Substituição de variáveis, clique em Adicionar substituições para definir variáveis de sessão antes do início da conversa. Quando o caso de teste tem pelo menos uma substituição, o botão rotulado é substituído por um botão de ícone de adição (+) ao lado dos ícones de substituição atuais.
8. Se quiser, clique em Adicionar expectativas para anexar expectativas no nível da conversa que são verificadas em relação a toda a transcrição.
9. Clique em Criar.

O editor tem uma guia IU e uma guia YAML, que editam o mesmo caso de teste. Para detalhes sobre o formato YAML, consulte Editar uma simulação como YAML.

Metas

Clique em Adicionar meta para incluir uma etapa na simulação. Cada etapa é de um dos tipos a seguir, que você seleciona no menu de tipos na etapa:

• Objetivo do usuário: o usuário simulado gera as próprias falas até que os critérios de sucesso sejam atendidos. Essas etapas são rotuladas como Meta no editor. Configurar:
  • Objetivo do usuário: o que o usuário simulado está tentando realizar nesta etapa, como Ask for a refund on the most recent order.
  • Critérios de sucesso: a condição que determina se a etapa foi concluída, como Agent asks for the reason for the refund.
  • Máximo de turnos para alcançar: o número máximo de turnos permitidos para esta etapa antes que a simulação seja interrompida. o padrão é 3;
  • Informações do usuário: dicas opcionais de perfil e contexto que ficam visíveis apenas para o usuário simulado, não para o agente. Use isso para fornecer detalhes que o usuário saberia, como um número de pedido ou um motivo para ligar. Para adicionar esse campo, abra o menu "opções" da etapa e clique em Adicionar informações do usuário.
• Frase estática: o usuário simulado envia exatamente o texto que você fornece, sem geração. Use essa opção quando a formulação precisa for importante, por exemplo, ao testar como o agente lida com um número de conta alfanumérico.
• Evento: envia um evento nomeado ao agente em vez de uma frase. Use isso para reproduzir entradas não conversacionais, como um evento de telefonia.

As etapas de utterance estático e de evento são rotuladas como Turn no editor. Assim como as metas do usuário, elas podem ter critérios de sucesso, mas não têm os próprios campos Máximo de turnos para alcançar ou Informações do usuário.

Escreva os critérios de sucesso como um comportamento observável do agente. Os critérios que descrevem o que o agente deve dizer ou fazer são avaliados de forma confiável. Os critérios que descrevem o estado interno que nunca aparece na conversa não são.

Como uma simulação é executada

1. O usuário simulado começa na primeira etapa.
2. Em cada turno, o usuário simulado gera uma fala que funciona apenas para a etapa atual.
3. Depois que o agente responde, a etapa atual é avaliada de acordo com os critérios de sucesso. Se os critérios forem atendidos, a etapa será marcada como concluída, e o usuário simulado vai passar para a próxima etapa. Uma etapa concluída nunca é reaberta.
4. Se uma etapa não for concluída dentro do limite de Máximo de turnos para alcançar, a simulação será interrompida. As etapas seguintes nunca são tentadas.
5. Quando a conversa termina, a transcrição é avaliada para produzir uma justificativa por escrito para cada etapa que foi tentada.

Além dos limites por etapa, a conversa inteira é limitada ao mesmo limite geral de qualquer outra conversa simulada, que é de 100 turnos. Na prática, os limites de Máximo de turnos para alcançar por etapa interrompem uma simulação primeiro.

Uma simulação só é aprovada se todas as etapas forem concluídas, além dos outros critérios de aprovação ou reprovação que se aplicam a conversas simuladas. Como as etapas são estritamente sequenciais, uma etapa com falha bloqueia o restante do caso de teste. Ordene as etapas para que uma falha aponte claramente para o estágio que quebrou.

Resultados da simulação

Abra um resultado de simulação para ver uma seção de metas com um título que mostra quantas etapas foram concluídas do total, por exemplo, Goals (2/3). A seção é expandida automaticamente quando nem todas as etapas são concluídas. Dentro dele, há um painel recolhível por etapa:

• Uma marca de seleção verde significa que os critérios de sucesso da etapa foram atendidos.
• Um X vermelho significa que a etapa não foi concluída, seja porque os critérios nunca foram atendidos ou porque uma etapa anterior a bloqueou.

Cada painel contém uma Justificativa que explica em linguagem simples por que a etapa foi ou não considerada concluída. Quando a execução termina, as etapas que não foram concluídas são expandidas para você com a justificativa, e as etapas concluídas são recolhidas. Uma etapa que nunca foi tentada é justificada com uma mensagem que nomeia o texto da meta que a bloqueou.

O painel Conversa abaixo dos objetivos contém a transcrição simulada completa, para que você possa reproduzir exatamente o que o usuário simulado disse e como o agente respondeu.

Se a execução terminar com um erro, um card na parte de cima do resultado vai mostrar a mensagem de erro. Se a execução foi concluída, mas uma etapa de enunciado estático não foi concluída, o card repete a justificativa da primeira etapa desse tipo. Como as etapas de enunciado estático e de evento são rotuladas como Turno no editor, verifique a seção de metas para saber a qual etapa o card se refere. As etapas não concluídas de Meta do usuário e Evento são informadas apenas na seção de metas.

Editar uma simulação como YAML

No editor de simulação, clique na guia YAML para editar o caso de teste como YAML. A lista de metas é expressa como steps, e cada etapa é mapeada para os campos descritos em Metas:

evals:
  - name: "billing_refund_request"
    tags:
      - "billing"
    session_parameters:
      product_id: "prod_123"
    steps:
      - goal: "Greet the agent and ask for a refund for product_id."
        success_criteria: "Agent asks for the reason for the refund."
        max_turns: 3
      - goal: "Provide the reason and insist on the refund."
        success_criteria: "Agent agrees to process the refund or escalates."
      - static_utterance: "I want to check my balance."

Chave YAML	Campo do console
name	Nome do caso de teste
tags	Tags
session_parameters	Substituição de variável
goal	Objetivo do usuário
success_criteria	Critérios de sucesso
max_turns	Máximo de turnos para alcançar
response_guide	Informações do usuário
static_utterance	Etapa de enunciado estático
event	Etapa do evento
expectations	Expectativas

O editor valida o YAML enquanto você digita e aplica as seguintes regras:

• O documento precisa conter uma lista evals, e o editor lê apenas a primeira entrada dessa lista.
• Cada entrada precisa ter um name e pelo menos uma etapa.
• Cada etapa precisa ter pelo menos um dos seguintes: goal, static_utterance ou event.
• Cada chave em session_parameters precisa ser uma variável declarada no aplicativo do agente.
• Cada string em expectations precisa ser o texto de comando de uma expectativa que já existe no aplicativo do agente. A correspondência ignora maiúsculas e minúsculas e espaços em branco ao redor. Para criar uma expectativa, use Adicionar expectativas na guia IU e faça referência ao comando dela aqui.
• As chaves não reconhecidas em uma entrada da lista evals são rejeitadas.

Pôr do sol

Esses casos de teste são usados para definir caminhos de conversa ideais para testes de regressão, de modo que os caminhos de conversa principais e críticos não sejam interrompidos quando você atualizar o agente. Há várias opções para criar uma conversa de ouro:

Para importar uma conversa do simulador:

1. Inicie uma conversa usando o simulador.
2. Clique nos três pontos verticais no canto superior direito do simulador para abrir o menu.
3. Clique em Salvar como golden.
4. Insira um nome para o caso de teste de ouro e clique em Salvar. Agora ele vai aparecer na guia Avaliação.

Para criar um caso de teste com base no histórico de conversas:

1. Acesse a guia Avaliação.
2. Clique em + Adicionar caso de teste.
3. Selecione Golden.
4. Clique em Próxima.
5. Clique em Selecionar do histórico de conversas.
6. Na janela que aparece, selecione a conversa que você quer salvar como um caso de teste de ouro. Você tem a opção de pesquisar pelo ID da conversa.
7. Se você tiver ativado a edição, verifique as respostas e variáveis do agente para edição antes de prosseguir com as informações ausentes.
8. Clique em Adicionar.

Para criar um caso de teste do zero:

1. Acesse a guia Avaliação.
2. Clique em + Adicionar caso de teste.
3. Selecione Golden.
4. Clique em Próxima.
5. Clique em Criar do zero.
6. Na janela que aparece, adicione um Nome de exibição para o caso de teste.
7. Adicione texto para a entrada do usuário e a expectativa do agente, conforme necessário. Clique em + Adicionar entrada do usuário e + Adicionar expectativa do agente para incluir respostas. Clique em + Adicionar turno para adicionar um novo turno de conversa ao caso de teste.
8. Clique em Criar para adicionar o caso de teste de ouro à sua lista de casos de teste.

Para criar um caso de teste com base em uma conversa simulada em um caso de teste de cenário:

1. Acesse a página de resultados da execução da avaliação.
2. Clique no ícone de menu (três pontos verticais) à direita da conversa selecionada e clique em Salvar como conversa de ouro.

Para fazer upload em lote de casos de teste de um arquivo:

Para detalhes sobre o formato do arquivo e um modelo CSV, consulte a página Formato CSV de casos de teste de ouro.

Expectativas de ouro

Para realizar uma avaliação, você define as expectativas para o caso de teste de referência. Uma expectativa é um resultado específico que você espera do agente em um determinado momento da conversa. Durante a avaliação, o comportamento real do agente é comparado com essas expectativas.

As expectativas podem ser de um dos seguintes tipos:

• Mensagem: uma resposta de texto esperada do agente para o usuário final. A avaliação verifica se a resposta do agente corresponde semanticamente a essa expectativa.
• Chamada de ferramenta: uma expectativa de que o agente chame uma ferramenta e uma resposta específicas. Também é possível especificar os argumentos de entrada esperados para a chamada de ferramenta.
• Transferência de agente: uma expectativa de que o agente transfira a conversa para um agente humano ou outro bot.

Observação: no modo de repetição estável, as variáveis esperadas e as respostas da ferramenta são usadas para injetar contexto na conversa. No modo de repetição simples, esses valores não afetam o resultado.

Para criar uma expectativa:

1. Clique em um caso de teste de ouro específico para abrir os detalhes dele.
2. Na seção Detalhes, clique em Ver golden.
3. Siga as instruções da interface para adicionar ou modificar expectativas.

Configurações de avaliação

Na linha de cabeçalho da lista de casos de teste, é possível definir as configurações de avaliação:

• Goldens:
  • Critérios de aprovação/reprovação de ouro: defina a lógica para determinar se uma conversa simulada é aprovada ou reprovada.
  • Nível de turno: essas regras julgam cada turno individual. Se algum desses limites não for atingido, a métrica específica será codificada por cores em vermelho como uma falha.
    • Semelhança semântica: valor limite para semelhança semântica.
    • Precisão da ferramenta: valor limite para a precisão da ferramenta.
    • Alucinações: se desativadas, as alucinações são excluídas da aprovação/reprovação.
  • Nível de expectativa: essas regras julgam as expectativas em uma rodada. Se algum desses limites não for atingido, a métrica específica será codificada por cores em vermelho como uma falha.
    • Precisão da ferramenta: valor limite para a precisão da ferramenta.
  • Método de execução de ouro: escolha entre a validação de repetição simples ou estável.
  • Simulação de ferramenta: use dados simulados em vez de chamadas de API de produção reais.
• Scenarios:
  • Critérios de aprovação/reprovação do cenário: defina a lógica para determinar se uma conversa simulada é aprovada ou reprovada.
  • Iniciador da conversa: defina quem inicia a conversa, o usuário ou o modelo.
  • Simulação de ferramenta: use dados simulados em vez de chamadas de API de produção reais.
• Avaliação de áudio
  • Gravações de avaliação de áudio

Executar avaliações

Para executar uma avaliação, clique no botão de execução na linha do caso de teste ou selecione vários casos de teste e execute-os.

Se você tiver salvo várias versões, poderá selecionar qual versão do agente usar ou salvar automaticamente o agente de rascunho como uma nova versão para a execução.

Após uma execução de avaliação, as métricas serão atualizadas e os resultados serão apresentados.

Se você clicar em uma avaliação de execução específica, poderá ver os resultados detalhados de uma execução. Além das métricas padrão, as seguintes são exibidas:

• Turnos com falha
• Lista paginada de todos os detalhes do turno, que inclui as respostas reais e esperadas do agente.

Para casos de teste de ouro, talvez você veja o termo "reprodução estável", que esclarece que o teste foi executado em um ambiente consistente (ou seja, sem mudar o contexto/ entrada).

Para casos de teste de simulação, o resultado mostra o resultado de cada objetivo, em vez de uma comparação detalhada com as respostas esperadas. Para mais detalhes, consulte Resultados da simulação.

Usar a IA para melhorar os casos de teste (PRÉ-LANÇAMENTO)

Visualizar

Este produto ou recurso está sujeito aos Termos das Soluções Pré-GA na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os produtos e recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Observação: no momento, as melhorias de IA só são compatíveis com aplicativos de agente com um único agente.

Se quiser, use a IA para ajudar a resolver problemas em uma execução e sugerir maneiras de melhorar a qualidade do agente. As sugestões de IA são ideais quando o número de execuções (contagem de execuções) é 3 ou mais. Para ativar a IA, selecione os casos de teste que você quer avaliar e clique em Executar selecionados. Na janela que aparece, marque a caixa ao lado de Encontrar problemas com a IA.

Depois que a execução for concluída, você vai encontrar sugestões baseadas em IA na página de resultados. O Gemini gera automaticamente um loss_report para download que resume aspectos do desempenho do agente e destaca áreas que podem ser melhoradas.

Qualquer usuário pode ver as correções sugeridas pela IA, mas apenas a pessoa que iniciou a execução pode entrar em ação com base nos resultados.

Clique em Peça ao Gemini para interagir com o agente assistente. Primeiro, você vai ver o relatório de perda, que explica problemas de alto nível com o modelo ou agente. Você pode pedir ao agente assistente para explicar o relatório, que vai resumir o relatório e sugerir correções. Depois que as correções forem aplicadas, você poderá pedir ao agente auxiliar para executar a avaliação novamente.

Importar e exportar

É possível importar e exportar casos de teste, execuções e resultados de avaliação no formato YAML ou JSON. Ao importar, verifique se o agente receptor contém todos os recursos (ferramentas, variáveis e subagentes) definidos nos dados exportados.

Para exportar casos de teste:

1. Selecione um ou mais casos de teste.
2. Clique em Exportar casos de teste.
3. Selecione um formato.
4. Um arquivo ZIP será baixado.

Para importar casos de teste:

1. Clique em + Adicionar caso de teste.
2. Selecione Golden.
3. Clique em Próxima.
4. Faça upload do arquivo ZIP.
5. Se houver conflitos com a importação, você vai receber orientações sobre como lidar com eles.
6. Clique em Criar.

Para exportar execuções e resultados de avaliação:

1. Selecione uma ou mais execuções de avaliação.
2. Clique em Exportar execução.
3. Selecione um formato.
4. Um arquivo ZIP será baixado.

Métricas

Cada resultado de caso de teste inclui um conjunto de métricas que medem o desempenho do agente em relação aos casos de teste selecionados. As métricas são calculadas no nível da rodada ou da expectativa (conversa), conforme indicado no console.

Em todos os casos, é possível personalizar os valores necessários para que a execução seja aprovada no menu Configurações na guia Avaliar.

Observação: os casos de teste de simulação são executados pelo mesmo pipeline de usuário simulado que os cenários. Portanto, todas as métricas calculadas para um cenário também são calculadas para uma simulação. A aplicabilidade de cada métrica é destacada abaixo.

Precisão da ferramenta

Calculada para casos de teste de referência, cenário e simulação. Essa métrica reflete a porcentagem de parâmetros esperados que foram correspondidos, considerando uma chamada de ferramenta esperada e os valores de parâmetro esperados. As chamadas de ferramenta perdidas recebem uma pontuação de 0, e as chamadas de ferramenta sem parâmetros de entrada recebem uma pontuação de 1, se presentes. Se uma chamada de ferramenta inesperada for feita durante uma avaliação de ouro, o resultado será considerado uma falha, mas isso não terá impacto no valor de correção da ferramenta.

Satisfação do objetivo do usuário

Calculado para casos de teste de cenário e simulação. A satisfação do objetivo do usuário é uma métrica binária projetada para avaliações de simulação de usuário. Mede se o usuário simulado acredita que as metas foram alcançadas (0=não, 1=sim). As entradas são o user_goal, conforme definido pela configuração do usuário simulado, e uma transcrição da conversa. Se o user_goal fornecido não especificar uma meta explícita ou implícita, a pontuação de saída será -1.

Uma simulação não tem um campo separado para uma meta geral do usuário. Portanto, essa métrica é avaliada em relação ao Nome do caso de teste. Dê às simulações um nome que descreva o que o usuário está tentando alcançar em geral.

Esse não é o único indicador de conversa para uma simulação. Uma simulação também pode ter expectativas, que são comparadas com toda a transcrição e informadas na seção Expectativas do resultado. Essas são as mesmas expectativas que os cenários usam. Consulte Expectativas de cenário. Os resultados de cada etapa são informados pelas conclusões de meta.

Conclusão de meta

Informado apenas para simulações. Em vez de uma única pontuação para a conversa, cada etapa da simulação é informada individualmente como concluída ou não, junto com uma justificativa que explica o resultado. O console resume isso no cabeçalho da seção de metas como o número de etapas concluídas em relação ao total, por exemplo, Goals (2/3). A contagem inclui todas as etapas da simulação, incluindo as etapas de utterance estática e de evento.

Como as etapas são tentadas em ordem, a primeira que não é concluída é a causa da falha, e as etapas seguintes nunca são tentadas.

Alucinações

Disponível para casos de teste de referência e de cenário. As pontuações de alucinação são calculadas para cada turno gerado. Essa métrica reflete se o agente fez ou não declarações que não são justificadas pelo contexto do agente (0=não, 1=sim). O contexto é composto por qualquer turno anterior na conversa, variáveis de sessão, chamadas de ferramentas e instruções do agente. Essa métrica é calculada apenas para turnos que contêm chamadas de ferramenta. Ela não detecta alucinações em chamadas de ferramentas. As chamadas de ferramentas fornecidas como contexto são consideradas corretas. Para minimizar falsos positivos, a métrica pode retornar uma pontuação de N/A se uma resposta não tiver declarações factuais ou apenas conhecimento comum já estabelecido.

É possível ativar e desativar as alucinações nas configurações de avaliação.

Correspondência semântica

Calculado apenas para casos de teste de referência. Não é calculado para casos de teste de cenário ou simulação. Essa métrica mede até que ponto uma fala observada do agente corresponde a uma fala esperada. A correspondência semântica é calculada no nível da rodada. Os valores retornados variam de 0 (completamente inconsistente ou contraditório) a 4 (totalmente consistente).

Expectativas do cenário

Calculado para casos de teste de cenário e simulação. Essa métrica mede se o comportamento do agente conforme o esperado pelos usuários simulados foi satisfatório ou não (0=não, 1=sim). Há suporte para dois tipos de expectativas de usuários simulados:

• Expectativas de chamada de ferramenta: calculadas de forma semelhante à precisão da chamada de ferramenta, com as seguintes exceções:
  • Os resultados são 0 (não) ou 1 (sim).
  • Chamadas de ferramentas inesperadas não são penalizadas. As expectativas servem para especificar o conjunto de chamadas de ferramentas que são essenciais para que uma conversa atenda às expectativas do usuário simulado.
  • Quando uma expectativa de entrada de chamada de ferramenta é atendida, a chamada é interceptada e substituída por um valor de retorno simulado no ambiente de execução.
• Expectativas de resposta do agente: verifica se alguma resposta do agente na conversa contém uma string esperada.

Conclusão da tarefa

Calculado para casos de teste de cenário e simulação. A conclusão de tarefas é uma medida da qualidade da conversa. Ele mede se as metas do usuário foram alcançadas E se o comportamento do agente foi correto. Ele é definido como:

User_Goal_Satisfied AND no_hallucinations_detected AND Expectations Satisfied

Para simulações, um quarto termo é adicionado: cada etapa da simulação também precisa ser concluída. A conclusão da tarefa é o que o console informa como o status geral de aprovação ou reprovação do resultado do caso de teste.

Perfis

As personas são personas de usuário simuladas que você pode personalizar e usar para testar agentes com casos de teste de cenário e simulação. Esse recurso é útil para garantir que o agente interaja adequadamente com os tipos de usuários humanos que ele provavelmente vai encontrar no ambiente de execução.

Se você não selecionar uma persona, uma será selecionada aleatoriamente para cada resultado de cenário.

Esse recurso está disponível para uso com entradas de texto e áudio.

Criar um perfil

1. Para criar uma persona, acesse a guia Avaliar e clique em Gerenciamento de personas (ao lado do ícone de configurações).
2. Clique em + Adicionar persona.
3. No menu que aparece, insira um Nome, uma Personalidade do usuário e qualquer Contexto do usuário adicional (como idade, local, motivo da ligação etc.).
4. Clique em + Adicionar.

Para executar uma avaliação usando um perfil:

1. Volte para a página principal Avaliar e selecione um ou mais casos de teste de cenário ou simulação. Clique em Executar selecionados.
2. Na janela que aparece, selecione a persona que você acabou de criar no menu suspenso Personas e clique em Executar.

Práticas recomendadas de avaliações e hill climbing

Ao criar um novo agente usando componentes modulares, crie casos de teste dedicados para cada variante de agente que você tiver, por exemplo:

• Voz e chat
• SDK de SMS e chat
• Marca A, B e C, e assim por diante

Crie mais casos para verificar se há vazamento de instruções entre variantes. Por exemplo, as instruções específicas do chat não devem aparecer para casos executados no modo de voz e vice-versa.

Verifique se os casos são executados no agente certo:

• Para modalidades (chat x voz) ou canais, executar o caso na implantação certa garante o alinhamento de forma automática.
• Cada implantação encapsula a modalidade, o modelo usado e o canal.
• Para condicionais de variáveis definidas pelo builder, injete o valor da variável ao executar o caso. Por exemplo, brand_name == "Cymbal Retail" ou brand_name == "Acme Corp".

Peça ao seu agente de programação favorito para melhorar iterativamente o agente do CX Agent Studio até que todos os casos de teste atendam às métricas de meta ou a qualquer outro objetivo de qualidade.

• Peça ao agente de programação para reconciliar as mudanças sugeridas de diferentes casos de teste que afetam as mesmas instruções do agente. Instrua-o a sinalizar conflitos complexos para revisão humana, para que você possa fornecer informações detalhadas, se necessário.
• Peça ao agente de programação para criar comparações lado a lado de todas as variantes do agente para as mudanças feitas. Isso ajuda a entender e validar as correções escolhidas.
• Faça iterações conforme necessário. A natureza específica dessas iterações vai depender do design do agente do CX Agent Studio, do design do agente de programação, do modelo usado e do enquadramento da conversa.
• Verifique se os resultados do agente de codificação são precisos validando manualmente as transcrições e as amostras de resultados.
• Instrua o agente de programação a encontrar cenários ausentes no exercício de subida de encosta e sugerir novos casos, se aplicável. Continue as iterações conforme necessário.