A avaliação automática da geração de resumos (avaliação automática) avalia a qualidade dos resumos com base em três métricas: precisão, integridade e conformidade. Esta funcionalidade ajuda a avaliar a qualidade dos geradores de resumos, o que é fundamental quando ajusta definições de secções personalizadas ou atualiza software que afeta os modelos de resumos. Para mais detalhes sobre as métricas de avaliação, consulte as noções básicas da avaliação automática de resumos.
Antes de começar
- Crie um gerador de resumos que gere resumos candidatos para a sua avaliação.
- As definições das secções no gerador servem como dados reais para avaliação.
- Para que a pontuação final reflita a qualidade do gerador, as instruções de cada secção têm de corresponder às do gerador.
Crie um pedido de autoavaliação de resumo
Siga estes passos para criar um gerador de resumos.
Navegue para a consola do Agent Assist e inicie sessão.
Selecione o seu projeto.
Clique em Avaliações > Nova avaliação.
Introduza um Nome a apresentar exclusivo e escolha um Gerador que corresponda ao resumo do candidato.
Clicar em Seguinte.
Escolha um conjunto de dados de avaliação com uma das duas opções seguintes:
- Amostra aleatória de conversas do intervalo de datas: se pagou pela funcionalidade de resumo do Agent Assist, especifique um Intervalo de datas e um Número de conversas máximo. As avaliações selecionam aleatoriamente até ao número máximo de conversas e resumos do seu histórico.
- Selecionar um conjunto de dados específico: escolha uma amostra específica de conversas que organizou com as Estatísticas de conversas.
Escolha uma origem do resumo entre as seguintes opções:
- Gere apenas resumos em falta através do gerador especificado. Paga o custo de geração do resumo
- Gerar novos resumos para todas as conversas. Paga o custo de geração do resumo
- Não gerar resumos. Em alternativa, use os resumos existentes encontrados com o conjunto de dados. Tem de pagar um custo diferente.
Clicar em Seguinte.
Clique em Selecionar pasta, escolha uma pasta do Cloud Storage num contentor para armazenar o resultado e, de seguida, clique em OK. A avaliação automática escreve num ficheiro CSV e guarda-o no seu contentor do Cloud Storage.
Clique em Executar. Esta é uma operação de longa duração. A nova avaliação é apresentada na tabela.
Avaliações
Siga estes passos para ver uma lista de geradores de resumos e execuções de sessões de avaliação concluídas.
- Navegue para a consola do Assistente do agente e inicie sessão. Aceder à consola
- Selecione o seu projeto.
- Clique em Avaliações.
- Opcional: para inverter a ordem da hora de criação, clique em keyboard_arrow_down Para baixo no cabeçalho da coluna Hora de criação.
Filtre a lista
Siga estes passos para filtrar a sua lista e pesquisar uma avaliação específica:
- Clique em Filtrar avaliações.
Escolha uma das seguintes opções:
- Nome a apresentar
- Nome do gerador
- Data de criação
Introduza o valor do parâmetro.
Elimine uma avaliação
- Aguarde até que o gerador termine a execução de uma avaliação.
- Clique em Eliminar Eliminar para limpar a avaliação.
Veja os resultados da avaliação
Siga estes passos para ver os resultados detalhados da avaliação na consola do Agent Assist.
- Navegue para a consola do Agent Assist e inicie sessão. Aceder à consola
- Selecione o seu projeto.
- Clique em Avaliações.
- Clique em qualquer linha da lista para ver os Detalhes da avaliação, que incluem as seguintes informações:
- Nome a apresentar do gerador
- Número de conversas
- Se existirem conjuntos de dados do Conversational Insights, nome do conjunto de dados do Conversational Insights associado
- Data e hora de execução
- Saída do Cloud Storage
- Resultados do desempenho geral de um conjunto de dados completo
- Resultados ao nível da conversa para cada conversa num conjunto de dados
Resultados ao nível da conversa
O Agent Assist apresenta os resultados da avaliação ao nível da conversa numa tabela.
- Na página Detalhes da avaliação, clique em qualquer linha da tabela Resultados ao nível da conversa para ver resultados detalhados, um resumo e uma transcrição da conversa.
- Clique numa secção para ver exemplos dessa secção do resumo.
Comparação de resultados
Siga estes passos para comparar os resultados de diferentes avaliações:
- Na consola do Assistente do agente, navegue para Avaliações.
- Clique numa avaliação para ver os respetivos detalhes. Esta avaliação fornece a base para a comparação e determina as métricas que a comparação inclui.
- Clique em Comparar > Adicionar execução para adicionar outras avaliações para comparação. Pode comparar até cinco avaliações em simultâneo. Cada nome a apresentar é realçado a cinzento.
- Para remover uma avaliação da comparação, clique em fechar Fechar.
Compare versões do gerador de resumos
Também pode usar a avaliação automática da sumarização para comparar resumos de diferentes versões de um gerador de sumarização. Precisa de uma coleção de transcrições de conversas.
Segue-se um exemplo de comparação dos resultados da avaliação com base no gerador de resumo v4.0 e no gerador v5.0.
Passo 1: crie uma nova versão do gerador de resumos
Se ainda não usar um gerador de resumos, siga as instruções para criar um que use a versão 4.0 da funcionalidade de resumo. Em seguida, siga estes passos para criar um segundo gerador que use a versão 5.0 da geração de resumos:
- Navegue para a consola do Assistente do agente > página Resumo.
- Clique em more_vert para o gerador > Duplicar gerador > o nome da cópia do gerador.
- Para a Versão, escolha 5.0 e clique em Guardar.
Passo 2: crie um conjunto de dados
Siga as instruções para criar um conjunto de dados com até 100 conversas. Pode criar um número máximo de 100 conversões para cada avaliação.
Passo 3: crie avaliações de resumo
Siga estes passos para criar cada avaliação.
- Navegue para a consola do Agent Assist, inicie sessão e selecione o seu projeto.
- Clique em Avaliações > Nova avaliação.
- Introduza um Nome a apresentar único.
- Escolha o gerador de resumos 4.0.
- Clicar em Seguinte.
- Selecione Selecionar um conjunto de dados específico.
- Selecione Gerar resumos.
- Clique em Seguinte > Selecionar pasta.
- Escolha uma pasta do Cloud Storage num contentor para armazenar o resultado e, de seguida, clique em OK. A avaliação automática escreve num ficheiro CSV e guarda-o no seu contentor do Cloud Storage.
- Clique em Executar. Esta é uma operação de longa duração. A nova avaliação é apresentada na tabela.
Repita os passos 2 a 10 para o seu gerador de resumos 5.0 e use o mesmo conjunto de dados.
Passo 4: compare os resultados da avaliação
Siga as instruções para comparar resultados. O Agent Assist apresenta a comparação dos dois resultados da avaliação. Se um gerador tiver pontuações mais elevadas do que o outro, as pontuações mais elevadas são realçadas a verde. Se ambos os geradores tiverem pontuações iguais, estas também são realçadas a verde.
Limitação
A avaliação automática da sumarização não suporta os VPC Service Controls.
Regiões disponíveis
A avaliação automática da funcionalidade de resumo só está disponível em três regiões do Assistente do agente. Para ver uma lista das regiões disponíveis para cada funcionalidade, consulte a tabela de regionalização.