O serviço de feedback da Agent Platform permite coletar e analisar o feedback do usuário das interações com seus agentes. Ele fornece a infraestrutura necessária, eliminando a necessidade de manter seu próprio banco de dados de feedback. O serviço armazena as reações do usuário e as vincula às linhas do tempo de eventos de conversa correspondentes.
Você pode começar a coletar feedback para seu agente dos usuários finais fazendo a integração diretamente com a API do serviço de feedback ou usando o SDK. A API e o SDK permitem gerenciar entradas de feedback usando operações CRUDL (criar, recuperar, atualizar, excluir e listar) padrão e anexar mais detalhes da conversa às entradas de feedback usando o recurso FeedbackContext.
Para mais informações, consulte Gerenciar feedback com o SDK do Python ou a API REST ou Conferir feedback no console.
Principais conceitos
- Entrada de feedback: rastreia dados qualitativos discretos fornecidos por um usuário final. Cada entrada captura o sentimento binário, rótulos de feedback específicos e texto livre opcional.
- Tipo de feedback: O sentimento binário do usuário final,
representado por
thumbs_upethumbs_down. - **ID da sessão (
session_id) e ID do evento (event_id)**: campos obrigatórios que conectam o feedback a um evento ou turno de conversa específico. - Contexto de feedback: Um recurso opcional anexado a uma entrada de feedback que armazena transcrições ou registros de conversa, preservando o contexto mesmo que a sessão original seja excluída. Esse recurso pode armazenar a conversa inteira ou as mensagens selecionadas pelo usuário, dependendo do que você escolher incluir.
- Rótulo de feedback: uma classificação que especifica a
natureza de um problema operacional ou um resultado bem-sucedido.
- Os rótulos de feedback positivo (normalmente usados com
thumbs_up) incluem:accuratecompletehelpfulon_topicfastsafefactualtool_success
- Os rótulos de feedback negativo (normalmente usados com
thumbs_down) incluem:inaccurateincompleteunhelpfuloff_topictoo_slowunsafehallucinationtool_error
- Os rótulos de feedback positivo (normalmente usados com
Antes de começar
Para usar o serviço de feedback, verifique se você tem o seguinte:
- Uma instância do Agent Runtime. Para mais informações, consulte Desenvolver um agente do Kit de Desenvolvimento de Agente.
- Opcional: para conferir as entradas de feedback ao lado dos eventos de rastreamento no console, verifique se a instância do Agent Runtime tem o rastreamento ativado.
Ter os papéis necessários
Para receber as permissões necessárias para usar o serviço de feedback, peça que o administrador conceda a você os seguintes papéis do IAM no projeto:
-
Todos:
usuário da Agent Platform (
roles/aiplatform.user)
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.
Se você estiver fazendo solicitações ao serviço de feedback de Google Cloud, verifique se a conta de serviço tem as permissões necessárias. As contas de serviço gerenciadas pelo usuário precisam ter a permissão de usuário da Agent Platform (aiplatform.user) para interagir com o serviço de feedback.
O agente de serviço do Reasoning Engine já tem as permissões necessárias para gerenciar o feedback. Portanto, as solicitações de saída do Agent Runtime já devem ter permissão para acessar o serviço de feedback.