Este guia é destinado a administradores de dados e de catálogos. Ele descreve como avaliar e aprovar as propostas de metadados geradas por execuções de enriquecimento.
Sempre que você executa uma tarefa de enriquecimento, ela gera uma execução de enriquecimento. A execução processa o conjunto de contexto em relação aos indicadores de conhecimento, gera métricas de avaliação e propõe novas propriedades de metadados.
É possível conferir os detalhes das execuções históricas, avaliar o desempenho delas e decidir se as mudanças de metadados propostas serão aprovadas ou negadas.
Antes de começar
Para receber as permissões necessárias para avaliar e aprovar execuções de enriquecimento, peça ao administrador para conceder a você um dos seguintes papéis do IAM no projeto:
- Editor do catálogo do Dataplex (
roles/dataplex.catalogEditor) - Administrador do catálogo do Dataplex (
roles/dataplex.catalogAdmin)
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Você também precisa ter uma tarefa de enriquecimento ativa executada no seu projeto. Para mais informações, consulte Criar tarefas de enriquecimento.
Fluxo de trabalho de avaliação
É possível analisar uma execução de enriquecimento em três fases:
Avalie a viabilidade geral:verifique as pontuações agregadas nas guias Visão geral e Avaliação. Isso informa se a execução foi bem-sucedida ou uma alucinação completa antes de você se aprofundar nos detalhes.
Analise as propostas individuais:filtre a guia Visão geral para propostas de confiança de
Low. Se a decisão de uma proposta não estiver clara, use a guia Artefatos para auditar os rastros de conversa brutos e entender por que o agente fez a sugestão.Aprovar ou negar a execução:faça uma verificação final. Se a maioria das propostas for sólida e devidamente fundamentada, aprove a execução para mesclar os metadados no catálogo. Se houver muitas falhas, negue a execução, melhore os conjuntos de contexto e tente de novo.
Abrir uma execução de enriquecimento
Para ver os detalhes de uma execução de enriquecimento:
No console do Google Cloud , acesse a página Knowledge Studio.
No painel de navegação à esquerda, selecione Enriquecimentos.
A página Enriquecimento é aberta e exibe uma lista de tarefas ativas, com falha e concluídas. A lista de tarefas inclui o nome, o status, o resumo da execução, o gatilho e a data da última modificação.
Na lista de tarefas, clique no nome da tarefa de enriquecimento que você quer investigar.
Clique na guia Jobs.
Na lista de jobs, clique no Nome (ID) vinculado da execução que você quer visualizar. Como alternativa, clique em Ações ao lado de uma execução e selecione Ver resultado.
A página Detalhes da execução de enriquecimento é aberta.
A página de detalhes organiza os resultados nas seguintes guias:
| Tab | Use esta guia para… |
|---|---|
| Visão geral | Avalie a integridade e a confiança de alto nível e analise e aprove as propostas de metadados geradas. Responde às perguntas: Essa execução é boa? e O que exatamente será publicado no catálogo? |
| Avaliação | Verifique a pontuação quantitativa e as métricas de aprovação/reprovação. Responde à pergunta: a lógica de enriquecimento realmente melhorou a usabilidade dos dados? |
| Artefatos | Inspecione os diagnósticos, o aprendizado tácito e as pontuações de embasamento. Responde à pergunta: Por que o agente tomou essa decisão e a lógica é confiável? |
| Registros | Resolver problemas de traces de execução do sistema. Responde à pergunta: o job falhou tecnicamente? |
Avaliar a viabilidade geral da execução
A guia Visão geral é seu ponto de partida. Acesse essa guia para avaliar o sucesso geral da execução, conferir as métricas gerais e analisar ou aprovar as mudanças de metadados específicas propostas pela IA.
Para analisar o resumo da execução:
Na página Detalhes da execução de enriquecimento, selecione a guia Visão geral.
Analise o Relatório de enriquecimento. Esta seção mostra a integridade geral da execução, incluindo a pontuação agregada, o status (por exemplo, "Precisa de revisão"), a duração, o total de tokens usados e um resumo que descreve a confiança geral das propostas.
O que procurar:analise a pontuação agregada e o resumo para avaliar rapidamente se a execução foi bem-sucedida em um nível macroscópico antes de analisar as propostas individuais. Por exemplo, uma pontuação de 80% ou mais geralmente indica uma execução de alta confiança, enquanto pontuações mais baixas podem exigir que você revise as propostas com mais cuidado.
Consulte a seção Avaliação de ponta a ponta. Isso mostra as taxas de aprovação de referência e projetadas para seus casos de avaliação. Uma execução aceitável geralmente resulta em um Delta positivo (por exemplo, +5%), indicando que os metadados propostos melhoram a usabilidade geral dos dados em comparação com o valor de referência.
Revise a seção Propostas. Nesta seção, mostramos um resumo geral das mudanças propostas (como o número total de criações, atualizações ou exclusões), seguido por uma lista de propostas agrupadas por tipo de recurso (por exemplo, Documentos da base de conhecimento). É possível filtrar as propostas por nível de confiança (
High,Medium,Low,N/A) e expandir os tipos de recurso para ver entradas específicas.O que procurar:procure propostas de confiança
Lowem particular, já que elas normalmente indicam falta de contexto ou alucinações que precisam ser rejeitadas.
Analisar propostas individuais
A menos que você tenha ativado a publicação automática na tarefa, as execuções de enriquecimento não modificam seus metadados automaticamente. A execução gera mudanças propostas que você precisa aprovar.
Ao analisar as propostas, recomendamos filtrar pela pontuação de confiança e
analisar primeiro as propostas de confiança Low, já que elas exigem mais
escrutínio e têm maior probabilidade de precisar de ajustes manuais ou rejeição. Verifique
se o Markdown, as tags ou as descrições geradas representam com precisão sua
lógica de negócios no modo de Visualização e procure substituições de atributos
não intencionais na visualização Mudanças.
Para analisar as propostas específicas geradas pela execução:
Na guia Detalhes da execução de enriquecimento, na seção Propostas, localize a proposta que você quer analisar.
Clique em Ver proposta na entrada. Um painel lateral Alterações propostas é aberto.
No painel lateral, revise e, se quiser, edite os metadados gerados pela IA.
No recurso específico que está sendo modificado (por exemplo, o aspecto Visão geral), use o botão de alternância para mudar de visualização.
A visualização Mudanças permite inspecionar a diferença exata que está sendo enviada para o catálogo.
A visualização Prévia mostra a formatação legível dos documentos e tabelas gerados.
Para ajustar manualmente a proposta da IA, clique em Editar ao lado do nome do recurso, faça as mudanças no editor de texto e clique em Salvar.
Se a proposta estiver incorreta, clique em Remover da solicitação no painel lateral e em Remover para confirmar. Isso remove permanentemente a mudança proposta, impedindo que ela seja adicionada ao catálogo quando você aprovar a execução.
Depois de revisar todas as propostas, clique em Aprovar no cabeçalho da seção Propostas para mesclar as propostas restantes ao seu catálogo. Se toda a execução estiver incorreta, clique em Negar.
Ver métricas de avaliação de ponta a ponta
A guia Avaliação mede o impacto da execução de enriquecimento. Ele compara a qualidade das respostas dos seus dados às perguntas de teste com os metadados propostos em relação a sem eles. Isso ajuda a determinar se você deve aprovar a execução ou ajustar os conjuntos de contexto.
Ao avaliar os resultados, use a coluna Motivo para entender o raciocínio. O agente fornece um raciocínio detalhado comparando a lógica dele com a referência. É possível usar esse feedback para entender por que o agente falhou (por exemplo, se faltou uma junção de tabela crítica). Em seguida, use essas informações para melhorar os dados de origem ou esclarecer o conjunto de contexto.
Para interpretar os resultados da avaliação:
- Na página Detalhes da execução de enriquecimento, clique na guia Avaliação.
- Confira as pontuações na parte de cima da guia. Foque no Delta, que mostra a mudança percentual geral na taxa de aprovação, indicando o valor de alto nível adicionado pelas propostas de enriquecimento.
- Analise as métricas de resumo para ver mudanças estatísticas (como média ou máxima) em critérios específicos, como precisão do resultado dos dados.
- Use a tabela Resultados por caso para depurar lacunas cognitivas específicas. Esta
tabela lista todas as perguntas de teste avaliadas durante a execução.
- Filtre a lista para localizar resultados de Falha ou entradas
Still failingna coluna Alteração. - Leia a explicação na coluna Motivo para entender as falhas da IA.
- Filtre a lista para localizar resultados de Falha ou entradas
Artefatos de execução de auditoria
A guia Artefatos contém diagnósticos detalhados e evidências que apoiam as decisões da IA. Acesse essa guia quando precisar entender por que uma proposta recebeu uma pontuação de confiança baixa. Também é possível usá-lo para auditar traces de conversa brutos e regras aprendidas extraídas pelo agente.
Ao acessar a guia Aprendizados, verifique as contagens de Aplicado em comparação com Requer
atenção. A contagem de Aplicados mostra quantos novos fatos foram
adicionados ao sistema, enquanto Requer atenção sinaliza descobertas contraditórias
ou ambíguas que exigem limpeza manual. Uma contagem de 0 significa que nenhum conhecimento novo
foi extraído nesta rodada, o que é um resultado normal. Se os itens forem
sinalizados como ambíguos ou conflitos, isso significa que o agente encontrou informações
contraditórias nas suas fontes que você precisa resolver no conjunto de contexto.
Ao visualizar a guia Pontuações de confiança, leia a frase de resumo (por exemplo, O que impediu a maioria das propostas). Acesse a seção Mudanças propostas para isolar as mudanças com as classificações mais baixas. Se uma mudança estiver listada aqui, é provável que ela tenha falhado nas verificações de embasamento ou não tenha evidências suficientes. Use essa lista para priorizar quais propostas rejeitar.
Para ver os artefatos de execução:
Na página Detalhes da execução de enriquecimento, clique na guia Artefatos.
Confira as seguintes subguias para inspecionar os dados de diagnóstico:
Aprendizados: mostra se o agente extraiu com sucesso novos conhecimentos tácitos (por exemplo, de registros de conversas ou históricos de chat). Também é possível ver os rastros de conversa que levaram a propostas específicas.
Pontuações de confiança: detalha a classificação de confiança da IA em três dimensões: Embasamento, Corroboração e Qualidade da fonte. Também é possível acessar o conjunto de dados bruto
dynamic_eval.jsonnessa seção se você precisar auditar as avaliações.
Resolver problemas de execuções com falha
A guia Registros contém traces detalhados de execução do sistema. Acesse essa guia para resolver problemas de back-end ou investigar por que um job de enriquecimento não foi executado até o fim.
Para resolver problemas de uma execução com falha ou inspecionar os detalhes da execução:
- Na página Detalhes da execução de enriquecimento, clique na guia Registros.
- Use o menu suspenso Gravidade ou a barra Filtro para restringir os resultados do registro.
- Analisar os traces de execução e os registros do sistema.
- O que procurar:procure entradas de gravidade vermelhas
ERRORouFATALque indiquem falhas de back-end, como esgotamento de cota ou tempos limite da API.
- O que procurar:procure entradas de gravidade vermelhas
Como alternativa, é possível consultar os registros de diagnóstico diretamente usando o Cloud Logging. Os registros de execução detalhados do agente de enriquecimento são roteados automaticamente para o Cloud Logging. As instruções confidenciais do sistema e os dados brutos são encobertos.
Use as seguintes consultas na Análise de Registros para filtrar registros:
Veja todos os registros de tarefas de enriquecimento:
resource.type="dataplex.googleapis.com/EnrichmentWorkflow"Filtrar registros de uma tarefa específica:
text resource.labels.workflow_id="YOUR_TASK_NAME"Filtrar registros de uma execução específica:
text labels.run_id="YOUR_RUN_ID"Filtrar por avisos e erros:
text severity>=WARNING
Também é possível usar essas consultas para configurar políticas de alertas do Cloud Monitoring
com base nas métricas de registro do Cloud Logging. Por exemplo, é possível encaminhar proativamente
um alerta para o Slack, o PagerDuty ou uma lista de distribuição de e-mails sempre que uma
execução de enriquecimento falhar (severity>=ERROR).
Iterar em uma tarefa de enriquecimento
Se uma execução de enriquecimento gerar propostas imprecisas ou falhar nas verificações de embasamento
(relatando confiança Low), não aprove a execução. Em vez disso, é necessário
melhorar as informações fornecidas ao agente e executar a tarefa novamente.
Na guia Visão geral, na seção Propostas, clique em Negar.
Se o agente interpretou incorretamente seus esquemas de dados, acesse as definições de origem no Knowledge Catalog e melhore as descrições dos esquemas.
Se o agente não tiver lógica de negócios suficiente ou usar as tabelas erradas para responder às perguntas, acesse o conjunto de contexto anexado à tarefa.
- Adicionar recursos: adicione documentação interna ausente, exemplos de consultas válidas ou tabelas relacionadas ausentes ao conjunto de contexto para fornecer mais fatos ao agente.
- Remover recursos: remova documentos desatualizados ou termos de glossário conflitantes se eles confundirem o agente.
Acesse a página Enriquecimento e selecione sua tarefa.
Clique em Editar para verificar se ele aponta para o conjunto de contexto atualizado e, em seguida, clique em Executar para gerar um novo conjunto de propostas.