Valuta e approva le proposte di arricchimento

Anteprima

Questa funzionalità è soggetta ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Anteprima con accesso controllato di Knowledge Studio
Knowledge Studio è attualmente disponibile come anteprima con accesso controllato. Per accedere al grafico del contesto, creare set di contesto ed eseguire workflow di arricchimento, devi prima richiedere l'autorizzazione per la tua organizzazione.

Richiedi l'accesso all'anteprima

Questa guida è rivolta ai data steward e agli amministratori del catalogo. Descrive come valutare e approvare le proposte di metadati generate dalle esecuzioni di arricchimento.

Ogni volta che esegui un'attività di arricchimento, viene generata un'esecuzione di arricchimento. L'esecuzione elabora il set di contesto in base agli indicatori di conoscenza, genera metriche di valutazione e propone nuove proprietà dei metadati.

Puoi visualizzare i dettagli delle esecuzioni storiche, valutarne le prestazioni e decidere se approvare o rifiutare le modifiche ai metadati proposte.

Prima di iniziare

Per ottenere le autorizzazioni necessarie per valutare e approvare le esecuzioni di arricchimento, chiedi all'amministratore di concederti uno dei seguenti ruoli IAM nel progetto:

• Dataplex Catalog Editor (roles/dataplex.catalogEditor)
• Dataplex Catalog Admin (roles/dataplex.catalogAdmin)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Devi anche avere un'attività di arricchimento attiva eseguita nel tuo progetto. Per saperne di più, consulta Crea attività di arricchimento.

Flusso di lavoro di valutazione

Puoi esaminare un'esecuzione di arricchimento in tre fasi:

1. Valuta la fattibilità complessiva:controlla i punteggi aggregati nelle schede Panoramica e Valutazione. In questo modo, puoi capire se l'esecuzione ha avuto esito positivo o se si tratta di un'allucinazione completa prima di approfondire i dettagli.

2. Esamina le singole proposte:filtra la scheda Panoramica per le proposte con affidabilità Low. Se la decisione di una proposta non è chiara, utilizza la scheda Artefatti per controllare le tracce della conversazione non elaborate e capire perché l'agente ha fornito il suggerimento.

3. Approva o rifiuta l'esecuzione: esegui un controllo finale. Se la maggior parte dei suggerimenti è valida e adeguatamente fondata, approva l'esecuzione per unire i metadati al tuo catalogo. Se presenta molti difetti, rifiuta l'esecuzione, migliora i set di contesto e riprova.

Apri un'esecuzione di arricchimento

Per visualizzare i dettagli di un'esecuzione di arricchimento:

1. Nella console Google Cloud , vai alla pagina Knowledge Studio.

   Vai a Knowledge Studio

2. Nel riquadro di navigazione a sinistra, seleziona Arricchimenti.

   Si apre la pagina Arricchimento, che mostra un elenco di attività attive, non riuscite e riuscite. L'elenco delle attività include il nome, lo stato, il riepilogo dell'esecuzione, l'attivatore e la data dell'ultima modifica dell'attività.

3. Nell'elenco delle attività, fai clic sul nome dell'attività di arricchimento che vuoi esaminare.

4. Fai clic sulla scheda Job.

5. Nell'elenco dei job, fai clic sul Nome (ID) collegato dell'esecuzione che vuoi visualizzare. In alternativa, puoi fare clic su Azioni accanto a un'esecuzione e selezionare Visualizza risultato.

Viene visualizzata la pagina Dettagli esecuzione arricchimento.

La pagina dei dettagli organizza i risultati nelle seguenti schede:

Tab	Utilizza questa scheda per…
Panoramica	Valuta l'integrità e l'affidabilità di alto livello, quindi esamina e approva le proposte di metadati generate. Risponde alle domande: Questa esecuzione è per lo più corretta? e Cosa verrà pubblicato esattamente nel catalogo?
Valutazione	Controlla i punteggi quantitativi e le metriche di superamento/mancato superamento. Risponde alla domanda: la logica di arricchimento ha effettivamente migliorato l'usabilità dei dati?
Artefatti	Esamina la diagnostica, l'apprendimento tacito e i punteggi di grounding. Risponde alla domanda: Perché l'agente ha preso questa decisione e la logica è affidabile?
Log	Risolvi i problemi relativi alle tracce di esecuzione del sistema. Risponde alla domanda: Il job non è riuscito tecnicamente?

Valuta la fattibilità complessiva dell'esecuzione

La scheda Panoramica è il tuo punto di partenza. Visita questa scheda per valutare il successo complessivo dell'esecuzione, sfogliare le metriche di alto livello ed esaminare o approvare le modifiche specifiche ai metadati proposte dall'AI.

Per esaminare il riepilogo dell'esecuzione:

1. Nella pagina Dettagli esecuzione arricchimento, seleziona la scheda Panoramica.

2. Esamina il report Arricchimento. In questa sezione viene mostrato lo stato di salute generale dell'esecuzione, inclusi il punteggio aggregato, lo stato (ad esempio "Richiede revisione"), la durata, i token totali utilizzati e un riepilogo che descrive l'affidabilità complessiva delle proposte.

   Cosa cercare: esamina il punteggio aggregato e il riepilogo per valutare rapidamente se l'esecuzione è riuscita a livello macroscopico prima di approfondire le singole proposte. Ad esempio, un punteggio pari o superiore all'80% indica generalmente un'esecuzione con un livello di confidenza elevato, mentre punteggi inferiori potrebbero richiedere una revisione più attenta delle proposte.

3. Consulta la sezione Valutazione end-to-end. Vengono visualizzate le percentuali di superamento di base e previste per i casi di valutazione. Un'esecuzione accettabile in genere genera un delta positivo (ad esempio +5%), che indica che i metadati proposti migliorano l'usabilità complessiva dei dati rispetto alla base di riferimento.

4. Esamina la sezione Proposte. Questa sezione mostra un riepilogo generale delle modifiche proposte (ad esempio il numero totale di creazioni, aggiornamenti o eliminazioni), seguito da un elenco di proposte raggruppate per tipo di risorsa (ad esempio, Documenti della Knowledge Base). Puoi filtrare i suggerimenti in base al livello di confidenza (High, Medium, Low, N/A) ed espandere i tipi di risorse per visualizzare voci specifiche.

   Cosa cercare: cerca in particolare i suggerimenti con un livello di confidenza Low, in quanto in genere indicano un contesto mancante o allucinazioni che devono essere rifiutate.

Esamina le singole proposte

A meno che tu non abbia attivato la pubblicazione automatica nell'attività, le esecuzioni di arricchimento non modificano automaticamente i metadati. L'esecuzione genera modifiche proposte che devi approvare.

Quando esamini le proposte, ti consigliamo di filtrarle in base al punteggio di affidabilità e di esaminare prima le proposte con affidabilità Low, in quanto richiedono un'analisi più approfondita e hanno maggiori probabilità di richiedere modifiche manuali o di essere rifiutate. Verifica che il codice Markdown, i tag o le descrizioni generati rappresentino accuratamente la tua logica di business in modalità Anteprima e cerca eventuali override degli attributi non intenzionali nella visualizzazione Modifiche.

Per esaminare le proposte specifiche generate dall'esecuzione:

1. Nella scheda Dettagli esecuzione arricchimento, nella sezione Proposte, individua la proposta che vuoi esaminare.

2. Fai clic su Visualizza proposta per la voce. Si apre il riquadro laterale Modifiche proposte.

3. Nel riquadro laterale, rivedi e, se vuoi, modifica i metadati generati dall'AI.

   • Nella risorsa specifica in fase di modifica (ad esempio, l'aspetto Panoramica), utilizza l'opzione di attivazione/disattivazione della visualizzazione per passare da una visualizzazione all'altra.

     La visualizzazione Modifiche consente di esaminare la differenza esatta che viene inviata al catalogo.

     La visualizzazione Anteprima mostra la formattazione leggibile dei documenti e delle tabelle generati.

   • Per modificare manualmente la proposta dell'AI, fai clic su Modifica accanto al nome della risorsa, apporta le modifiche nell'editor di testo e poi fai clic su Salva.

4. Se la proposta non è corretta, fai clic su Rimuovi dalla richiesta nel riquadro laterale, quindi su Rimuovi per confermare. In questo modo, la modifica proposta viene rimossa definitivamente e non viene aggiunta al catalogo quando approvi l'esecuzione.

5. Dopo aver esaminato tutte le proposte, fai clic su Approva nell'intestazione della sezione Proposte per unire le proposte rimanenti al tuo catalogo. In alternativa, se l'intera corsa non è precisa, puoi fare clic su Nega.

Visualizza le metriche di valutazione end-to-end

La scheda Valutazione misura l'impatto dell'esecuzione dell'arricchimento. Confronta l'efficacia con cui i tuoi dati rispondono alle domande del test con i metadati proposti rispetto a senza. In questo modo puoi decidere se approvare l'esecuzione o modificare i set di contesto.

Quando valuti i risultati, utilizza la colonna Perché per comprendere il ragionamento. L'agente fornisce un ragionamento dettagliato confrontando la sua logica con il riferimento. Puoi utilizzare questo feedback per capire perché l'agente non è riuscito (ad esempio, manca un join di tabella critico). Puoi quindi utilizzare queste informazioni per migliorare i dati di origine o chiarire il set di contesto.

Per interpretare i risultati della valutazione:

1. Nella pagina Dettagli esecuzione arricchimento, fai clic sulla scheda Valutazione.
2. Esamina i punteggi nella parte superiore della scheda. Concentrati sul Delta, che mostra la variazione percentuale complessiva del tasso di superamento, indicando il valore aggiunto di alto livello fornito dalle proposte di arricchimento.
3. Esamina le metriche di riepilogo per visualizzare le modifiche statistiche (ad esempio Media o Massimo) in base a criteri specifici, come Accuratezza dei risultati dei dati.
4. Utilizza la tabella Risultati per caso per eseguire il debug di lacune cognitive specifiche. Questa tabella elenca tutte le domande del test valutate durante l'esecuzione.
   • Filtra l'elenco per individuare i risultati Non riuscito o le voci Still failing nella colonna Modifica.
   • Leggi la spiegazione nella colonna Perché per comprendere gli errori dell'AI.

Artefatti dell'esecuzione del controllo

La scheda Artefatti contiene dati diagnostici dettagliati e prove a supporto delle decisioni dell'AI. Visita questa scheda quando vuoi capire perché una proposta ha ricevuto un punteggio di confidenza basso. Puoi anche utilizzarlo per controllare le tracce delle conversazioni non elaborate e le regole apprese estratte dall'agente.

Quando visualizzi la scheda Apprendimenti, controlla i conteggi di Applicati e Richiede attenzione. Il conteggio Applicati mostra quanti nuovi fatti sono stati aggiunti correttamente al sistema, mentre Richiede attenzione segnala risultati contraddittori o ambigui che richiedono una pulizia manuale. Un conteggio pari a 0 indica che non sono state estratte nuove conoscenze in questo round, il che è un risultato normale. Se gli elementi sono contrassegnati come ambigui o conflitti, significa che l'agente ha trovato informazioni contraddittorie nelle tue fonti che devi risolvere nel set di contesto.

Quando visualizzi la scheda Punteggi di affidabilità, leggi la frase di riepilogo (ad esempio, Cosa ha frenato la maggior parte delle proposte). Vai alla sezione Modifiche proposte per isolare le modifiche con la valutazione più bassa. Se una modifica è elencata qui, è probabile che non abbia superato i controlli di grounding o che non abbia prove sufficienti. Utilizza questo elenco per stabilire la priorità delle proposte da rifiutare.

Per visualizzare gli artefatti di esecuzione:

1. Nella pagina Dettagli esecuzione arricchimento, fai clic sulla scheda Artefatti.

2. Esamina le seguenti sottoschede per controllare i dati diagnostici:

   • Apprendimenti: indica se l'agente ha estratto correttamente nuove conoscenze tacite (ad esempio dai log delle conversazioni o dalle cronologie delle chat). Puoi anche visualizzare le tracce della conversazione che hanno portato a proposte specifiche.

   • Punteggi di affidabilità: suddivide la valutazione dell'affidabilità dell'AI in tre dimensioni: Grounding, Conferma e Qualità della fonte. Da questa sezione puoi anche accedere al set di dati dynamic_eval.json non elaborato se devi controllare le valutazioni.

Risolvi i problemi relativi alle esecuzioni non riuscite

La scheda Log contiene tracce dettagliate dell'esecuzione del sistema. Visita questa scheda per risolvere i problemi di backend o per capire perché un job di arricchimento non è stato eseguito fino al completamento.

Per risolvere i problemi relativi a un'esecuzione non riuscita o esaminare i dettagli dell'esecuzione:

1. Nella pagina Dettagli esecuzione arricchimento, fai clic sulla scheda Log.
2. Utilizza il menu a discesa Gravità o la barra Filtro per restringere i risultati dei log.
3. Esamina le tracce di esecuzione e il logging di sistema.
   • Cosa cercare: cerca le voci di gravità ERROR o FATAL rosse che indicano errori del backend, come l'esaurimento della quota o i timeout dell'API.

In alternativa, puoi eseguire query sui log di diagnostica direttamente utilizzando Cloud Logging. I log di esecuzione dettagliati dell'agente di arricchimento vengono indirizzati automaticamente a Cloud Logging. Le istruzioni di sistema sensibili e i dati non elaborati vengono oscurati.

Utilizza le seguenti query in Esplora log per filtrare i log:

• Visualizza tutti i log per le attività di arricchimento:

  resource.type="dataplex.googleapis.com/EnrichmentWorkflow"
  

• Filtra i log per un'attività specifica: text resource.labels.workflow_id="YOUR_TASK_NAME"

• Filtra i log per un'esecuzione specifica: text labels.run_id="YOUR_RUN_ID"

• Filtra per avvisi ed errori: text severity>=WARNING

Puoi anche utilizzare queste query per configurare le policy di avviso di Cloud Monitoring in base alle metriche basate sui log di Cloud Logging. Ad esempio, puoi indirizzare in modo proattivo un avviso a Slack, PagerDuty o a una lista di distribuzione email ogni volta che un'esecuzione di arricchimento non va a buon fine (severity>=ERROR).

Esegui l'iterazione di un'attività di arricchimento

Se un'esecuzione di arricchimento genera proposte imprecise o non supera i controlli di grounding (segnalando un livello di confidenza Low), non approvare l'esecuzione. Devi invece migliorare le informazioni fornite all'agente ed eseguire nuovamente l'attività.

1. Nella scheda Panoramica, nella sezione Proposte, fai clic su Rifiuta.

2. Se l'agente ha interpretato in modo errato gli schemi dei dati, vai alle definizioni delle origini in Knowledge Catalog e migliora le descrizioni degli schemi.

3. Se l'agente non disponeva di una logica di business sufficiente o ha utilizzato le tabelle sbagliate per rispondere alle domande, vai al set di contesto allegato all'attività.

   • Aggiungi risorse: aggiungi documentazione interna mancante, esempi di query validi o tabelle correlate mancanti al set di contesto per fornire all'agente più informazioni.
   • Rimuovi le risorse: rimuovi i documenti obsoleti o i termini del glossario in conflitto se hanno confuso l'agente.

4. Vai alla pagina Arricchimento e seleziona l'attività.

5. Fai clic su Modifica per verificare che rimandi al set di contesti aggiornato, quindi fai clic su Esegui per generare un nuovo insieme di proposte.

Passaggi successivi

• Gestisci i set di contesto.