Dieser Leitfaden richtet sich an Data Stewards und Katalogadministratoren. Außerdem wird beschrieben, wie Sie die von Anreicherungsausführungen generierten Metadatenvorschläge bewerten und genehmigen.
Jedes Mal, wenn Sie eine Anreicherungsaufgabe ausführen, wird ein Anreicherungslauf generiert. Bei der Ausführung wird Ihr Kontextset mit Ihren Wissenssignalen abgeglichen, es werden Bewertungsmesswerte generiert und neue Metadaten-Properties vorgeschlagen.
Sie können sich die Details früherer Ausführungen ansehen, ihre Leistung bewerten und entscheiden, ob Sie die vorgeschlagenen Metadatenänderungen genehmigen oder ablehnen möchten.
Hinweis
Bitten Sie Ihren Administrator, Ihnen eine der folgenden IAM-Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Bewerten und Genehmigen von Anreicherungsausführungen benötigen:
- Dataplex Catalog Editor (
roles/dataplex.catalogEditor) - Dataplex Catalog-Administrator (
roles/dataplex.catalogAdmin)
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Außerdem muss in Ihrem Projekt eine aktive Anreicherungsaufgabe ausgeführt werden. Weitere Informationen finden Sie unter Anreicherungsaufgaben erstellen.
Bewertungs-Workflow
Sie können einen Anreicherungslauf in drei Phasen überprüfen:
Gesamtleistung bewerten:Sehen Sie sich die aggregierten Werte auf den Tabs Übersicht und Bewertung an. So erfahren Sie, ob der Durchlauf im Großen und Ganzen erfolgreich war oder ob es sich um eine vollständige Halluzination handelt, bevor Sie sich mit den Details befassen.
Einzelne Vorschläge prüfen:Filtern Sie den Tab Übersicht nach Vorschlägen mit dem Konfidenzniveau
Low. Wenn die Entscheidung eines Vorschlags unklar ist, können Sie auf dem Tab Artefakte die Rohdaten der Unterhaltung prüfen, um nachzuvollziehen, warum der Agent den Vorschlag gemacht hat.Ausführung genehmigen oder ablehnen: Führen Sie eine letzte Prüfung durch. Wenn die meisten Vorschläge sinnvoll und richtig begründet sind, genehmigen Sie die Ausführung, um die Metadaten in Ihren Katalog zusammenzuführen. Wenn sie stark fehlerhaft ist, lehnen Sie die Ausführung ab, verbessern Sie Ihre Kontextsets und versuchen Sie es noch einmal.
Anreicherungsausführung öffnen
So rufen Sie die Details einer Anreicherungsausführung auf:
Rufen Sie in der Google Cloud Console die Seite Knowledge Studio auf.
Wählen Sie im linken Navigationsbereich Anreicherungen aus.
Die Seite Anreicherung wird geöffnet und zeigt eine Liste der aktiven, fehlgeschlagenen und erfolgreichen Aufgaben an. Die Aufgabenliste enthält den Aufgabennamen, den Status, die Ausführungszusammenfassung, den Trigger und das Datum der letzten Änderung.
Klicken Sie in der Liste der Aufgaben auf den Namen der Anreicherungsaufgabe, die Sie untersuchen möchten.
Klicken Sie auf den Tab Jobs.
Klicken Sie in der Liste der Jobs auf den verknüpften Namen (ID) der Ausführung, die Sie sich ansehen möchten. Alternativ können Sie neben einem Durchlauf auf Aktionen klicken und Ergebnis ansehen auswählen.
Die Seite Details zur Anreicherungsausführung wird geöffnet.
Auf der Detailseite werden die Ergebnisse auf den folgenden Tabs organisiert:
| Tabulatortaste | Auf diesem Tab können Sie Folgendes tun: |
|---|---|
| Übersicht | Bewerten Sie die allgemeine Integrität und Konfidenz und prüfen und genehmigen Sie die generierten Metadatenvorschläge. Beantwortet die Fragen: Ist diese Ausführung größtenteils gut? und Was genau wird im Katalog veröffentlicht? |
| Evaluierung | Prüfen Sie die quantitative Bewertung und die Messwerte für „Bestanden“/„Nicht bestanden“. Beantwortet die Frage: Hat die Anreicherungslogik die Nutzerfreundlichkeit der Daten tatsächlich verbessert? |
| Artefakte | Diagnose, implizites Lernen und Fundierungswerte prüfen. Beantwortet die Frage: Warum hat der Agent diese Entscheidung getroffen und ist die Logik vertrauenswürdig? |
| Mehr über Logs erfahren | Fehlerbehebung bei Systemausführungs-Traces Beantwortet die Frage: Ist der Job technisch fehlgeschlagen? |
Gesamte Durchführbarkeit des Laufs bewerten
Der Tab Übersicht ist Ihr Ausgangspunkt. Auf diesem Tab können Sie den Gesamterfolg des Durchlaufs beurteilen, die allgemeinen Messwerte ansehen und die von der KI vorgeschlagenen spezifischen Metadatenänderungen prüfen oder genehmigen.
So rufen Sie die Ausführungszusammenfassung auf:
Wählen Sie auf der Seite Details zur Anreicherungsausführung den Tab Übersicht aus.
Sehen Sie sich den Bericht zur Anreicherung an. In diesem Abschnitt wird der Gesamtzustand des Durchlaufs angezeigt, einschließlich der Gesamtbewertung, des Status (z. B. „Überprüfung erforderlich“), der Dauer, der insgesamt verwendeten Tokens und einer Zusammenfassung, die die Gesamtkonfidenz der Vorschläge beschreibt.
Worauf Sie achten sollten: Sehen Sie sich die Gesamtbewertung und die Zusammenfassung an, um schnell zu beurteilen, ob der Durchlauf auf makroskopischer Ebene erfolgreich war, bevor Sie sich die einzelnen Vorschläge genauer ansehen. Ein Wert von 80% oder höher weist beispielsweise im Allgemeinen auf einen Durchlauf mit hoher Konfidenz hin, während bei niedrigeren Werten die Vorschläge möglicherweise genauer geprüft werden müssen.
Lesen Sie den Abschnitt End-to-End-Bewertung. Hier werden die Baseline- und die prognostizierten Erfolgsraten für Ihre Bewertungsfälle angezeigt. Ein akzeptabler Durchlauf führt in der Regel zu einem positiven Delta (z. B. +5%), was darauf hindeutet, dass die vorgeschlagenen Metadaten die allgemeine Nutzbarkeit der Daten im Vergleich zur Baseline verbessern.
Sehen Sie sich den Bereich Angebote an. In diesem Abschnitt wird eine allgemeine Zusammenfassung der vorgeschlagenen Änderungen angezeigt (z. B. die Gesamtzahl der Erstellungen, Aktualisierungen oder Löschungen), gefolgt von einer Liste der Vorschläge, die nach Ressourcentyp gruppiert sind (z. B. Wissensdatenbankdokumente). Sie können die Vorschläge nach Konfidenzniveau (
High,Medium,Low,N/A) filtern und die Ressourcentypen maximieren, um bestimmte Einträge anzusehen.Worauf Sie achten sollten: Achten Sie insbesondere auf Vorschläge mit
LowKonfidenz, da diese in der Regel auf fehlenden Kontext oder Halluzinationen hinweisen, die abgelehnt werden müssen.
Einzelne Angebote prüfen
Sofern Sie die automatische Veröffentlichung für die Aufgabe nicht aktiviert haben, werden Ihre Metadaten durch Anreicherungsausführungen nicht automatisch geändert. Bei der Ausführung werden vorgeschlagene Änderungen generiert, die Sie genehmigen müssen.
Wir empfehlen, die Vorschläge nach Konfidenzwert zu filtern und die Vorschläge mit der Konfidenz Low zuerst zu prüfen, da sie am genauesten geprüft werden müssen und am wahrscheinlichsten manuell angepasst oder abgelehnt werden müssen. Prüfen Sie im Modus Vorschau, ob die generierten Markdown-Inhalte, Tags oder Beschreibungen Ihre Geschäftslogik korrekt darstellen, und suchen Sie in der Ansicht Änderungen nach unbeabsichtigten Attributüberschreibungen.
So rufen Sie die spezifischen Vorschläge auf, die durch die Ausführung generiert wurden:
Suchen Sie auf dem Tab Details zum Anreicherungslauf im Abschnitt Vorschläge nach dem Vorschlag, den Sie prüfen möchten.
Klicken Sie für den Eintrag auf Angebot ansehen. Die Seitenleiste Vorgeschlagene Änderungen wird geöffnet.
Prüfen Sie in der Seitenleiste die von der KI generierten Metadaten und bearbeiten Sie sie bei Bedarf.
Verwenden Sie unter der jeweiligen Ressource, die geändert wird (z. B. dem Aspekt Übersicht), die Ansichtsauswahl, um zwischen den Ansichten zu wechseln.
In der Ansicht Änderungen können Sie die genauen Unterschiede sehen, die an den Katalog übertragen werden.
In der Ansicht Vorschau wird die nutzerfreundliche Formatierung der generierten Dokumente und Tabellen angezeigt.
Wenn Sie den Vorschlag der KI manuell anpassen möchten, klicken Sie neben dem Ressourcennamen auf Bearbeiten, nehmen Sie die gewünschten Änderungen im Texteditor vor und klicken Sie dann auf Speichern.
Wenn der Vorschlag nicht korrekt ist, klicken Sie in der Seitenleiste auf Aus Anfrage entfernen und dann zur Bestätigung auf Entfernen. Dadurch wird die vorgeschlagene Änderung endgültig entfernt und nicht dem Katalog hinzugefügt, wenn Sie die Ausführung genehmigen.
Nachdem Sie alle Vorschläge geprüft haben, klicken Sie im Abschnitt Vorschläge auf Genehmigen, um die verbleibenden Vorschläge in Ihren Katalog aufzunehmen. Wenn der gesamte Lauf ungenau ist, können Sie alternativ auf Ablehnen klicken.
End-to-End-Bewertungsmesswerte ansehen
Auf dem Tab Bewertung werden die Auswirkungen der Anreicherung gemessen. Dabei wird verglichen, wie gut Ihre Daten Testfragen mit den vorgeschlagenen Metadaten im Vergleich zu ohne diese beantworten. So können Sie entscheiden, ob Sie die Ausführung genehmigen oder Ihre Kontextsätze anpassen möchten.
Sehen Sie sich beim Auswerten der Ergebnisse die Spalte Warum an, um die Begründung nachzuvollziehen. Der KI-Agent liefert eine detaillierte Begründung, in der er seine Logik mit der Referenz vergleicht. Anhand dieses Feedbacks können Sie nachvollziehen, warum der Agent fehlgeschlagen ist (z. B. weil ein wichtiger Tabellen-Join fehlt). Anhand dieser Informationen können Sie dann Ihre Quelldaten verbessern oder Ihren Kontextsatz präzisieren.
So interpretieren Sie die Bewertungsergebnisse:
- Klicken Sie auf der Seite Details zur Anreicherungsausführung auf den Tab Bewertung.
- Sehen Sie sich die Punktzahlen oben auf dem Tab an. Konzentrieren Sie sich auf das Delta, das die prozentuale Gesamtänderung der Erfolgsquote zeigt und den allgemeinen Mehrwert der Anreicherungsvorschläge angibt.
- Sehen Sie sich die Zusammenfassenden Messwerte an, um statistische Änderungen (z. B. Durchschnitt oder Maximum) für bestimmte Kriterien wie Genauigkeit der Datenergebnisse zu sehen.
- Verwenden Sie die Tabelle Ergebnisse pro Fall, um bestimmte kognitive Lücken zu beheben. In dieser Tabelle sind alle Testfragen aufgeführt, die während des Durchlaufs ausgewertet wurden.
- Filtern Sie die Liste, um in der Spalte Änderung nach Ergebnissen mit dem Status Fehlgeschlagen oder
Still failing-Einträgen zu suchen. - Lesen Sie die Erklärung in der Spalte Warum, um KI-Fehler zu verstehen.
- Filtern Sie die Liste, um in der Spalte Änderung nach Ergebnissen mit dem Status Fehlgeschlagen oder
Artefakte der Prüfungsausführung
Der Tab Artefakte enthält detaillierte Diagnosen und Belege, die die Entscheidungen der KI untermauern. Auf diesem Tab können Sie nachvollziehen, warum ein Vorschlag einen niedrigen Konfidenzwert erhalten hat. Sie können damit auch Roh-Unterhaltungs-Traces und vom Agent extrahierte gelernte Regeln prüfen.
Prüfen Sie auf dem Tab Lernprozesse die Anzahl der Angewendeten im Vergleich zu den Maßnahme erforderlich-Elementen. Die Anzahl der angewendeten Fakten gibt an, wie viele neue Fakten dem System hinzugefügt wurden. Maßnahme erforderlich kennzeichnet widersprüchliche oder mehrdeutige Ergebnisse, die manuell bereinigt werden müssen. Eine Anzahl von 0 bedeutet, dass in dieser Runde kein neues Wissen extrahiert wurde. Das ist ein normales Ergebnis. Wenn Elemente als Mehrdeutig oder Konflikte gekennzeichnet sind, hat der Agent widersprüchliche Informationen in Ihren Quellen gefunden, die Sie in Ihrem Kontextset beheben müssen.
Lesen Sie auf dem Tab Konfidenzwerte den zusammenfassenden Satz (z. B. Was die meisten Vorschläge zurückgehalten hat). Gehen Sie zum Abschnitt Vorgeschlagene Änderungen, um die am schlechtesten bewerteten Änderungen zu isolieren. Wenn eine Änderung hier aufgeführt ist, hat sie wahrscheinlich die Fundierungsprüfungen nicht bestanden oder es gab nicht genügend Belege. Anhand dieser Liste können Sie priorisieren, welche Angebote abgelehnt werden sollen.
So rufen Sie Ausführungsartefakte auf:
Klicken Sie auf der Seite Details zur Anreicherungsausführung auf den Tab Artefakte.
Sehen Sie sich die folgenden Untertabs an, um Diagnosedaten zu prüfen:
Erkenntnisse: Zeigt an, ob der Agent erfolgreich neues implizites Wissen (z. B. aus Unterhaltungsprotokollen oder Chatverläufen) gewonnen hat. Sie können sich auch die Unterhaltungs-Traces ansehen, die zu bestimmten Vorschlägen geführt haben.
Konfidenzwerte: Hier wird die Konfidenzbewertung der KI in drei Dimensionen aufgeschlüsselt: Fundierung, Bestätigung und Quellenqualität. In diesem Abschnitt können Sie auch auf das Roh-Dataset
dynamic_eval.jsonzugreifen, wenn Sie die Bewertungen prüfen möchten.
Fehlerbehebung bei fehlgeschlagenen Ausführungen
Der Tab Logs enthält detaillierte Traces zur Systemausführung. Auf diesem Tab können Sie Backend-Fehler beheben oder untersuchen, warum ein Anreicherungsjob nicht vollständig ausgeführt wurde.
So beheben Sie Fehler bei einer fehlgeschlagenen Ausführung oder prüfen Ausführungsdetails:
- Klicken Sie auf der Seite Details zur Anreicherungsausführung auf den Tab Logs.
- Verwenden Sie das Drop-down-Menü Schweregrad oder die Filterleiste, um die Logergebnisse einzugrenzen.
- Ausführungs-Traces und Systemprotokollierung prüfen
- Worauf Sie achten sollten: Suchen Sie nach roten Einträgen mit dem Schweregrad
ERRORoderFATAL, die auf Backend-Fehler hinweisen, z. B. ausgeschöpfte Kontingente oder API-Zeitüberschreitungen.
- Worauf Sie achten sollten: Suchen Sie nach roten Einträgen mit dem Schweregrad
Alternativ können Sie Diagnoselogs direkt mit Cloud Logging abfragen. Detaillierte Ausführungslogs des Anreicherungs-Agents werden automatisch an Cloud Logging weitergeleitet. Sensible Systemanweisungen und Rohdaten werden entfernt.
Verwenden Sie die folgenden Abfragen im Log-Explorer, um Logs zu filtern:
Alle Logs für Anreicherungsaufgaben ansehen:
resource.type="dataplex.googleapis.com/EnrichmentWorkflow"Logs für eine bestimmte Aufgabe filtern:
text resource.labels.workflow_id="YOUR_TASK_NAME"Logs für eine bestimmte Ausführung filtern:
text labels.run_id="YOUR_RUN_ID"Nach Warnungen und Fehlern filtern:
text severity>=WARNING
Sie können diese Abfragen auch verwenden, um Cloud Monitoring-Benachrichtigungsrichtlinien basierend auf Ihren Cloud Logging-Messwerten zu konfigurieren. Sie können beispielsweise eine Benachrichtigung proaktiv an Slack, PagerDuty oder eine E-Mail-Verteilerliste weiterleiten, wenn ein Anreicherungslauf fehlschlägt (severity>=ERROR).
Anreicherungstask iterieren
Wenn ein Anreicherungslauf ungenaue Vorschläge generiert oder die Fundierungsprüfungen fehlschlagen (Konfidenz von Low wird gemeldet), genehmigen Sie den Lauf nicht. Stattdessen müssen Sie die Informationen verbessern, die dem Agenten zur Verfügung gestellt werden, und die Aufgabe noch einmal ausführen.
Klicken Sie auf dem Tab Übersicht im Bereich Vorschläge auf Ablehnen.
Wenn der KI-Agent Ihre Datenschemas falsch interpretiert hat, rufen Sie die Quelldefinitionen in Knowledge Catalog auf und verbessern Sie die Schemabeschreibungen.
Wenn der KI-Agent nicht über ausreichende Geschäftslogik verfügte oder die falschen Tabellen zum Beantworten von Fragen verwendet hat, rufen Sie den angehängten Kontextsatz der Aufgabe auf.
- Ressourcen hinzufügen: Fügen Sie dem Kontextset fehlende interne Dokumentation, gültige Abfragebeispiele oder fehlende zugehörige Tabellen hinzu, um dem Agenten mehr Fakten zur Verfügung zu stellen.
- Ressourcen entfernen: Entfernen Sie veraltete Dokumente oder widersprüchliche Glossarbegriffe, wenn sie den Agenten verwirrt haben.
Rufen Sie die Seite Anreicherung auf und wählen Sie Ihre Aufgabe aus.
Klicken Sie auf Bearbeiten, um zu prüfen, ob der aktualisierte Kontextsatz verwendet wird, und klicken Sie dann auf Ausführen, um neue Vorschläge zu generieren.