Mengevaluasi dan menyetujui proposal pengayaan

Panduan ini ditujukan untuk data steward dan administrator katalog. Panduan ini menjelaskan cara mengevaluasi dan menyetujui proposal metadata yang dihasilkan oleh proses pengayaan.

Setiap kali Anda menjalankan tugas pengayaan, tugas tersebut akan menghasilkan operasi pengayaan. Proses ini memproses set konteks Anda berdasarkan sinyal pengetahuan, menghasilkan metrik evaluasi, dan mengusulkan properti metadata baru.

Anda dapat melihat detail operasi historis, mengevaluasi performanya, dan memutuskan apakah akan menyetujui atau menolak perubahan metadata yang diusulkan.

Sebelum memulai

Untuk mendapatkan izin yang Anda perlukan untuk mengevaluasi dan menyetujui pengayaan, minta administrator untuk memberi Anda salah satu peran IAM berikut pada project:

  • Dataplex Catalog Editor (roles/dataplex.catalogEditor)
  • Dataplex Catalog Admin (roles/dataplex.catalogAdmin)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda juga harus memiliki tugas pengayaan aktif yang dijalankan di project Anda. Untuk mengetahui informasi selengkapnya, lihat Membuat tugas pengayaan.

Alur kerja evaluasi

Anda dapat meninjau pengayaan yang dijalankan dalam tiga fase:

  1. Menilai kelayakan secara keseluruhan: Periksa skor gabungan di tab Overview dan Evaluation. Hal ini memberi tahu Anda apakah eksekusi tersebut secara umum berhasil atau halusinasi total sebelum Anda mempelajari detailnya.

  2. Periksa setiap proposal: Filter tab Ringkasan untuk proposal dengan keyakinan Low. Jika keputusan proposal tidak jelas, gunakan tab Artifacts untuk mengaudit rekaman percakapan mentah guna memahami alasan agen membuat saran tersebut.

  3. Menyetujui atau menolak operasi: Lakukan pemeriksaan akhir. Jika sebagian besar proposal sudah tepat dan didasarkan pada informasi yang benar, setujui eksekusi untuk menggabungkan metadata ke dalam katalog Anda. Jika sangat cacat, tolak eksekusi, tingkatkan set konteks Anda, dan coba lagi.

Membuka pengayaan

Untuk melihat detail pengayaan:

  1. Di konsol Google Cloud , buka halaman Knowledge Studio.

    Buka Knowledge Studio

  2. Di panel navigasi kiri, pilih Pengayaan.

    Halaman Enrichment akan terbuka dan menampilkan daftar tugas yang aktif, gagal, dan berhasil. Daftar tugas mencakup nama tugas, status, ringkasan operasi, pemicu, dan tanggal terakhir diubah.

  3. Dari daftar tugas, klik nama tugas pengayaan yang ingin Anda selidiki.

  4. Klik tab Tugas.

  5. Dalam daftar tugas, klik Name (ID) tertaut dari operasi yang ingin Anda lihat. Atau, Anda dapat mengklik Actions di samping operasi, lalu memilih View result.

Halaman Enrichment run details akan terbuka.

Halaman detail mengatur hasil Anda ke dalam tab berikut:

Tab Gunakan tab ini untuk...
Ringkasan Menilai kondisi dan keyakinan tingkat tinggi, serta meninjau dan menyetujui proposal metadata yang dihasilkan. Menjawab pertanyaan: Apakah eksekusi ini sebagian besar baik? dan Apa sebenarnya yang akan dipublikasikan ke katalog?
Evaluasi Periksa skor kuantitatif dan metrik lulus/gagal. Menjawab pertanyaan: Apakah logika pengayaan benar-benar meningkatkan kegunaan data?
Artifacts Memeriksa diagnostik, pembelajaran implisit, dan skor grounding. Menjawab pertanyaan: Mengapa agen membuat keputusan ini dan apakah logikanya dapat dipercaya?
Log Memecahkan masalah trace eksekusi sistem. Menjawab pertanyaan: Apakah tugas gagal secara teknis?

Menilai kelayakan pengoperasian secara keseluruhan

Tab Ringkasan adalah titik awal Anda. Buka tab ini untuk mengukur keberhasilan keseluruhan pengoptimalan, melihat metrik umum, dan meninjau atau menyetujui perubahan metadata tertentu yang diusulkan oleh AI.

Untuk meninjau ringkasan operasi:

  1. Di halaman Enrichment run details, pilih tab Overview.

  2. Tinjau Laporan pengayaan. Bagian ini menampilkan kondisi keseluruhan proses, termasuk skor gabungan, status (misalnya, "Perlu ditinjau"), durasi, total token yang digunakan, dan ringkasan yang menjelaskan keyakinan keseluruhan proposal.

    Yang harus diperhatikan: Tinjau skor dan ringkasan gabungan untuk mengukur dengan cepat apakah eksekusi berhasil pada tingkat makroskopis sebelum mempelajari setiap proposal. Misalnya, skor 80% atau lebih tinggi umumnya menunjukkan eksekusi dengan keyakinan tinggi, sedangkan skor yang lebih rendah mungkin mengharuskan Anda meninjau proposal dengan lebih cermat.

  3. Tinjau bagian Evaluasi menyeluruh. Tindakan ini akan menampilkan tingkat kelulusan dasar pengukuran dan proyeksi untuk kasus evaluasi Anda. Operasi yang dapat diterima biasanya menghasilkan Delta positif (misalnya, +5%), yang menunjukkan bahwa metadata yang diusulkan meningkatkan kegunaan data secara keseluruhan dibandingkan dengan dasar pengukuran.

  4. Tinjau bagian Proposals. Bagian ini menampilkan ringkasan tingkat tinggi dari perubahan yang diusulkan (seperti jumlah total pembuatan, pembaruan, atau penghapusan), diikuti dengan daftar proposal yang dikelompokkan menurut jenis resource (misalnya, Dokumen pusat informasi). Anda dapat memfilter proposal berdasarkan tingkat keyakinan (High, Medium, Low, N/A) dan memperluas jenis resource untuk melihat entri tertentu.

    Hal yang perlu diperhatikan: Cari saran dengan keyakinan Low, karena saran ini biasanya menunjukkan konteks yang tidak lengkap atau halusinasi yang harus ditolak.

Memeriksa proposal satu per satu

Kecuali jika Anda mengaktifkan publikasi otomatis pada tugas, pengayaan tidak akan mengubah metadata Anda secara otomatis. Proses ini akan menghasilkan perubahan yang diusulkan yang harus Anda setujui.

Saat meninjau proposal, sebaiknya filter menurut skor keyakinan dan tinjau proposal keyakinan Low terlebih dahulu, karena proposal tersebut memerlukan pengawasan paling ketat dan kemungkinan besar memerlukan penyesuaian manual atau penolakan. Pastikan Markdown, tag, atau deskripsi yang dihasilkan secara akurat mewakili logika bisnis Anda dalam mode Pratinjau, dan cari penggantian atribut yang tidak diinginkan dalam tampilan Perubahan.

Untuk meninjau proposal spesifik yang dihasilkan oleh operasi:

  1. Di tab Enrichment run details, di bagian Proposals, temukan proposal yang ingin Anda tinjau.

  2. Klik Lihat proposal untuk entri. Panel samping Usulan perubahan akan terbuka.

  3. Di panel samping, tinjau dan edit metadata yang dihasilkan AI jika perlu.

    • Di bagian resource tertentu yang sedang diubah (misalnya, aspek Ringkasan), gunakan tombol tampilan untuk beralih antar-tampilan.

      Tampilan Changes memungkinkan Anda memeriksa perbedaan persis yang dikirim ke katalog.

      Tampilan Preview menampilkan pemformatan yang mudah dipahami manusia dari dokumen dan tabel yang dihasilkan.

    • Untuk menyesuaikan proposal AI secara manual, klik Edit di samping nama resource, buat perubahan di editor teks, lalu klik Save.

  4. Jika proposal tidak akurat, klik Hapus dari permintaan di panel samping, lalu klik Hapus untuk mengonfirmasi. Tindakan ini akan menghapus permanen perubahan yang diusulkan, sehingga mencegahnya ditambahkan ke katalog saat Anda menyetujui operasi.

  5. Setelah meninjau semua proposal, klik Setujui di header bagian Proposal untuk menggabungkan proposal yang tersisa ke dalam katalog Anda. Atau, jika seluruh lari tidak akurat, Anda dapat mengklik Tolak.

Melihat metrik evaluasi menyeluruh

Tab Evaluation mengukur dampak dari pengayaan yang dijalankan. Fitur ini membandingkan seberapa baik data Anda menjawab pertanyaan pengujian dengan metadata yang diusulkan versus tanpa metadata tersebut. Hal ini membantu Anda menentukan apakah akan menyetujui eksekusi atau menyesuaikan set konteks Anda.

Saat mengevaluasi hasil, gunakan kolom Why untuk memahami alasannya. Agen memberikan penalaran mendetail yang membandingkan logikanya dengan referensi. Anda dapat menggunakan masukan ini untuk memahami alasan agen gagal (misalnya, tidak ada penggabungan tabel penting). Kemudian, Anda dapat menggunakan informasi tersebut untuk meningkatkan kualitas data sumber atau memperjelas set konteks Anda.

Untuk menafsirkan hasil evaluasi:

  1. Di halaman Enrichment run details, klik tab Evaluation.
  2. Tinjau skor di bagian atas tab. Fokus pada Delta, yang menunjukkan perubahan persentase keseluruhan dalam tingkat kelulusan, yang menunjukkan nilai tingkat tinggi yang ditambahkan oleh proposal pengayaan.
  3. Tinjau Metrik ringkasan untuk melihat perubahan statistik (seperti Rata-rata atau Maksimum) di seluruh kriteria tertentu, seperti Akurasi hasil data.
  4. Gunakan tabel Per-case results untuk men-debug kesenjangan kognitif tertentu. Tabel ini mencantumkan setiap pertanyaan pengujian yang dievaluasi selama proses berjalan.
    • Filter daftar untuk menemukan hasil Gagal atau entri Still failing di kolom Perubahan.
    • Baca penjelasan di kolom Why untuk memahami kegagalan AI.

Artefak operasi audit

Tab Artifacts berisi diagnostik dan bukti mendetail yang mendukung keputusan AI. Buka tab ini saat Anda perlu memahami alasan proposal menerima skor keyakinan rendah. Anda juga dapat menggunakannya untuk mengaudit rekaman percakapan mentah dan aturan yang dipelajari yang diekstrak oleh agen.

Saat melihat tab Pembelajaran, periksa jumlah Diterapkan versus Perlu diperhatikan. Jumlah Diterapkan menunjukkan jumlah fakta baru yang berhasil ditambahkan ke sistem, sedangkan Perlu diperhatikan menandai temuan yang kontradiktif atau ambigu yang memerlukan pembersihan manual. Jumlah 0 berarti tidak ada pengetahuan baru yang diekstrak pada putaran ini, yang merupakan hasil normal. Jika item ditandai sebagai ambigu atau konflik, berarti agen menemukan informasi yang bertentangan di sumber Anda yang perlu Anda selesaikan dalam set konteks.

Saat melihat tab Skor keyakinan, baca kalimat ringkasan (misalnya, Hal yang menghambat sebagian besar proposal). Buka bagian Perubahan yang diusulkan untuk mengisolasi perubahan dengan rating terendah. Jika perubahan tercantum di sini, kemungkinan perubahan tersebut gagal dalam pemeriksaan grounding atau tidak memiliki bukti yang memadai. Gunakan daftar ini untuk memprioritaskan proposal yang akan ditolak.

Untuk melihat artefak operasi:

  1. Di halaman Enrichment run details, klik tab Artifacts.

  2. Tinjau sub-tab berikut untuk memeriksa data diagnostik:

    • Learnings: Menampilkan apakah agen berhasil menggali pengetahuan implisit baru (misalnya, dari log percakapan atau histori chat). Anda juga dapat melihat trace percakapan yang mengarah ke proposal tertentu.

    • Skor keyakinan: Menguraikan rating keyakinan AI dalam tiga dimensi: Grounding, Penguatan, dan Kualitas sumber. Anda juga dapat mengakses set data dynamic_eval.json mentah dari bagian ini jika perlu mengaudit evaluasi.

Memecahkan masalah operasi yang gagal

Tab Logs berisi rekaman aktivitas eksekusi sistem yang mendetail. Buka tab ini untuk memecahkan masalah error backend atau menyelidiki alasan tugas pengayaan gagal dijalankan hingga selesai.

Untuk memecahkan masalah operasi yang gagal atau memeriksa detail eksekusi:

  1. Di halaman Enrichment run details, klik tab Logs.
  2. Gunakan drop-down Severity atau panel Filter untuk mempersempit hasil log.
  3. Tinjau trace eksekusi dan logging sistem.
    • Yang harus dicari: Cari entri tingkat keparahan ERROR atau FATAL berwarna merah yang menunjukkan kegagalan backend, seperti kuota habis atau waktu tunggu API habis.

Atau, Anda dapat mengkueri log diagnostik secara langsung menggunakan Cloud Logging. Log eksekusi mendetail dari agen pengayaan akan otomatis dirutekan ke Cloud Logging. Petunjuk sistem yang sensitif dan data mentah akan disamarkan.

Gunakan kueri berikut di Logs Explorer untuk memfilter log:

  • Melihat semua log untuk tugas pengayaan:

    resource.type="dataplex.googleapis.com/EnrichmentWorkflow"

  • Memfilter log untuk tugas tertentu: text resource.labels.workflow_id="YOUR_TASK_NAME"

  • Memfilter log untuk eksekusi operasi tertentu: text labels.run_id="YOUR_RUN_ID"

  • Filter untuk peringatan dan error: text severity>=WARNING

Anda juga dapat menggunakan kueri ini untuk mengonfigurasi kebijakan pemberitahuan Cloud Monitoring berdasarkan metrik Cloud Logging. Misalnya, Anda dapat secara proaktif merutekan pemberitahuan ke Slack, PagerDuty, atau daftar distribusi email setiap kali proses pengayaan gagal (severity>=ERROR).

Melakukan iterasi pada tugas pengayaan

Jika pengayaan menghasilkan proposal yang tidak akurat atau gagal dalam pemeriksaan grounding (melaporkan keyakinan Low), jangan setujui pengayaan tersebut. Sebagai gantinya, Anda harus meningkatkan kualitas informasi yang diberikan kepada agen dan menjalankan tugas lagi.

  1. Di tab Ringkasan, di bagian Proposal, klik Tolak.

  2. Jika agen salah menafsirkan skema data Anda, buka definisi sumber di Knowledge Catalog dan tingkatkan deskripsi skema.

  3. Jika agen tidak memiliki logika bisnis yang memadai atau menggunakan tabel yang salah untuk menjawab pertanyaan, buka Context set yang dilampirkan ke tugas.

    • Tambahkan referensi: Tambahkan dokumentasi internal yang belum ada, contoh kueri yang valid, atau tabel terkait yang belum ada ke set konteks untuk memberikan lebih banyak fakta kepada agen.
    • Hapus referensi: Hapus dokumen yang sudah tidak berlaku atau istilah glosarium yang bertentangan jika membingungkan agen.

  4. Buka halaman Enrichment dan pilih tugas Anda.

  5. Klik Edit untuk memverifikasi bahwa setelan tersebut mengarah ke set konteks yang diperbarui, lalu klik Run untuk membuat kumpulan proposal baru.

Langkah berikutnya