Panduan memulai: Menyelesaikan Tugas Peninjauan

Setiap prosesor membuat "tugas HITL" yang ditetapkan ke kumpulan pemberi label manual (disebut "Kumpulan Pemberi Label") yang meninjau dokumen yang diproses oleh prosesor. Setelah diproses, dokumen ini dimasukkan ke dalam antrean tugas untuk peninjauan HITL oleh Kumpulan Pemberi Label yang ditetapkan.

Sebelum memulai

Selesaikan Panduan memulai: Mengonfigurasi Peninjauan oleh Petugas sebelumnya sebelum melanjutkan.

Menambahkan Pemberi Label

  1. Setelah mengonfigurasi Peninjauan Manusia, Anda akan menerima email yang mirip dengan berikut ini:
From: AI Platform <noreply-aiplatform@google.com>\
Subject: Added to AI Platform SpecialistPool Test Labeler Group

Hello AI Platform Customer,

You are added as a manager to specialist pool
cloudml_data_specialists_us_central1_785484070008756xxxx.
To view details, visit Manager console
https://datacompute.google.com/cm/

Sincerely,
The Google Cloud AI Team

  1. Klik link dalam email (atau potong dan tempel ke browser) untuk membuka halaman Pengelola:

  2. Tugas yang dibuat oleh Processor yang baru dibuat memiliki nama yang sama dengan Processor (misalnya, "Invoice Departemen A") dan tercantum di tab Tasks.

  3. Klik tab Pemberi Label

  4. Klik Tambahkan Pemberi Label, lalu tambahkan setidaknya satu pemberi label (Email). Pengelola dapat menjadi pelabel, sehingga Anda dapat menambahkan diri Anda sendiri.

  5. Untuk Kumpulan Pelabel yang baru dibuat, tugas harus ditetapkan kepada pelabel secara eksplisit di tab Penugasan. Artinya, menambahkan Kumpulan Pelabel tidak otomatis menetapkan tugas ke pelabel baru ini. Jika Kumpulan Pelabel telah menyediakan pelabel, kumpulan tersebut akan otomatis ditetapkan ke tugas.

Memposting Dokumen Awal untuk Ditinjau

  1. Kirim dokumen untuk diekstraksi melalui Prosesor yang dibuat. Lihat Panduan Cara Kerja jika diperlukan. Panggilan online (sinkron) dan batch (asinkron) saat ini mendukung perutean Peninjauan Manual untuk prosesor yang didukung.

    Untuk tujuan pengujian, Anda dapat menggunakan ekstraksi buruk yang diketahui sehingga memicu Peninjauan oleh Manusia karena skor keyakinan berada di bawah nilai minimum, atau Anda dapat menetapkan nilai minimum ke 100%. Batas dokumen umumnya adalah 5 halaman, maksimal 20 MB, tetapi periksa batas spesifik Prosesor.

    Ada API untuk melacak setiap dokumen yang diarahkan ke Peninjauan Manual. Sebagai bagian dari respons dari Prosesor, ada string humanReviewOperation yang merupakan ID Operasi (nama tugas) dokumen dalam Peninjauan oleh Petugas Peninjau. Operasi yang Berjalan Lama ini (juga disebut sebagai LRO) dapat dikueri untuk mengetahui statusnya.

    Anda dapat membuat kueri status dokumen yang diarahkan ke Peninjauan Manual dengan metode projects.locations.operations.get

  2. Anda dapat memaksa dokumen untuk Ditinjau Manual dengan metode reviewDocument (perhatikan bahwa metode ini khusus untuk Prosesor):

    Penggunaan metode reviewDocument mengharuskan kotak centang Peninjauan Manual DIAKTIFKAN dipilih. Penggunaan API ini tidak akan menggantikan setelan konfigurasi.

    Anda dapat mengikuti panduan Meminta Peninjauan Manual untuk menggunakan metode ini.

Tinjau dokumen

  1. Jika dokumen memicu proses peninjauan oleh petugas, tetapi tidak ada Pemberi Label dalam kumpulan, pengelola akan menerima email.

    > Hello AI Platform Customer,
>
> There is a running task for Project  with Job ID 404298342016955xxxx,\
> Labeling Task ID cloudml_data_us_central1_prod_11b273b4dabdxxxx,\
> Display name \
> datalabeling-job-8005676103232389120-for-hitl-340697311810578xxxx,\
> replication count 1\
> Please see attachment for instruction.\
> Please add labelers and have them finish the task at Labeler console \
> [https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336](https://datacompute.google.com/w/cloudml_data_specialists_us_central1_7854840700087566336){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.\
> To view details, visit Manager console \
> [https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks](https://datacompute.google.com/cm/cloudml_data_specialists_us_central1_7854840700087566336/tasks){: target="external" class="external" track-type="quickstart" track-name="externalLink" track-metadata-position="body" }.
>
> Sincerely,\
The Google Cloud AI Team

Link ini digunakan oleh Pengelola Pelabelan untuk mengalokasikan tugas pelabelan.

  1. Jika pelabel belum terdaftar dalam Grup Pelabelan dan baru ditambahkan, Pengelola Pelabelan harus mengirimkan email serupa dengan petunjuk kepada Pelabel yang ditambahkan.

Langkah-Langkah Pemberi Label

Prosedur Pemberi Label

  1. Email Pemberi Label

    Jika pelabel sudah terdaftar ke Grup Pelabelan di Langkah 2e, sistem akan mengalokasikan secara otomatis, dan pelabel akan mendapatkan email seperti ini:

    gambar

    Link dalam email ini adalah mekanisme bagi Pemberi Label yang dipilih untuk melakukan tugas pelabelan pada dokumen.

  2. Tindakan Pelabelan:

    Saat Pemberi Label mengklik link untuk melakukan pelabelan, mereka akan melihat Antarmuka Pengguna Peninjauan Manual AI Interaktif yang ditampilkan di bawah. Baris yang ditandai (dengan warna kuning) menunjukkan baris yang gagal divalidasi (yaitu, di bawah nilai minimum skor keyakinan yang dikonfigurasi) dan perlu ditinjau.

    gambar

  3. Tinjau Dengan mengarahkan kursor ke kolom teks yang dikenali, teks yang dikenali dan (Dalam font yang lebih kecil di bawahnya) nama kolom (skema) akan ditampilkan. Baris juga ditandai di panel kiri.

    Pengguna dapat memperbesar/memperkecil dengan ikon kaca pembesar di kiri atas toolbar.

    gambar

  4. Ubah Kolom

    Dengan mengklik (kiri) pada kolom, Anda dapat mengeditnya:

    Anda dapat mengubah nilai atau label di panel kiri. Lalu klik Apply.

    ATAU, dengan mengklik salah satu ikon sudut pengubah ukuran pada gambar dokumen, Anda dapat mengubah ukuran kotak pembatas di sekitar teks dokumen:

    Seperti yang ditunjukkan, jika teks yang berbeda dipilih, teks tersebut akan mengubah teks di Nilai kolom pada panel kiri. Kemudian, Anda dapat mengedit teks ini lebih lanjut jika diperlukan. Lalu klik Apply.

    Pastikan untuk meninjau semua halaman, menggunakan kontrol halaman di sudut kanan atas.

Setelah melakukan semua perubahan label yang diperlukan, klik KIRIM (di kiri bawah). JSON hasil akan disimpan ke folder "Lokasi hasil".

Jika dokumen tidak dapat diberi label dengan memuaskan, Anda dapat mengklik TOLAK (di kiri bawah), lalu memilih alasan penolakan dokumen: - Pilih alasan, lalu klik Tolak dokumen.

Pemberi label juga dapat mengklik ikon berikut di sudut kanan atas:

  • Analytics - untuk menunjukkan jumlah dokumen yang telah mereka tinjau (Jawaban) dan total waktu mereka.
  • Notifikasi - Untuk menampilkan Notifikasi yang telah mereka terima.
  • Lainnya (3 Titik) - Untuk Lewati dokumen, Temukan Jawaban, atau berikan Masukan (jika diaktifkan).
  • Toggle Title bar (Diagonal Arrows) - This will hide (or show) the DataCompute title bar for more room.

Pengelola Pelabelan

Meninjau Dokumen dari Cloud Storage

Jika Anda ingin memeriksa dokumen, ada dua opsi:

  • Opsi 1:

    1. Menemukan Cloud Storage dari lokasi yang dikonfigurasi sebelumnya
    2. Mengambil dan mendownload dokumen

  • Opsi 2:

    1. Ingat URI untuk mengambil dokumen dari respons Prediksi
    2. Panggil URI untuk mengambil dokumen yang ditinjau

Langkah berikutnya