Pengekstrak kustom dengan AI generatif

Pelatihan dan ekstraksi AI generatif memungkinkan Anda:

  • Gunakan teknologi zero-shot dan few-shot untuk mendapatkan model berperforma tinggi dengan sedikit atau tanpa data pelatihan menggunakan model dasar.
  • Gunakan fine-tuning untuk lebih meningkatkan akurasi saat Anda memberikan lebih banyak data pelatihan.

Metode pelatihan AI generatif

Metode pelatihan yang Anda pilih bergantung pada jumlah dokumen yang tersedia dan jumlah upaya yang tersedia untuk melatih model Anda. Ada tiga cara untuk melatih model AI generatif:

Metode pelatihan Zero-shot Few-shot Fine tuning
Akurasi Sedang Sedang—Tinggi Tinggi
Upaya Rendah Rendah Sedang
Jumlah dokumen pelatihan yang direkomendasikan 0 5 hingga 10 10 hingga 50+

Versi model pengekstrak kustom

Model berikut tersedia untuk ekstraktor kustom. Untuk mengubah versi model, lihat Mengelola versi pemroses.

Versi 1.4, 1.5, dan 1.5 Pro mendukung skor keyakinan.

Versi model Deskripsi Saluran rilis Pemrosesan ML di AS/Uni Eropa Penyesuaian di AS/Uni Eropa Tanggal rilis
pretrained-foundation-model-v1.5-2025-05-05 Kandidat siap produksi yang didukung oleh LLM Gemini 2.5 Flash. Direkomendasikan bagi mereka yang ingin bereksperimen dengan model yang lebih baru. Stabil Ya AS, Uni Eropa 5 Mei 2025
pretrained-foundation-model-v1.5-pro-2025-06-20 Model siap produksi yang didukung oleh LLM Gemini 2.5 Pro. Mendukung kuota hingga 30 halaman per menit untuk permintaan proses online. Model ini memiliki kualitas yang lebih baik dibandingkan dengan v1.5, dan mungkin memiliki latensi yang lebih tinggi. Stabil Ya Tidak 20 Juni 2025
pretrained-foundation-model-v1.5.1-2025-08-07 Model pratinjau publik yang didukung oleh LLM Gemini 2.5 Flash. Model ini memiliki fitur yang sama dengan v1.5, dan telah meningkatkan pemelajaran beberapa tahap adaptif. Kandidat rilis Ya Tidak 8 Agustus 2025
pretrained-foundation-model-v1.6-pro-2025-12-01 Model pratinjau yang didukung oleh LLM Gemini 3 Pro. Kandidat rilis Ya Tidak 1 Desember 2025
pretrained-foundation-model-v1.6-2026-01-13 Model pratinjau yang didukung oleh LLM Gemini 3 Flash. Kandidat rilis Ya Tidak 13 Januari 2026
pretrained-foundation-model-v3.1-lite-2026-07-15 Model pratinjau yang didukung oleh LLM Gemini 3.1 Lite. Mendukung Endpoint Multi-Region (mREP) di AS dan Uni Eropa. Kandidat rilis Ya Ya 21 September 2026
pretrained-foundation-model-v3.5-2026-05-26 Model pratinjau yang didukung oleh LLM Gemini 3.5 Flash. Kandidat rilis Ya Tidak 26 Mei 2026

Untuk mengubah versi pemroses dalam project Anda, tinjau Mengelola versi pemroses.

Untuk membuat Permintaan Peningkatan Kuota (QIR) untuk kuota pemroses default, ikuti langkah-langkah untuk meminta penyesuaian kuota.

Penyiapan awal

Jika belum, aktifkan penagihan dan Document AI API.

Membangun dan mengevaluasi model AI generatif

  1. Buat pemroses dan tentukan kolom yang ingin Anda ekstrak dengan mengikuti praktik terbaik, yang penting karena memengaruhi kualitas ekstraksi.

    • Buka Workbench > Custom extractor > Create processor > Assign a name.

    processor-version-genai-1

    • Buka Mulai > Buat kolom baru.

    processor-version-genai-2

  2. Mengimpor dokumen

    • Impor dokumen dengan pemberian label otomatis dan tetapkan dokumen ke set pelatihan dan pengujian.
    • Untuk zero-shot, hanya skema yang diperlukan. Untuk mengevaluasi akurasi model, hanya set pengujian yang diperlukan.
    • Untuk few-shot, sebaiknya gunakan lima dokumen pelatihan.
    • Jumlah dokumen pengujian yang diperlukan bergantung pada kasus penggunaan. Umumnya, makin banyak dokumen pengujian, makin baik.
    • Konfirmasi atau edit label dalam dokumen.
  3. Melatih model:

    • Pilih Build, lalu Buat versi baru.
    • Masukkan nama, lalu pilih Buat.

    processor-version-genai-12

  1. Evaluasi:

    • Buka Evaluate & test, pilih versi yang baru saja Anda latih, lalu pilih View full evaluation.

    processor-version-genai-13

    • Sekarang Anda akan melihat metrik seperti f1, presisi, dan perolehan untuk seluruh dokumen dan setiap kolom.
    • Tentukan apakah performa memenuhi sasaran produksi Anda. Jika tidak, evaluasi ulang set pelatihan dan pengujian.
  2. Menetapkan versi baru sebagai default:

    • Buka Manage versions.
    • Pilih untuk meluaskan opsi, lalu pilih Setel sebagai default.

    processor-version-genai-14

    Model Anda kini telah di-deploy. Dokumen yang dikirim ke pemroses ini menggunakan versi kustom Anda. Anda dapat mengevaluasi performa model untuk memeriksa apakah model memerlukan pelatihan lebih lanjut.

Referensi evaluasi

Mesin evaluasi dapat melakukan pencocokan persis atau pencocokan fuzzy. Untuk pencocokan persis, nilai yang diekstrak harus sama persis dengan kebenaran nyata atau dihitung sebagai tidak cocok.

Ekstraksi pencocokan fuzzy yang memiliki sedikit perbedaan seperti perbedaan kapitalisasi masih dihitung sebagai kecocokan. Hal ini dapat diubah di layar Evaluation.

processor-version-genai-15

Fine tuning

Dengan fine-tuning, Anda menggunakan ratusan atau ribuan dokumen untuk pelatihan.

  1. Buat pemroses dan tentukan kolom yang ingin Anda ekstrak dengan mengikuti praktik terbaik, yang penting karena memengaruhi kualitas ekstraksi.

  2. Impor dokumen dengan pelabelan otomatis, dan tetapkan dokumen ke set pelatihan dan pengujian.

  3. Konfirmasi atau edit label dalam dokumen.

  4. Latih model.

    • Pilih tab Build, lalu pilih Create New Version di kotak Fine-tuning.

    processor-version-genai-24

    • Coba parameter atau nilai pelatihan default yang disediakan. Jika hasilnya tidak memuaskan, bereksperimenlah dengan opsi lanjutan berikut:

    • Langkah pelatihan (antara 1 dan 400): Juga dikenal sebagai epoch, langkah pelatihan mengontrol seberapa sering bobot dioptimalkan pada batch data selama penyesuaian.

      • Nilai yang terlalu rendah menunjukkan risiko bahwa pelatihan berakhir sebelum konvergensi (under-fitting).
      • Jika terlalu tinggi, model mungkin akan melihat batch data yang sama beberapa kali selama pelatihan, yang dapat menyebabkan overfitting.
      • Langkah yang lebih sedikit akan mempercepat waktu pelatihan. Jumlah yang lebih tinggi dapat membantu untuk dokumen dengan sedikit variasi template (dan jumlah yang lebih rendah untuk dokumen dengan lebih banyak variasi).
    • Pengganda kecepatan pembelajaran (antara 0,1 dan 10): Mengontrol seberapa cepat parameter model dioptimalkan pada data pelatihan. Kecepatan ini kurang lebih sesuai dengan ukuran setiap langkah pelatihan.

      • Kecepatan rendah berarti perubahan kecil pada bobot model di setiap langkah pelatihan. Jika terlalu rendah, model mungkin tidak akan konvergen ke solusi yang stabil.
      • Tingkat yang tinggi menunjukkan perubahan yang besar, dan tingkat yang terlalu tinggi dapat berarti model melompati solusi optimal dan malah mengarah ke solusi suboptimal.
      • Waktu pelatihan tidak dipengaruhi oleh pilihan kecepatan pembelajaran.
    • Beri nama, pilih versi pemroses dasar yang diperlukan, lalu pilih Create.

    processor-version-genai-21

  5. Evaluasi: Buka Evaluate & test, lalu pilih versi yang baru saja Anda latih dan pilih View full evaluation.

    processor-version-genai-13

    • Sekarang Anda akan melihat metrik seperti f1, presisi, dan perolehan untuk seluruh dokumen dan setiap kolom.
    • Tentukan apakah performa memenuhi sasaran produksi Anda. Jika tidak, dokumen pelatihan lebih lanjut mungkin diperlukan.
  6. Tetapkan versi baru sebagai default:

    • Buka Manage versions.
    • Pilih untuk meluaskan opsi, lalu pilih Setel sebagai default.

    processor-version-genai-14

    Model Anda kini telah di-deploy dan dokumen yang dikirim ke pemroses ini sekarang menggunakan versi kustom Anda. Anda ingin mengevaluasi performa model untuk memeriksa apakah model tersebut memerlukan pelatihan lebih lanjut.

Pelabelan otomatis dengan model dasar

Model dasar dapat mengekstrak kolom secara akurat untuk berbagai jenis dokumen, tetapi Anda juga dapat menyediakan data pelatihan tambahan untuk meningkatkan akurasi model untuk struktur dokumen tertentu.

Document AI menggunakan nama label yang Anda tentukan dan anotasi sebelumnya untuk mempercepat dan mempermudah pelabelan dokumen dalam skala besar dengan pelabelan otomatis.

  1. Setelah Anda membuat pemroses kustom, buka tab Get Started.
  2. Pilih Create New Field.
  3. Beri label nama yang deskriptif dan berbeda. Pilih Extract untuk nilai langsung dari dokumen atau Derive untuk nilai yang disimpulkan oleh sistem. Hal ini meningkatkan akurasi dan performa model dasar.

    processor-version-genai-17

  4. Untuk akurasi dan performa ekstraksi, tambahkan deskripsi (seperti konteks, insight, dan pengetahuan sebelumnya untuk setiap entity) untuk jenis entity yang harus diambil.

    processor-version-genai-23

  5. Buka tab Build, lalu pilih Import Documents.

    processor-version-genai-18

  6. Pilih jalur dokumen dan set tempat dokumen harus diimpor. Centang opsi pemberian label otomatis dan pilih model dasar.

  7. Di tab Build, pilih Manage Dataset.

  8. Saat Anda melihat dokumen yang diimpor, pilih salah satunya.

    processor-version-genai-19

Prediksi dari model kini ditampilkan dan ditandai dengan warna ungu.

  1. Tinjau setiap label yang diprediksi oleh model, dan pastikan label tersebut sudah benar.
  2. Jika ada kolom yang tidak ada, tambahkan juga kolom tersebut.

    processor-version-genai-20

  3. Setelah dokumen ditinjau, pilih Mark as Labeled. Dokumen kini siap digunakan oleh model.

  4. Pastikan dokumen berada dalam set pengujian atau set pelatihan.

Penyusunan bertingkat tiga tingkat

Pengekstrak Kustom kini menyediakan tiga tingkat pengelompokan. Fitur ini memberikan ekstraksi yang lebih baik untuk tabel yang kompleks.

Anda dapat menentukan jenis model menggunakan panggilan API berikut:

Responsnya adalah ProcessorVersion, yang berisi kolom modelType di pratinjau v1beta3.

Prosedur dan contoh

Kami menggunakan sampel ini:

processor-version-genai-3

  1. Pilih Get Started, lalu buat kolom:

    • Buat tingkat teratas.
    • Dalam contoh ini, officer_appointments digunakan.
    • Pilih Ini adalah label induk.
    • Pilih Kemunculan: Optional multiple.

    processor-version-genai-4 processor-version-genai-5 processor-version-genai-6

  2. Pilih Add child field. Label tingkat kedua kini dapat dibuat:

    • Untuk label level ini, buat officer.
    • Pilih Ini adalah label induk.
    • Pilih Kemunculan: Optional multiple.

    processor-version-genai-7 processor-version-genai-8

  3. Pilih Add child field dari officer tingkat kedua. Buat label turunan untuk tingkat bertingkat ketiga. processor-version-genai-9

  4. Setelah skema ditetapkan, Anda bisa mendapatkan prediksi dari dokumen dengan tiga tingkat bertingkat menggunakan pelabelan otomatis.

    processor-version-genai-10 processor-version-genai-11

Memberi label pada entity bertingkat lintas halaman

Pemroses pretrained-foundation-model-v1.5-2025-05-05 mendukung penyusunan bertingkat tiga tingkat di seluruh halaman.

  1. Beri label pada entity secara normal di seluruh halaman. Catatan: Entitas yang diberi label hanya akan terlihat di halaman tempat entitas tersebut diberi label, dengan menu navigasi yang berubah dari halaman ke halaman. Dengan menyematkan entitas induk, menu navigasi ini akan tetap ada.

    processor-version-genai-25

  2. Sematkan entitas induk dengan turunan yang ingin Anda beri label di seluruh halaman.

    processor-version-genai-26

  3. Buka halaman yang berisi entitas turunan yang akan diberi label.

processor-version-genai-27

Konfigurasi set data

Set data dokumen diperlukan untuk melatih, melakukan up-train, atau mengevaluasi versi pemroses. Pemroses Document AI belajar dari contoh, sama seperti manusia. Set data mendukung stabilitas prosesor dalam hal performa.

Set data pelatihan

Untuk meningkatkan kualitas model dan akurasinya, latih set data pada dokumen Anda. Model ini terdiri dari dokumen dengan kebenaran nyata.
  • Untuk penyesuaian, Anda memerlukan minimal 50 dokumen pelatihan dan 50 dokumen pengujian untuk melatih model baru dengan versi pretrained-foundation-model-v1.5-2025-05-05.
  • Untuk few-shot, sebaiknya gunakan lima dokumen.
  • Untuk zero-shot, hanya skema yang diperlukan.

Set data pengujian

Set data pengujian adalah set data yang digunakan model untuk menghasilkan skor F1 (akurasi). Set data ini terdiri dari dokumen dengan kebenaran nyata. Untuk melihat seberapa sering model memberikan jawaban yang benar, kebenaran nyata digunakan untuk membandingkan prediksi model (kolom yang diekstrak dari model) dengan jawaban yang benar. Set data pengujian harus memiliki minimal 50 dokumen untuk pretrained-foundation-model-v1.5-2025-05-05.

Pengekstrak kustom dengan deskripsi properti

Dengan deskripsi properti, Anda dapat melatih model dengan mendeskripsikan seperti apa kolom berlabel tersebut. Anda dapat memberikan konteks dan insight tambahan untuk setiap entity. Hal ini memungkinkan model untuk berlatih dengan mencocokkan kolom yang sesuai dengan deskripsi yang Anda berikan dan meningkatkan akurasi ekstraksi. Deskripsi properti dapat ditentukan untuk entity induk dan turunan.

Contoh deskripsi properti yang baik mencakup informasi lokasi dan pola teks nilai properti, yang membantu memperjelas potensi sumber kebingungan dalam dokumen. Deskripsi properti yang jelas dan tepat memandu model dengan aturan yang mendukung ekstraksi yang lebih andal dan konsisten, terlepas dari struktur dokumen atau variasi konten tertentu.

Memperbarui skema dokumen untuk pemroses

Untuk mengetahui cara menetapkan deskripsi properti, lihat Memperbarui skema dokumen.

Mengirim permintaan pemrosesan dengan deskripsi properti

Jika skema dokumen sudah memiliki deskripsi yang ditetapkan, Anda dapat mengirim permintaan proses dengan petunjuk di Mengirim permintaan pemrosesan.

Menyesuaikan pemroses dengan deskripsi properti

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION: lokasi pemroses Anda, misalnya:
    • us - Amerika Serikat
    • eu - Uni Eropa
  • PROJECT_ID: Project ID Google Cloud Anda.
  • PROCESSOR_ID: ID pemroses kustom Anda.
  • DISPLAY_NAME: Nama tampilan untuk pemroses.
  • PRETRAINED_PROCESSOR_VERSION: ID versi pemroses. Lihat Memilih versi pemroses untuk mengetahui informasi selengkapnya. Misalnya:
    • pretrained-TYPE-vX.X-YYYY-MM-DD
    • stable
    • rc
  • TRAIN_STEPS: Langkah-langkah pelatihan untuk penyesuaian model.
  • LEARN_RATE_MULTIPLIER: Pengganda kecepatan pembelajaran untuk penyesuaian model.
  • DOCUMENT_SCHEMA: Skema untuk pemroses. Lihat Representasi DocumentSchema.

Metode HTTP dan URL:

POST https://LOCATION-documentai.googleapis.com/v1beta3/projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION:process

Meminta isi JSON:

{
  "rawDocument": {
      "parent": "projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID",
         "processor_version": {
             "name": "projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/DISPLAY_NAME",
             "display_name": "DISPLAY_NAME",
             "model_type": "MODEL_TYPE_GENERATIVE",
         },
         "base_processor_version": "projects/PROJECT_ID/locations/us/processors/PROCESSOR_ID/processorVersions/PRETRAINED_PROCESSOR_VERSION",
         "foundation_model_tuning_options": {
             "train_steps": TRAIN_STEPS,
             "learning_rate_multiplier": LEARN_RATE_MULTIPLIER,
         }
         "document_schema": DOCUMENT_SCHEMA
      }
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-documentai.googleapis.com/v1beta3/projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION:process"

PowerShell

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-documentai.googleapis.com/v1beta3/projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION:process" | Select-Object -Expand Content

Ekstraktor kustom dengan deteksi tanda tangan

(Pratinjau publik) Pengekstrak kustom mendukung deteksi tanda tangan. Dengan fitur ini, Anda dapat mendeteksi keberadaan tanda tangan dalam dokumen. Deteksi tanda tangan hanya tersedia dengan menggunakan jenis metode derived. Anda dapat menentukan skema dengan jenis entity signature untuk entity tersebut. Entity tanda tangan diperoleh menggunakan petunjuk visual dari dokumen.

Untuk contoh dan petunjuk konfigurasi, klik Custom extractor with derived field and signature detection.

Pengekstrak kustom dengan kolom turunan

Ekstraktor kustom mendukung kolom turunan. Dengan fitur ini, Anda dapat mengonfigurasi kolom untuk diisi melalui inferensi atau pembuatan cerdas berdasarkan konteks dokumen, bukan ekstraksi teks langsung. Anda dapat menggunakannya untuk kasus penggunaan seperti menyimpulkan negara dari alamat, meringkas dokumen, menghitung item dalam tabel, atau mendeteksi apakah ID autentik, tanpa mengharuskan nilai tersebut ada secara eksplisit dalam teks.

Untuk contoh dan petunjuk konfigurasi, klik Pengekstrak kustom dengan kolom turunan dan deteksi tanda tangan.

Langkah berikutnya

Pelajari Pengekstrak kustom dengan kolom turunan dan deteksi tanda tangan.