Pelatihan dan ekstraksi AI generatif memungkinkan Anda:
- Gunakan teknologi zero-shot dan few-shot untuk mendapatkan model berperforma tinggi dengan sedikit atau tanpa data pelatihan menggunakan model dasar.
- Gunakan fine-tuning untuk lebih meningkatkan akurasi saat Anda memberikan lebih banyak data pelatihan.
Metode pelatihan AI generatif
Metode pelatihan yang Anda pilih bergantung pada jumlah dokumen yang tersedia dan jumlah upaya yang tersedia untuk melatih model Anda. Ada tiga cara untuk melatih model AI generatif:
| Metode pelatihan | Zero-shot | Few-shot | Fine tuning |
|---|---|---|---|
| Akurasi | Sedang | Sedang—Tinggi | Tinggi |
| Upaya | Rendah | Rendah | Sedang |
| Jumlah dokumen pelatihan yang direkomendasikan | 0 | 5 hingga 10 | 10 hingga 50+ |
Versi model pengekstrak kustom
Model berikut tersedia untuk ekstraktor kustom. Untuk mengubah versi model, lihat Mengelola versi pemroses.
Versi 1.4, 1.5, dan 1.5 Pro mendukung skor keyakinan.
| Versi model | Deskripsi | Saluran rilis | Pemrosesan ML di AS/Uni Eropa | Penyesuaian di AS/Uni Eropa | Tanggal rilis |
|---|---|---|---|---|---|
pretrained-foundation-model-v1.5-2025-05-05 |
Kandidat siap produksi yang didukung oleh LLM Gemini 2.5 Flash. Direkomendasikan bagi mereka yang ingin bereksperimen dengan model yang lebih baru. | Stabil | Ya | AS, Uni Eropa | 5 Mei 2025 |
pretrained-foundation-model-v1.5-pro-2025-06-20 |
Model siap produksi yang didukung oleh LLM Gemini 2.5 Pro. Mendukung kuota hingga 30 halaman per menit untuk permintaan proses online. Model ini memiliki kualitas yang lebih baik dibandingkan dengan v1.5, dan mungkin memiliki latensi yang lebih tinggi. | Stabil | Ya | Tidak | 20 Juni 2025 |
pretrained-foundation-model-v1.5.1-2025-08-07 |
Model pratinjau publik yang didukung oleh LLM Gemini 2.5 Flash. Model ini memiliki fitur yang sama dengan v1.5, dan telah meningkatkan pemelajaran beberapa tahap adaptif. | Kandidat rilis | Ya | Tidak | 8 Agustus 2025 |
pretrained-foundation-model-v1.6-pro-2025-12-01 |
Model pratinjau yang didukung oleh LLM Gemini 3 Pro. | Kandidat rilis | Ya | Tidak | 1 Desember 2025 |
pretrained-foundation-model-v1.6-2026-01-13 |
Model pratinjau yang didukung oleh LLM Gemini 3 Flash. | Kandidat rilis | Ya | Tidak | 13 Januari 2026 |
pretrained-foundation-model-v3.1-lite-2026-07-15 |
Model pratinjau yang didukung oleh LLM Gemini 3.1 Lite. Mendukung Endpoint Multi-Region (mREP) di AS dan Uni Eropa. | Kandidat rilis | Ya | Ya | 21 September 2026 |
pretrained-foundation-model-v3.5-2026-05-26 |
Model pratinjau yang didukung oleh LLM Gemini 3.5 Flash. | Kandidat rilis | Ya | Tidak | 26 Mei 2026 |
Untuk mengubah versi pemroses dalam project Anda, tinjau Mengelola versi pemroses.
Untuk membuat Permintaan Peningkatan Kuota (QIR) untuk kuota pemroses default, ikuti langkah-langkah untuk meminta penyesuaian kuota.
Penyiapan awal
Jika belum, aktifkan penagihan dan Document AI API.
Membangun dan mengevaluasi model AI generatif
Buat pemroses dan tentukan kolom yang ingin Anda ekstrak dengan mengikuti praktik terbaik, yang penting karena memengaruhi kualitas ekstraksi.
- Buka Workbench > Custom extractor > Create processor > Assign a name.

- Buka Mulai > Buat kolom baru.

Mengimpor dokumen
- Impor dokumen dengan pemberian label otomatis dan tetapkan dokumen ke set pelatihan dan pengujian.
- Untuk zero-shot, hanya skema yang diperlukan. Untuk mengevaluasi akurasi model, hanya set pengujian yang diperlukan.
- Untuk few-shot, sebaiknya gunakan lima dokumen pelatihan.
- Jumlah dokumen pengujian yang diperlukan bergantung pada kasus penggunaan. Umumnya, makin banyak dokumen pengujian, makin baik.
- Konfirmasi atau edit label dalam dokumen.
Melatih model:
- Pilih Build, lalu Buat versi baru.
- Masukkan nama, lalu pilih Buat.

Evaluasi:
- Buka Evaluate & test, pilih versi yang baru saja Anda latih, lalu pilih View full evaluation.

- Sekarang Anda akan melihat metrik seperti f1, presisi, dan perolehan untuk seluruh dokumen dan setiap kolom.
- Tentukan apakah performa memenuhi sasaran produksi Anda. Jika tidak, evaluasi ulang set pelatihan dan pengujian.
Menetapkan versi baru sebagai default:
- Buka Manage versions.
- Pilih untuk meluaskan opsi, lalu pilih Setel sebagai default.

Model Anda kini telah di-deploy. Dokumen yang dikirim ke pemroses ini menggunakan versi kustom Anda. Anda dapat mengevaluasi performa model untuk memeriksa apakah model memerlukan pelatihan lebih lanjut.
Referensi evaluasi
Mesin evaluasi dapat melakukan pencocokan persis atau pencocokan fuzzy. Untuk pencocokan persis, nilai yang diekstrak harus sama persis dengan kebenaran nyata atau dihitung sebagai tidak cocok.
Ekstraksi pencocokan fuzzy yang memiliki sedikit perbedaan seperti perbedaan kapitalisasi masih dihitung sebagai kecocokan. Hal ini dapat diubah di layar Evaluation.

Fine tuning
Dengan fine-tuning, Anda menggunakan ratusan atau ribuan dokumen untuk pelatihan.
Buat pemroses dan tentukan kolom yang ingin Anda ekstrak dengan mengikuti praktik terbaik, yang penting karena memengaruhi kualitas ekstraksi.
Impor dokumen dengan pelabelan otomatis, dan tetapkan dokumen ke set pelatihan dan pengujian.
Konfirmasi atau edit label dalam dokumen.
Latih model.
- Pilih tab Build, lalu pilih Create New Version di kotak Fine-tuning.

Coba parameter atau nilai pelatihan default yang disediakan. Jika hasilnya tidak memuaskan, bereksperimenlah dengan opsi lanjutan berikut:
Langkah pelatihan (antara 1 dan 400): Juga dikenal sebagai epoch, langkah pelatihan mengontrol seberapa sering bobot dioptimalkan pada batch data selama penyesuaian.
- Nilai yang terlalu rendah menunjukkan risiko bahwa pelatihan berakhir sebelum konvergensi (under-fitting).
- Jika terlalu tinggi, model mungkin akan melihat batch data yang sama beberapa kali selama pelatihan, yang dapat menyebabkan overfitting.
- Langkah yang lebih sedikit akan mempercepat waktu pelatihan. Jumlah yang lebih tinggi dapat membantu untuk dokumen dengan sedikit variasi template (dan jumlah yang lebih rendah untuk dokumen dengan lebih banyak variasi).
Pengganda kecepatan pembelajaran (antara 0,1 dan 10): Mengontrol seberapa cepat parameter model dioptimalkan pada data pelatihan. Kecepatan ini kurang lebih sesuai dengan ukuran setiap langkah pelatihan.
- Kecepatan rendah berarti perubahan kecil pada bobot model di setiap langkah pelatihan. Jika terlalu rendah, model mungkin tidak akan konvergen ke solusi yang stabil.
- Tingkat yang tinggi menunjukkan perubahan yang besar, dan tingkat yang terlalu tinggi dapat berarti model melompati solusi optimal dan malah mengarah ke solusi suboptimal.
- Waktu pelatihan tidak dipengaruhi oleh pilihan kecepatan pembelajaran.
Beri nama, pilih versi pemroses dasar yang diperlukan, lalu pilih Create.

Evaluasi: Buka Evaluate & test, lalu pilih versi yang baru saja Anda latih dan pilih View full evaluation.

- Sekarang Anda akan melihat metrik seperti f1, presisi, dan perolehan untuk seluruh dokumen dan setiap kolom.
- Tentukan apakah performa memenuhi sasaran produksi Anda. Jika tidak, dokumen pelatihan lebih lanjut mungkin diperlukan.
Tetapkan versi baru sebagai default:
- Buka Manage versions.
- Pilih untuk meluaskan opsi, lalu pilih Setel sebagai default.

Model Anda kini telah di-deploy dan dokumen yang dikirim ke pemroses ini sekarang menggunakan versi kustom Anda. Anda ingin mengevaluasi performa model untuk memeriksa apakah model tersebut memerlukan pelatihan lebih lanjut.
Pelabelan otomatis dengan model dasar
Model dasar dapat mengekstrak kolom secara akurat untuk berbagai jenis dokumen, tetapi Anda juga dapat menyediakan data pelatihan tambahan untuk meningkatkan akurasi model untuk struktur dokumen tertentu.
Document AI menggunakan nama label yang Anda tentukan dan anotasi sebelumnya untuk mempercepat dan mempermudah pelabelan dokumen dalam skala besar dengan pelabelan otomatis.
- Setelah Anda membuat pemroses kustom, buka tab Get Started.
- Pilih Create New Field.
Beri label nama yang deskriptif dan berbeda. Pilih Extract untuk nilai langsung dari dokumen atau Derive untuk nilai yang disimpulkan oleh sistem. Hal ini meningkatkan akurasi dan performa model dasar.

Untuk akurasi dan performa ekstraksi, tambahkan deskripsi (seperti konteks, insight, dan pengetahuan sebelumnya untuk setiap entity) untuk jenis entity yang harus diambil.

Buka tab Build, lalu pilih Import Documents.

Pilih jalur dokumen dan set tempat dokumen harus diimpor. Centang opsi pemberian label otomatis dan pilih model dasar.
Di tab Build, pilih Manage Dataset.
Saat Anda melihat dokumen yang diimpor, pilih salah satunya.

Prediksi dari model kini ditampilkan dan ditandai dengan warna ungu.
- Tinjau setiap label yang diprediksi oleh model, dan pastikan label tersebut sudah benar.
Jika ada kolom yang tidak ada, tambahkan juga kolom tersebut.

Setelah dokumen ditinjau, pilih Mark as Labeled. Dokumen kini siap digunakan oleh model.
Pastikan dokumen berada dalam set pengujian atau set pelatihan.
Penyusunan bertingkat tiga tingkat
Pengekstrak Kustom kini menyediakan tiga tingkat pengelompokan. Fitur ini memberikan ekstraksi yang lebih baik untuk tabel yang kompleks.
Anda dapat menentukan jenis model menggunakan panggilan API berikut:
Responsnya adalah ProcessorVersion, yang berisi kolom modelType di pratinjau v1beta3.
Prosedur dan contoh
Kami menggunakan sampel ini:

Pilih Get Started, lalu buat kolom:
- Buat tingkat teratas.
- Dalam contoh ini,
officer_appointmentsdigunakan. - Pilih Ini adalah label induk.
- Pilih Kemunculan:
Optional multiple.

Pilih Add child field. Label tingkat kedua kini dapat dibuat:
- Untuk label level ini, buat
officer. - Pilih Ini adalah label induk.
- Pilih Kemunculan:
Optional multiple.

- Untuk label level ini, buat
Pilih Add child field dari
officertingkat kedua. Buat label turunan untuk tingkat bertingkat ketiga.
Setelah skema ditetapkan, Anda bisa mendapatkan prediksi dari dokumen dengan tiga tingkat bertingkat menggunakan pelabelan otomatis.

Memberi label pada entity bertingkat lintas halaman
Pemroses pretrained-foundation-model-v1.5-2025-05-05 mendukung penyusunan bertingkat tiga tingkat di seluruh
halaman.
Beri label pada entity secara normal di seluruh halaman. Catatan: Entitas yang diberi label hanya akan terlihat di halaman tempat entitas tersebut diberi label, dengan menu navigasi yang berubah dari halaman ke halaman. Dengan menyematkan entitas induk, menu navigasi ini akan tetap ada.

Sematkan entitas induk dengan turunan yang ingin Anda beri label di seluruh halaman.

Buka halaman yang berisi entitas turunan yang akan diberi label.

Konfigurasi set data
Set data dokumen diperlukan untuk melatih, melakukan up-train, atau mengevaluasi versi pemroses. Pemroses Document AI belajar dari contoh, sama seperti manusia. Set data mendukung stabilitas prosesor dalam hal performa.Set data pelatihan
Untuk meningkatkan kualitas model dan akurasinya, latih set data pada dokumen Anda. Model ini terdiri dari dokumen dengan kebenaran nyata.- Untuk penyesuaian, Anda memerlukan minimal 50 dokumen pelatihan dan 50 dokumen pengujian untuk melatih model baru
dengan versi
pretrained-foundation-model-v1.5-2025-05-05. - Untuk few-shot, sebaiknya gunakan lima dokumen.
- Untuk zero-shot, hanya skema yang diperlukan.
Set data pengujian
Set data pengujian adalah set data yang digunakan model untuk menghasilkan skor F1 (akurasi). Set data ini terdiri dari dokumen dengan kebenaran nyata. Untuk melihat seberapa sering model memberikan jawaban yang benar, kebenaran nyata digunakan untuk membandingkan prediksi model (kolom yang diekstrak dari model) dengan jawaban yang benar. Set data pengujian harus memiliki minimal 50 dokumen untukpretrained-foundation-model-v1.5-2025-05-05.
Pengekstrak kustom dengan deskripsi properti
Dengan deskripsi properti, Anda dapat melatih model dengan mendeskripsikan seperti apa kolom berlabel tersebut. Anda dapat memberikan konteks dan insight tambahan untuk setiap entity. Hal ini memungkinkan model untuk berlatih dengan mencocokkan kolom yang sesuai dengan deskripsi yang Anda berikan dan meningkatkan akurasi ekstraksi. Deskripsi properti dapat ditentukan untuk entity induk dan turunan.
Contoh deskripsi properti yang baik mencakup informasi lokasi dan pola teks nilai properti, yang membantu memperjelas potensi sumber kebingungan dalam dokumen. Deskripsi properti yang jelas dan tepat memandu model dengan aturan yang mendukung ekstraksi yang lebih andal dan konsisten, terlepas dari struktur dokumen atau variasi konten tertentu.
Memperbarui skema dokumen untuk pemroses
Untuk mengetahui cara menetapkan deskripsi properti, lihat Memperbarui skema dokumen.
Mengirim permintaan pemrosesan dengan deskripsi properti
Jika skema dokumen sudah memiliki deskripsi yang ditetapkan, Anda dapat mengirim permintaan proses dengan petunjuk di Mengirim permintaan pemrosesan.
Menyesuaikan pemroses dengan deskripsi properti
Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:
- LOCATION: lokasi pemroses Anda, misalnya:
us- Amerika Serikateu- Uni Eropa
- PROJECT_ID: Project ID Google Cloud Anda.
- PROCESSOR_ID: ID pemroses kustom Anda.
- DISPLAY_NAME: Nama tampilan untuk pemroses.
- PRETRAINED_PROCESSOR_VERSION: ID versi pemroses. Lihat Memilih versi pemroses untuk mengetahui informasi selengkapnya. Misalnya:
pretrained-TYPE-vX.X-YYYY-MM-DDstablerc
- TRAIN_STEPS: Langkah-langkah pelatihan untuk penyesuaian model.
- LEARN_RATE_MULTIPLIER: Pengganda kecepatan pembelajaran untuk penyesuaian model.
- DOCUMENT_SCHEMA: Skema untuk pemroses. Lihat Representasi DocumentSchema.
Metode HTTP dan URL:
POST https://LOCATION-documentai.googleapis.com/v1beta3/projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION:process
Meminta isi JSON:
{
"rawDocument": {
"parent": "projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID",
"processor_version": {
"name": "projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/DISPLAY_NAME",
"display_name": "DISPLAY_NAME",
"model_type": "MODEL_TYPE_GENERATIVE",
},
"base_processor_version": "projects/PROJECT_ID/locations/us/processors/PROCESSOR_ID/processorVersions/PRETRAINED_PROCESSOR_VERSION",
"foundation_model_tuning_options": {
"train_steps": TRAIN_STEPS,
"learning_rate_multiplier": LEARN_RATE_MULTIPLIER,
}
"document_schema": DOCUMENT_SCHEMA
}
}
Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:
curl
Simpan isi permintaan dalam file bernama request.json,
dan jalankan perintah berikut:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-documentai.googleapis.com/v1beta3/projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION:process"
PowerShell
Simpan isi permintaan dalam file bernama request.json,
dan jalankan perintah berikut:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-documentai.googleapis.com/v1beta3/projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION:process" | Select-Object -Expand Content
Ekstraktor kustom dengan deteksi tanda tangan
(Pratinjau publik) Pengekstrak kustom mendukung deteksi tanda tangan. Dengan fitur ini, Anda dapat mendeteksi keberadaan tanda tangan dalam dokumen. Deteksi tanda tangan hanya tersedia dengan menggunakan
jenis metode derived. Anda dapat menentukan skema dengan jenis entity signature
untuk entity tersebut. Entity tanda tangan diperoleh menggunakan petunjuk visual dari dokumen.
Untuk contoh dan petunjuk konfigurasi, klik Custom extractor with derived field and signature detection.
Pengekstrak kustom dengan kolom turunan
Ekstraktor kustom mendukung kolom turunan. Dengan fitur ini, Anda dapat mengonfigurasi kolom untuk diisi melalui inferensi atau pembuatan cerdas berdasarkan konteks dokumen, bukan ekstraksi teks langsung. Anda dapat menggunakannya untuk kasus penggunaan seperti menyimpulkan negara dari alamat, meringkas dokumen, menghitung item dalam tabel, atau mendeteksi apakah ID autentik, tanpa mengharuskan nilai tersebut ada secara eksplisit dalam teks.
Untuk contoh dan petunjuk konfigurasi, klik Pengekstrak kustom dengan kolom turunan dan deteksi tanda tangan.
Langkah berikutnya
Pelajari Pengekstrak kustom dengan kolom turunan dan deteksi tanda tangan.