Dapatkan inferensi asinkron, throughput tinggi, dan hemat biaya untuk kebutuhan pemrosesan data skala besar Anda dengan inferensi batch Gemini (sebelumnya dikenal sebagai prediksi batch). Panduan ini menjelaskan nilai inferensi batch, cara kerjanya, batasannya, dan praktik terbaik untuk hasil yang optimal.
Mengapa menggunakan inferensi batch?
Dalam banyak skenario dunia nyata, Anda tidak memerlukan respons langsung dari model bahasa. Sebagai gantinya, Anda mungkin memiliki set data perintah yang besar yang perlu diproses secara efisien dan terjangkau. Di sinilah inferensi batch berperan.
Manfaat utama mencakup:
- Efisiensi Biaya: Pemrosesan batch ditawarkan dengan tarif diskon 50% dibandingkan dengan inferensi real-time, sehingga ideal untuk tugas skala besar yang tidak mendesak. Caching implisit diaktifkan secara default untuk model Gemini 2.5 dan Gemini 3. Caching implisit memberikan diskon 90% untuk token yang di-cache dibandingkan dengan token input standar. Namun, diskon untuk cache dan batch tidak dapat digabungkan. Diskon hit cache 90% lebih diutamakan daripada diskon batch.
- Batas tarif tinggi: Proses ratusan ribu permintaan dalam satu batch dengan batas tarif yang lebih tinggi dibandingkan dengan Gemini API real-time.
- Alur Kerja yang Disederhanakan: Daripada mengelola pipeline kompleks dari permintaan real-time individual, Anda dapat mengirimkan satu tugas batch dan mengambil hasilnya setelah pemrosesan selesai. Layanan ini menangani validasi format, memparalelkan permintaan untuk pemrosesan serentak, dan otomatis mencoba lagi untuk mencapai tingkat penyelesaian yang tinggi dengan waktu tunggu 24 jam.
Inferensi batch dioptimalkan untuk tugas pemrosesan skala besar seperti:
- Pembuatan Konten: Buat deskripsi produk, postingan media sosial, atau teks kreatif lainnya secara massal.
- Anotasi dan Klasifikasi Data: Klasifikasikan ulasan pengguna, kategorikan dokumen, atau lakukan analisis sentimen pada korpus teks yang besar.
- Analisis Offline: Ringkas artikel, ekstrak informasi penting dari laporan, atau terjemahkan dokumen dalam skala besar.
Model Gemini yang mendukung inferensi batch
Model Gemini dasar dan yang disesuaikan berikut mendukung inferensi batch:
Klik untuk memperluas model yang didukung
Dukungan model endpoint global
Inferensi batch mendukung penggunaan endpoint global untuk model Gemini dasar. Inferensi batch tidak mendukung endpoint global untuk model Gemini yang disesuaikan.
Endpoint global membantu meningkatkan ketersediaan secara keseluruhan dengan menayangkan permintaan Anda dari wilayah mana pun yang didukung oleh model yang Anda gunakan. Perhatikan bahwa endpoint global tidak mendukung persyaratan residensi data. Jika Anda memiliki persyaratan residensi data, gunakan endpoint regional.
Kuota dan batas
Meskipun inferensi batch sangat canggih, penting untuk mengetahui batasan berikut.
- Quota: Tidak ada batas kuota yang telah ditentukan sebelumnya untuk penggunaan Anda. Sebagai gantinya, layanan batch menyediakan akses ke kumpulan resource bersama yang besar, yang dialokasikan secara dinamis berdasarkan ketersediaan resource dan permintaan real-time di semua pelanggan model tersebut. Saat lebih banyak pelanggan aktif dan kapasitas kami penuh, permintaan batch Anda mungkin akan dimasukkan ke dalam antrean untuk kapasitas.
- Waktu Antrean: Saat layanan kami mengalami traffic tinggi, tugas batch Anda akan dimasukkan ke dalam antrean untuk kapasitas. Tugas akan tetap berada dalam antrean hingga 72 jam sebelum berakhir masa berlakunya.
- Batas Permintaan: Satu tugas batch dapat mencakup hingga 200.000 permintaan. Jika Anda menggunakan Cloud Storage sebagai input, ada juga batas ukuran file sebesar 1 GB.
- Waktu Pemrosesan: Tugas batch diproses secara asinkron dan tidak dirancang untuk aplikasi real-time. Sebagian besar tugas selesai dalam waktu 24 jam setelah mulai berjalan (tidak termasuk waktu antrean). Setelah 24 jam, tugas yang belum selesai akan dibatalkan, dan Anda hanya akan ditagih untuk permintaan yang telah selesai.
- Tugas yang dibatalkan: Anda dapat membatalkan tugas inferensi batch kapan saja. Saat Anda membatalkan tugas, semua pekerjaan yang tersisa akan dibatalkan, dan semua pekerjaan yang telah selesai akan ditampilkan. Anda hanya akan ditagih untuk pekerjaan yang telah selesai.
- Fitur yang tidak didukung: Inferensi batch tidak mendukung Throughput yang Disediakan, caching eksplisit, atau RAG. Caching implisit inferensi batch tidak didukung di Gemini 2.0 Flash atau Gemini 2.0 Flash-Lite.
- Output gambar: Inferensi batch dibatasi untuk resolusi 1K default. Output 2K dan 4K tidak didukung.
Praktik terbaik
Untuk mendapatkan hasil maksimal dari inferensi batch dengan Gemini, sebaiknya ikuti praktik terbaik berikut:
- Gabungkan tugas: Untuk memaksimalkan throughput, gabungkan tugas yang lebih kecil menjadi satu tugas besar, dalam batas sistem. Misalnya, mengirimkan satu tugas batch dengan 200.000 permintaan akan memberi Anda throughput yang lebih baik daripada 1.000 tugas dengan 200 permintaan.
- Pantau Status Tugas: Anda dapat memantau progres tugas menggunakan API, SDK, atau UI. Untuk mengetahui informasi selengkapnya, lihat memantau status tugas. Jika tugas gagal, periksa pesan error untuk mendiagnosis dan memecahkan masalah.
- Optimalkan Biaya: Manfaatkan penghematan biaya yang ditawarkan oleh pemrosesan batch untuk tugas apa pun yang tidak memerlukan respons langsung.