Inferensi batch dengan Gemini

Dapatkan inferensi asinkron, throughput tinggi, dan hemat biaya untuk kebutuhan pemrosesan data skala besar Anda dengan inferensi batch Gemini (sebelumnya dikenal sebagai prediksi batch). Panduan ini menjelaskan nilai inferensi batch, cara kerjanya, batasannya, dan praktik terbaik untuk hasil yang optimal.

Alasan menggunakan inferensi batch

Dalam banyak skenario dunia nyata, Anda tidak memerlukan respons langsung dari model bahasa. Sebagai gantinya, Anda mungkin memiliki set data prompt yang besar yang perlu diproses secara efisien dan terjangkau. Di sinilah inferensi batch berperan.

Manfaat utama mencakup:

  • Efisiensi Biaya: Pemrosesan batch ditawarkan dengan tarif diskon 50% dibandingkan dengan inferensi real-time, sehingga ideal untuk tugas skala besar yang tidak mendesak. Caching implisit diaktifkan secara default untuk model Gemini 2.5 dan Gemini 3. Caching implisit memberikan diskon 90% untuk token yang di-cache dibandingkan dengan token input standar. Namun, diskon untuk cache dan batch tidak dapat digabungkan. Diskon hit cache 90% lebih diutamakan daripada diskon batch.
  • Batas tarif tinggi: Proses ratusan ribu permintaan dalam satu batch dengan batas tarif yang lebih tinggi dibandingkan dengan Gemini API real-time.
  • Alur Kerja yang Disederhanakan: Daripada mengelola pipeline kompleks dari permintaan real-time individual, Anda dapat mengirimkan satu tugas batch dan mengambil hasilnya setelah pemrosesan selesai. Layanan ini menangani validasi format, memparalelkan permintaan untuk pemrosesan serentak, dan otomatis mencoba lagi untuk mencapai rasio penyelesaian yang tinggi dengan waktu tunggu 24 jam.

Inferensi batch dioptimalkan untuk tugas pemrosesan skala besar seperti:

  • Pembuatan Konten: Buat deskripsi produk, postingan media sosial, atau teks kreatif lainnya secara massal.
  • Anotasi dan Klasifikasi Data: Klasifikasikan ulasan pengguna, kategorikan dokumen, atau lakukan analisis sentimen pada korpus teks yang besar.
  • Analisis Offline: Ringkas artikel, ekstrak informasi penting dari laporan, atau terjemahkan dokumen dalam skala besar.
  • Pembuatan Embedding: Buat embedding vektor untuk korpus dokumen besar guna mendukung workload penelusuran semantik, pengambilan data, dan pengelompokan.

Model Gemini yang mendukung inferensi batch

Model Gemini dasar dan yang disesuaikan berikut mendukung inferensi batch:

Klik untuk memperluas model yang didukung

Model embedding yang mendukung inferensi batch

Inferensi batch juga tersedia untuk model embedding:

  • Model embedding Gemini (Pratinjau): gemini-embedding-001 dan gemini-embedding-2. Setiap tugas batch mendukung hingga 1.000.000 baris, dan setiap project mendukung hingga 10.000 tugas batch serentak dalam antrean.
  • Model embedding teks lama: semua versi stabil, termasuk text-embedding-004, text-embedding-005, dan text-multilingual-embedding-002. Setiap permintaan dapat menyertakan hingga 30.000 prompt.

Tugas batch embedding menggunakan skema input dan output yang berbeda dari tugas batch pembuatan teks Gemini, dan batas permintaan dalam Kuota dan batas tidak berlaku untuk tugas tersebut. Untuk mengetahui skema JSONL yang diperlukan, opsi konfigurasi per model, dan contohnya, lihat Mendapatkan inferensi embedding batch.

Dukungan model endpoint global

Inferensi batch mendukung penggunaan endpoint global untuk model Gemini dasar. Inferensi batch tidak mendukung endpoint global untuk model Gemini yang disesuaikan.

Endpoint global membantu meningkatkan ketersediaan secara keseluruhan dengan menayangkan permintaan Anda dari wilayah mana pun yang didukung oleh model yang Anda gunakan. Perhatikan bahwa endpoint global tidak mendukung persyaratan residensi data. Jika Anda memiliki persyaratan residensi data, gunakan endpoint regional.

Kuota dan batas

Meskipun inferensi batch sangat efektif, penting untuk mengetahui batasan berikut.

  • Quota: Tidak ada batas kuota yang telah ditentukan sebelumnya untuk penggunaan Anda. Sebagai gantinya, layanan batch menyediakan akses ke kumpulan resource besar yang digunakan bersama, yang dialokasikan secara dinamis berdasarkan ketersediaan resource dan permintaan real-time di seluruh pelanggan model tersebut. Jika lebih banyak pelanggan yang aktif dan kapasitas kami penuh, permintaan batch Anda mungkin akan dimasukkan ke dalam antrean untuk kapasitas.
  • Waktu Antrean: Jika layanan kami mengalami traffic tinggi, tugas batch Anda akan dimasukkan ke dalam antrean untuk kapasitas. Tugas akan tetap berada dalam antrean hingga 72 jam sebelum berakhir masa berlakunya.
  • Batas Permintaan: Satu tugas batch dapat menyertakan hingga 200.000 permintaan. Jika Anda menggunakan Cloud Storage sebagai input, ada juga batas ukuran file sebesar 1 GB. Model embedding memiliki batas permintaan yang berbeda. Untuk mengetahui informasi selengkapnya, lihat Model embedding yang mendukung inferensi batch.
  • Waktu Pemrosesan: Tugas batch diproses secara asinkron dan tidak dirancang untuk aplikasi real-time. Sebagian besar tugas selesai dalam waktu 24 jam setelah mulai berjalan (tidak termasuk waktu antrean). Setelah 24 jam, tugas yang belum selesai akan dibatalkan, dan Anda hanya akan dikenai biaya untuk permintaan yang telah selesai.
  • Tugas yang dibatalkan: Anda dapat membatalkan tugas inferensi batch kapan saja. Saat Anda membatalkan tugas, semua pekerjaan yang tersisa akan dibatalkan, dan semua pekerjaan yang telah selesai akan ditampilkan. Anda hanya akan dikenai biaya untuk pekerjaan yang telah selesai.
  • Fitur yang tidak didukung: Inferensi batch tidak mendukung Throughput yang Disediakan, caching eksplisit, atau RAG. Caching implisit inferensi batch tidak didukung di Gemini 2.0 Flash atau Gemini 2.0 Flash-Lite.
  • Output gambar: Inferensi batch terbatas pada resolusi 1K default. Output 2K dan 4K tidak didukung.

Praktik terbaik

Untuk memaksimalkan inferensi batch dengan Gemini, sebaiknya ikuti praktik terbaik berikut:

  • Gabungkan tugas: Untuk memaksimalkan throughput, gabungkan tugas yang lebih kecil menjadi satu tugas besar, dalam batas sistem. Misalnya, mengirimkan satu tugas batch dengan 200.000 permintaan akan memberikan throughput yang lebih baik daripada 1.000 tugas dengan 200 permintaan.
  • Pantau Status Tugas: Anda dapat memantau progres tugas menggunakan API, SDK, atau UI. Untuk mengetahui informasi selengkapnya, lihat memantau status tugas. Jika tugas gagal, periksa pesan error untuk mendiagnosis dan memecahkan masalah.
  • Optimalkan Biaya: Manfaatkan penghematan biaya yang ditawarkan oleh pemrosesan batch untuk tugas apa pun yang tidak memerlukan respons langsung.

Langkah berikutnya