Gemini Enterprise Agent Platform menawarkan beberapa opsi untuk mendapatkan dan menggunakan resource komputasi saat menggunakan model generatif. Opsi konsumsi ini dirancang untuk memenuhi kebutuhan workload apa pun, mulai dari pembuatan prototipe awal hingga deployment produksi. Memilih opsi yang tepat sangat penting untuk menyeimbangkan performa, keandalan, dan biaya.
Panduan ini menjelaskan secara mendetail opsi konsumsi yang tersedia, membantu Anda memetakannya ke persyaratan workload spesifik, dan memberikan strategi untuk mengoptimalkan latensi, ketersediaan, dan biaya.
Opsi pemakaian
Gemini Enterprise Agent Platform menyediakan lima opsi konsumsi yang disesuaikan dengan berbagai pola traffic dan kebutuhan bisnis:
| Opsi pemakaian | Deskripsi | Ideal untuk | Harga | |
|---|---|---|---|---|
| Throughput yang Disediakan | Memberikan jaminan throughput untuk periode komitmen | Workload yang penting, stabil, dan selalu aktif yang memerlukan SLA | Berbasis komitmen (tersedia dalam paket 1 minggu, 1 bulan, 3 bulan, dan 1 tahun) | |
| PayGo | Standar | Opsi bayar per penggunaan yang fleksibel tanpa komitmen di awal | Opsi default untuk kasus penggunaan sehari-hari dengan fleksibilitas untuk permintaan traffic yang bervariasi | Per token (tarif standar) |
| Prioritas | Memberikan keandalan yang lebih tinggi melalui pemrosesan prioritas sekaligus mempertahankan fleksibilitas PayGo | Workload penting yang memerlukan keandalan dan batas yang lebih tinggi daripada PayGo standar | Per token (tarif premium) | |
| Flex | Opsi hemat biaya untuk workload yang toleran terhadap latensi | Tugas yang dapat menoleransi waktu respons yang lebih lambat dan throttling yang lebih tinggi dengan imbalan harga yang lebih rendah | Per token (tarif diskon) | |
| Inferensi batch | Dioptimalkan untuk biaya pemrosesan asinkron bervolume tinggi | Tugas berskala besar yang hasilnya diperlukan dalam jangka waktu yang lebih lama | Per token (tarif diskon) | |
Untuk mengetahui informasi tentang harga, lihat halaman harga.
Memilih opsi yang tepat untuk workload Anda
Bagian berikut memberikan panduan dalam memilih opsi pemakaian yang paling sesuai berdasarkan persyaratan dan karakteristik spesifik workload Anda.
Workload yang sensitif terhadap latensi
Organisasi sering kali harus membuat kompromi antara keandalan dan biaya saat memilih model pemakaian yang tepat. Meskipun Throughput yang Disediakan menawarkan keandalan tertinggi, hal ini dapat menyebabkan kurangnya pemanfaatan jika traffic Anda mengalami lonjakan. Demikian pula, PayGo mungkin menawarkan fleksibilitas maksimum, tetapi tidak dapat menjamin kualitas layanan. Bagian berikut menjelaskan cara terbaik untuk menggabungkan mekanisme ini guna mencapai hasil yang optimal:
- Mencakup traffic dasar dengan Throughput yang Disediakan. Hal ini meningkatkan
pemanfaatan kapasitas yang dipesan, sehingga lebih ekonomis sekaligus memberikan
jaminan keandalan untuk inti traffic Anda. Untuk melakukannya, lakukan hal berikut:
- Analisis pola traffic tingkat menit atau detik Anda.
- Tentukan jumlah traffic yang akan dicakup oleh Throughput yang Disediakan. Aturan ini harus mencakup traffic prioritas tertinggi Anda.
- Kelola traffic tambahan dengan Standard atau Priority bayar sesuai penggunaan: Secara default, traffic yang melebihi dasar pengukuran Throughput yang Disediakan (disebut traffic tambahan) ditangani oleh Standard bayar sesuai penggunaan. Jika Anda mengamati varians yang lebih tinggi dalam performa untuk permintaan di atas batas TPM, Anda dapat mengurangi varians tersebut melalui pengoptimalan. Priority PayGo memberi Anda opsi untuk mencapai performa yang andal dengan harga premium, sesuai dengan batas peningkatan.
Workload asinkron bervolume tinggi
Jika Anda memiliki backlog permintaan yang besar (misalnya, jika Anda memiliki jutaan dokumen untuk diringkas), dan latensi langsung tidak menjadi masalah, Anda harus mengirimkan tugas batch dengan merumuskan permintaan ke dalam file JSON atau spreadsheet. Hal ini berguna untuk kasus penggunaan seperti pelabelan gambar, pemrosesan dokumen massal, atau analisis sentimen pada data historis.
Ini adalah opsi yang paling hemat biaya untuk inferensi bervolume tinggi.
Workload yang toleran terhadap latensi dan sensitif terhadap biaya
Jika Anda perlu memproses permintaan yang aplikasinya dapat menunggu respons, tetapi pengurangan biaya adalah prioritas, Anda harus menggunakan Flex bayar sesuai penggunaan. Flex PayGo menawarkan harga per token yang lebih rendah untuk permintaan yang tidak memerlukan eksekusi langsung. Opsi ini berguna untuk kasus penggunaan seperti analisis offline, anotasi data, pembuatan katalog produk, atau penerjemahan.
Strategi pengoptimalan
Setelah memilih model pemakaian, gunakan strategi berikut untuk mengoptimalkan latensi, ketersediaan, dan biaya lebih lanjut.
Latensi
Saat Anda membangun aplikasi interaktif, latensi memainkan peran penting dalam pengalaman pengguna. Latensi mengacu pada waktu yang diperlukan model untuk memproses perintah input Anda dan menghasilkan respons output yang sesuai. Saat memeriksa latensi dengan model, pertimbangkan hal berikut:
- Waktu hingga token pertama (TTFT): Waktu yang diperlukan model untuk menghasilkan token pertama respons setelah menerima perintah. TTFT sangat relevan untuk aplikasi streaming, yang memerlukan respons cepat.
- Time to last token (TTLT): Total waktu yang diperlukan model untuk memproses perintah dan menghasilkan respons.
Untuk mengoptimalkan latensi:
- Pilih model yang tepat untuk kasus penggunaan Anda: Gemini Enterprise Agent Platform menyediakan berbagai model dengan kemampuan dan karakteristik performa yang bervariasi. Evaluasi dengan cermat persyaratan Anda terkait kecepatan dan kualitas output untuk memilih model yang paling sesuai dengan kasus penggunaan Anda. Untuk mengetahui daftar model yang tersedia, lihat Model Garden Gemini Enterprise Agent Platform.
- Kurangi ukuran perintah: Buat perintah yang jelas dan ringkas yang secara efektif menyampaikan maksud Anda tanpa detail atau redundansi yang tidak perlu. Perintah yang lebih singkat mengurangi waktu untuk token pertama.
- Membatasi token output:
- Gunakan petunjuk sistem untuk mengontrol panjang respons. Perintahkan model untuk memberikan jawaban ringkas atau membatasi output ke jumlah kalimat atau paragraf tertentu. Strategi ini dapat mengurangi waktu ke token terakhir.
- Batasi output dengan menetapkan batas. Gunakan parameter
max_output_tokensuntuk menetapkan batas maksimum panjang respons yang dihasilkan, sehingga mencegah output yang terlalu panjang. Latensi berbanding lurus dengan jumlah token yang dihasilkan; menghasilkan lebih sedikit token akan menghasilkan respons yang lebih cepat. Namun, berhati-hatilah karena hal ini dapat memotong respons di tengah kalimat.
- Gunakan Throughput yang Disediakan: Untuk performa yang paling konsisten, gunakan Throughput yang Disediakan. Hal ini menghilangkan variabilitas yang disebabkan oleh "cold start" atau antrean yang terkadang dapat terjadi dalam model PayGo selama traffic tinggi.
- Batasi anggaran penalaran: Jika Anda menggunakan model yang mendukung Penalaran, Anda dapat mengurangi latensi dengan mengurangi anggaran penalaran. Dengan membatasi token penalaran internal yang dihasilkan model sebelum menjawab, Anda akan mengurangi waktu pemrosesan secara keseluruhan. Namun, Anda harus memastikan anggaran tetap memadai untuk kompleksitas tugas guna menghindari penurunan kualitas jawaban.
- Gunakan streaming untuk respons Anda: Streaming meningkatkan responsivitas yang dirasakan dan menciptakan pengalaman pengguna yang lebih interaktif. Dengan streaming, model mulai mengirimkan responsnya sebelum menghasilkan output lengkap. Hal ini memungkinkan pemrosesan output secara real-time, sehingga Anda dapat segera memperbarui antarmuka pengguna dan melakukan tugas serentak lainnya.
Ketersediaan
Untuk mengoptimalkan ketersediaan:
- Terapkan logika percobaan ulang: Terapkan backoff eksponensial untuk error 429, terutama saat menggunakan Standard PayGo.
- Gunakan implementasi hybrid: Seperti yang dijelaskan dalam Memilih opsi yang tepat untuk workload Anda, jangan hanya mengandalkan PayGo untuk aplikasi produksi yang penting. Menggabungkan Throughput yang Disediakan dan PayGo memberikan jaminan tertinggi terhadap kehabisan resource (error 429).
- Kelola kuota Throughput yang Disediakan: Pantau konsumsi TPM Anda secara rutin dan tingkatkan GSU PT sebelum peristiwa traffic yang diantisipasi (seperti peluncuran produk). Anda dapat menggunakan kebijakan pemberitahuan untuk mengotomatiskan pemantauan.
- Gunakan endpoint global: Gunakan endpoint global untuk memanfaatkan kumpulan kapasitas global Google guna meminimalkan throttling akibat batasan kapasitas regional.
- Lancarkan traffic Anda untuk mengurangi lonjakan jika memungkinkan: Rasio traffic PayGo (TPM) yang lebih tinggi cenderung dikaitkan dengan rasio throttling yang lebih tinggi.
- Mengalihkan traffic ke jam di luar jam puncak: Penggunaan model secara agregat umumnya mengikuti pola diurnal. Menggeser waktu beban kerja ke jam di luar jam puncak atau akhir pekan dapat meningkatkan ketersediaan secara signifikan.
Biaya
Untuk mengoptimalkan biaya:
- Sesuaikan ukuran Throughput yang Disediakan: Anda umumnya tidak perlu menyediakan PT untuk memenuhi permintaan puncak. Penyediaan untuk permintaan puncak mengurangi pemakaian secara keseluruhan dan meningkatkan biaya. Berusahalah untuk mencakup persentil tertentu dari traffic Anda, bergantung pada toleransi risiko Anda, dan biarkan PayGo Standar dan PayGo Prioritas menangani sisanya.
- Beli Throughput yang Disediakan jangka panjang: Komitmen PT 1 tahun diberi harga diskon 26% dibandingkan dengan PT 1 bulan, sehingga menghasilkan penghematan biaya yang signifikan. Anda dapat mengubah model yang terkait dengan GSU Throughput yang Disediakan yang Anda beli kapan saja untuk memanfaatkan kemampuan model terbaru kami.
- Gunakan Flex PayGo: Identifikasi bagian mana pun dari pipeline Anda yang tidak sensitif terhadap latensi (misalnya, ringkasan latar belakang, ekstraksi data) dan pindahkan ke Flex PayGo untuk memangkas biaya sekitar 50%.
- Gunakan batch processing: Untuk tugas asinkron seperti memproses set data besar, batch processing jauh lebih murah (50%) daripada memproses permintaan secara berurutan menggunakan PayGo Standar.
- Menggunakan cache konteks: Cache konteks membantu mengurangi biaya dan latensi permintaan yang berisi konten berulang. Tingkatkan rasio cache ditemukan dengan menempatkan konten yang besar dan umum di awal perintah, dan mengirimkan permintaan dengan awalan yang sama dalam waktu singkat.
- Pilih model dengan harga lebih rendah: Jika kasus penggunaan Anda memungkinkan, gunakan salah satu model kami yang lebih kecil seperti Flash-Lite, yang memiliki titik harga per token lebih rendah daripada model kami yang berfitur lengkap dan berkapasitas besar.