Bagian ini menjelaskan cara kerja Throughput yang Disediakan dengan Gemini Live API untuk penghitungan token dan penerapan kuota.
Gemini Live API memungkinkan interaksi multimodal berlatensi rendah menggunakan memori sesi untuk mempertahankan konteks di seluruh giliran. Untuk mengetahui kemampuan tambahan dan batas sesi, lihat referensi Gemini Live API.
Setiap sesi harus didedikasikan sepenuhnya untuk Throughput yang Disediakan atau PayGo; limpahan di tengah sesi tidak didukung. Jika Anda melebihi kuota Throughput yang Disediakan selama sesi aktif, sistem akan mengizinkan burst sementara untuk menghindari error, dan mendaftarkan kelebihan penggunaan terhadap kuota keseluruhan Anda. Untuk menghindari lonjakan penggunaan yang tidak terduga, beli GSU yang cukup untuk mendukung permintaan puncak Anda.
Limpahan didukung di antara sesi. Saat memulai sesi, sistem akan mengevaluasi header permintaan dan memverifikasi ketersediaan kuota Throughput yang Disediakan. Jika kuota tidak mencukupi, sesi baru akan ditetapkan secara default ke PayGo.
Karena memori sesi membawa output giliran sebelumnya sebagai input untuk permintaan berikutnya, Throughput yang Disediakan menghitung kuota berdasarkan token baru yang masuk dan token sesi yang terakumulasi. Akibatnya, total token yang diproses per permintaan akan meningkat seiring berjalannya sesi hingga batas sesi yang telah ditentukan tercapai. Status sesi, termasuk memori sesi, tersedia selama sesi aktif.
Pastikan untuk memperhitungkan token memori sesi saat memperkirakan Throughput yang Disediakan yang diperlukan. Perhatikan bahwa token avatar video output tidak disertakan dalam memori sesi. Pola traffic PayGo historis dapat berfungsi sebagai dasar pengukuran yang berguna untuk menghitung kebutuhan GSU Anda.
Periode penerapan kuota bervariasi berdasarkan jumlah GSU yang Anda beli untuk model dan dapat berubah sewaktu-waktu.
Gemini 3.8 Live API
Periode penerapan kuota
Berikut adalah periode penerapan kuota untuk berbagai ukuran GSU untuk model Gemini 3.8 Live API:
- 1-9 GSU: 45 detik
- 10+ GSU: 5 detik
Nilai yang tercantum tidak bergantung pada latensi permintaan. Waktu untuk memproses permintaan Anda tidak sama dengan periode penerapan kuota. Perhatikan bahwa minimal 10 GSU harus dibeli agar Throughput yang Disediakan dapat memproses permintaan terkait avatar video model ini. Jika kurang dari 10 GSU yang dibeli, seluruh sesi berbasis avatar video akan dialihkan ke PayGo.
Jendela penerapan lebih besar pada jumlah GSU yang lebih kecil untuk memastikan bahwa permintaan yang lebih kecil berhasil diproses dalam jendela tersebut. Seiring bertambahnya jumlah GSU untuk suatu model, waktu jendela yang lebih lama tidak diperlukan untuk memproses permintaan. Jika Anda perlu memproses output lebih sering menggunakan Throughput yang Disediakan, sebaiknya tingkatkan jumlah GSU yang dibeli dan periksa periode penerapan yang sesuai. Periode penegakan bergantung pada algoritma backend dan dapat berubah sewaktu-waktu.
Memperkirakan persyaratan GSU
Mari kita bahas contoh potensi workload dan pahami cara alat estimasi akan memberikan rekomendasi untuk model ini, yang juga menginformasikan cara permintaan diproses dan tingkat burndown diterapkan. Seorang pengguna berencana menggunakan Gemini Live API untuk chatbot yang diperkirakan akan memiliki 10 sesi serentak, dan durasinya adalah 5 menit (300 detik). Diperkirakan ada 30 giliran percakapan per sesi, dan pengguna menentukan jendela konteks sesi maksimum sebesar 6.000 token pemicu. Bentuk permintaan ditampilkan di bawah:
| Kolom | Nilai Contoh |
|---|---|
| Jumlah sesi serentak yang diharapkan | 10 |
| Durasi yang diharapkan (detik) | 300 |
| Jumlah rata-rata giliran per sesi | 30 |
| Panjang jendela konteks maksimum (token pemicu) | 6.000 |
| Token teks input rata-rata per giliran | 20 |
| Token audio input rata-rata per giliran | 200 |
| Token gambar/video input rata-rata per giliran | 50 |
| Token teks output rata-rata per giliran | 100 |
| Rata-rata token audio output per giliran | 200 |
| Apakah avatar video output diaktifkan? | Ya |
Token input per giliran:
Hitung sumproduct modalitas input dan tingkat burndown masing-masing:
Rata-rata token teks input per giliran * Rasio burndown teks input = 20 * 1 = 20
Token audio input rata-rata per giliran * Rasio burndown audio input = 200 * 4 = 800
Rata-rata token gambar/video input per giliran * Rasio burndown gambar input = 50 * 1,4 = 70
Total token input yang disesuaikan dengan burndown per giliran = 20 + 800 + 70 = 890
Token output per giliran:
Menghitung sumproduct modalitas output dan tingkat burndown masing-masing. Perhatikan bahwa token avatar video output mewakili 6.192 token tetap per 25 token audio:
Token teks output rata-rata per giliran * Rasio burndown teks output = 100 * 6 = 600
Token audio rata-rata per giliran * Rasio burndown audio output = 200 * 16 = 3.200
Apakah avatar video output diaktifkan? Ya, jadi kalikan output token audio dengan (6.192/25) dan terapkan tingkat burndown token avatar video output: 200 * (6.192/25) * 1,4 = 69.350
Total token output yang disesuaikan dengan burndown per giliran = 600 + 3.200 + 69.350 = 73.150
Token jendela konteks per giliran:
Jendela konteks mengakumulasi token input dan output mentah (tidak termasuk token avatar video output) di setiap giliran hingga mencapai panjang jendela konteks maksimum dan berhenti bertambah. Token dihitung terhadap batas jendela konteks sebagai token mentah (tanpa menerapkan rasio burndown). Namun, saat jendela konteks dimasukkan ke dalam permintaan input giliran berikutnya sebagai memori sesi, token di jendela konteks harus menerapkan tingkat burndown input yang sesuai berdasarkan modalitasnya.
Tambahkan total token mentah di setiap sesi tanpa memperhitungkan tingkat burndown.
- Token teks input rata-rata per giliran + token audio input rata-rata per giliran + token gambar/video input rata-rata per giliran + token teks output rata-rata per giliran + token audio output rata-rata per giliran = 20 + 200 + 50 + 100 + 200 = 570
Kemudian, hitung rasio setiap jumlah token mentah terhadap totalnya. Kita dapat mengabaikan token output avatar video sebagai bagian dari penghitungan jendela konteks.
- Rasio teks input = 20/570 = 0,035
- Rasio audio input = 200/570 = 0,351
- Rasio gambar/video input = 50/570 = 0,088
- Rasio teks output = 100/570 = 0,175
- Rasio audio output = 200/570 = 0,351
Kemudian, hitung sumproduct dari rasio, jendela konteks maksimum, dan tingkat burndown seolah-olah semuanya adalah modalitas input.
Rasio teks input * jendela konteks maksimum * burndown teks input = 0,035 * 6.000 * 1 = 210
Rasio audio input * jendela konteks maksimum * burndown audio input = 0,351 * 6.000 * 4 = 8.424
Rasio gambar/video input * jendela konteks maksimum * burndown gambar/video input = 0,088 * 6.000 * 1,4 = 739
Rasio teks output * jendela konteks maksimum * burndown teks input = 0,175 * 6.000 * 1 = 1.050
Rasio audio output * jendela konteks maksimum * burndown audio input = 0,351 * 6.000 * 4 = 8.424
Pada batas jendela konteks maksimum 6.000 token mentah, total token jendela konteks yang disesuaikan dengan burndown yang diproses per giliran adalah 210 + 8.424 + 739 + 1.050 + 8.424 = 18.847.
Penghitungan GSU:
(token input per giliran + token output per giliran + token jendela konteks per giliran) * jumlah rata-rata giliran per sesi * jumlah sesi serentak yang diperkirakan * (1/durasi yang diperkirakan) * (1 GSU / 1.350 TPS) = (890 + 73.150 + 18.847) * 30 * 10 * (1/300) * (1/1.350) = 68,8, dibulatkan ke atas menjadi 69 GSU.
Meminta pemrosesan
Mari kita pelajari contoh cara permintaan diproses terkait Throughput yang Disediakan untuk model ini. Misalnya, ada 3 permintaan.
Detail permintaan #1 - audio & video input, audio output
- Durasi: 10 detik
- Token yang dikirim (audio): 10 detik x 25 token/detik = 250 token
- Token yang dikirim (video): 10 detik x 258 token/frame per detik = 2.580 token
- Token audio output yang diterima berdasarkan sifat permintaan: 100 token
- Memori sesi yang diperbarui = 250 + 2.580 + 100 = 2.930 token
Detail permintaan #2 - audio input dengan memori sesi, audio output
- Durasi: 40 detik
- Token yang dikirim (audio): 40 detik x 25 token/detik = 1.000 token
- Memori sesi setelah Permintaan #1 = 2.930 token
- Total token input yang dikirim: token yang dikirim dalam permintaan ini + memori sesi dari Permintaan #1 = 1.000 + 2.930 = 3.930 token
- Token audio output yang diterima berdasarkan sifat permintaan: 200 token
- Memori sesi yang diperbarui = 3.930 + 200 = 4.130 token
Detail permintaan #3 - input audio & video dengan memori sesi, output video & audio avatar
- Durasi: 10 detik
- Token yang dikirim (audio): 10 detik x 25 token/detik = 250 token
- Token yang dikirim (video): 10 detik x 258 token/frame per detik = 2.580 token
- Memori sesi setelah Permintaan #2 = 4.130 token
- Total token input yang dikirim: token yang dikirim dalam permintaan ini + memori sesi dari Permintaan #2 = 250 + 2.580 + 4.130 = 6.960 token
- Token avatar video output yang diterima berdasarkan sifat permintaan: 61.920 token
- Token audio output yang diterima berdasarkan sifat permintaan: 250 token
- Memori sesi yang diperbarui = 6.960 + 250 = 7.210 token
Memahami token yang diproses
Permintaan #1 hanya memproses token input dan output dari permintaan yang sedang berlangsung, karena tidak ada token tambahan dalam memori sesi. Semua token yang diproses kini membentuk memori sesi.
Permintaan #2 memproses token input dan output dari permintaan yang sedang berlangsung sekaligus menyertakan memori sesi dari Permintaan #1. Semua token memori sesi menerapkan tingkat penggunaan token input yang sesuai.
Permintaan #3 memproses token input dan output dari permintaan yang sedang berlangsung sekaligus menyertakan memori sesi dari Permintaan #2. Semua token memori sesi menerapkan tingkat penggunaan token input yang sesuai.
Jika Permintaan #3 memerlukan waktu tepat 1 detik untuk diproses setelah dikirim, token yang disesuaikan dengan burndown yang diterapkan ke kuota Throughput yang Disediakan untuk model ini adalah sebagai berikut:
Token audio input * rasio penggunaan audio input = 250 * 4 = 1.000
Token video input * rasio burndown video input = 2.580 * 1,4 = 3.612
Audio memori sesi * rasio burndown audio input = (250 + 100 + 1.000 + 200) * 4 = 6.200
Video memori sesi * rasio burndown video input = 2.580 * 1,4 = 3.612
Token avatar video output * tingkat burndown avatar video output = 61.920 * 1,4 = 86.688
Token audio output * rasio burndown audio output = 250 * 16 = 4.000
Menambahkan totalnya akan memberikan 105.112 token yang disesuaikan dengan burndown.
Audio Native Live API Gemini 2.5 Flash
Meminta pemrosesan
Detail permintaan #1 - audio & video input, audio output
- Durasi: 10 detik
- Token yang dikirim (audio): 10 detik x 25 token/detik = 250 token
- Token yang dikirim (video): 10 detik x 258 token/frame per detik = 2.580 token
- Token audio output yang diterima berdasarkan sifat permintaan: 100 token
- Memori sesi yang diperbarui = 250 + 2.580 + 100 = 2.930 token
Detail permintaan #2 - audio input dengan memori sesi, audio output
Durasi: 40 detik
Token yang dikirim (audio): 40 detik x 25 token/detik = 1.000 token
Memori sesi setelah Permintaan #1 = 2.930 token
Total token input yang dikirim: token yang dikirim dalam permintaan ini + memori sesi dari Permintaan #1 = 1.000 + 2.930 = 3.930 token
Token audio output yang diterima berdasarkan sifat permintaan: 200 token
Memori sesi yang diperbarui = 3.930 + 200 = 4.130 token
Memahami token yang diproses
Permintaan #1 hanya memproses token input dan output dari permintaan yang sedang berlangsung, karena tidak ada token tambahan dalam memori sesi. Semua token yang diproses kini membentuk memori sesi.
Permintaan #2 memproses token input dan output dari permintaan yang sedang berlangsung sekaligus menyertakan memori sesi dari Permintaan #1. Semua token memori sesi menerapkan tingkat penggunaan token input yang sesuai.
Jika Permintaan #2 memerlukan waktu tepat 1 detik untuk diproses setelah dikirim, token yang disesuaikan dengan burndown yang diterapkan ke kuota Throughput yang Disediakan untuk model ini adalah sebagai berikut:
- Token audio input * rasio burndown audio input = 1.000 * 6 = 6.000
- Audio memori sesi * rasio burndown audio input = (250 + 100) * 6 = 2.100
- Video memori sesi * rasio burndown video input = 2.580 * 6 = 15.480
- Token audio output * rasio burndown audio output = 200 * 24 = 4.800
Menambahkan totalnya akan menghasilkan 28.380 token yang disesuaikan dengan burndown.