Throughput yang Disediakan untuk model Gemini Omni

Bagian ini menjelaskan cara kerja Throughput yang Disediakan untuk model Gemini Omni, termasuk perilaku penerapan kuota dan penambahan pembelian unit skala AI generatif (GSU) minimum.

Untuk model Gemini Omni, periode penerapan kuota bervariasi berdasarkan jumlah GSU yang Anda beli untuk model tersebut dan dapat berubah. Bagian berikut mencantumkan periode penerapan kuota untuk berbagai ukuran GSU.

Model Gemini Omni: Jendela penerapan kuota

Berikut adalah periode penerapan kuota untuk berbagai ukuran GSU untuk model Gemini Omni:

  • 1-9 GSU: 2.000 detik
  • 10-19 GSU: 200 detik
  • 20-39 GSU: 100 detik
  • 40-66 GSU: 50 detik
  • 67+ GSU: 30 detik

Nilai yang tercantum tidak bergantung pada latensi permintaan. Waktu untuk memproses permintaan Anda tidak sama dengan periode penerapan kuota.

Jendela penerapan lebih besar pada jumlah GSU yang lebih kecil untuk memastikan bahwa permintaan yang lebih kecil berhasil diproses dalam jendela tersebut. Seiring bertambahnya jumlah GSU untuk suatu model, waktu jendela yang lebih lama tidak diperlukan untuk memproses permintaan. Jika Anda perlu memproses output pada model Gemini Omni lebih sering menggunakan Throughput yang Disediakan, tingkatkan jumlah GSU yang dibeli dan periksa periode penegakan yang sesuai.

Misalnya, pertimbangkan situasi saat Anda membeli 1 GSU Omni 1.2 Flash untuk workload yang memerlukan pembuatan satu video 1080p berdurasi 10 detik. Dalam hal ini, Anda biasanya dapat membuat video ini dalam waktu 60 detik dan traffic diproses sebagai Throughput yang Disediakan. Namun, jika Anda ingin membuat video lain dengan durasi yang sama, Anda harus menunggu hingga periode penerapan kuota berakhir (2.000 detik untuk 1 GSU). Waktu jendela penerapan ini ditentukan oleh waktu jam Gemini Enterprise Agent Platform, bukan saat permintaan dibuat. Periode penegakan bergantung pada algoritma backend dan dapat berubah sewaktu-waktu.

Tetapkan parameter API durasi dan resolusi saat membuat permintaan. Jika disediakan, Throughput yang Disediakan dapat memberikan pengalaman yang lebih akurat. Jika parameter ini tidak diberikan, estimasi ukuran permintaan Throughput yang Disediakan akan mengasumsikan durasi dan resolusi default, yang dapat menyebabkan limpahan dini yang dapat dihindari ke bayar sesuai penggunaan dan mengurangi pemanfaatan Throughput yang Disediakan yang Anda beli.

Memperkirakan persyaratan GSU

Gunakan alat estimasi di halaman Provisioned Throughput untuk memperkirakan jumlah GSU yang diperlukan untuk workload Anda. Alat ini memerlukan input Anda berupa total token input dan estimasi token output untuk periode frekuensi tertentu. Untuk mengetahui informasi selengkapnya tentang cara menggunakan alat estimasi, lihat Melakukan pemesanan Throughput yang Disediakan standar.

Untuk memperkirakan jumlah token, gunakan metode berikut:

  • Token teks input: Gunakan tokenizer SDK atau countTokens API.
  • Token input modalitas lainnya: Gunakan estimasi berdasarkan asumsi di halaman harga.
  • Workload yang ada: Menjumlahkan penggunaan token dari respons yang dihasilkan dalam rentang waktu tertentu.

Misalnya, pertimbangkan workload yang menghasilkan lima video 720p berdurasi 10 detik dan lima video 1080p berdurasi 10 detik setiap 30 detik (total 10 permintaan). Misalnya, setiap permintaan memiliki 20 token teks input,satu gambar (1.120 token), dan 100 token penalaran respons. Input untuk estimator GSU adalah sebagai berikut:

  • Frekuensi: 30 dtk
  • Total token teks input: 20 × 10 (permintaan) = 200
  • Total token gambar: 1.120 × 10 (permintaan) = 11.200
  • Total token penalaran output: 100 × 10 (permintaan) = 1.000
  • Total token video output: 10 dtk (durasi) × 5.792 (token/dtk) × 5 video (720p) + 10 dtk (durasi) × 8.688 (token/dtk) × 5 video (1080p) = 724.000
  • Estimasi GSU: 283 (untuk gemini-omni-1.2-flash) atau 434 (untuk gemini-omni-1.1-flash-preview)

Skenario resolusi dan durasi tinggi

Satu permintaan besar tidak dapat dibagi menjadi dua periode penerapan. Jika satu permintaan memerlukan lebih dari yang dimiliki jendela penerapan, permintaan tersebut akan disajikan sebagai PayGo setiap saat, tidak peduli seberapa jarang Anda mengirimkannya dan tidak peduli seberapa banyak kuota Throughput yang Disediakan yang tidak digunakan yang mungkin ada di jendela berikutnya.

Gemini Omni

Untuk gemini-omni-1.2-flash, hal ini hanya memengaruhi video 4K berdurasi 10 detik atau lebih. Pada resolusi 360p, 720p, dan 1080p, setiap durasi yang didukung (hingga 15 detik) muat dalam satu jendela pada ukuran pembelian berapa pun, begitu juga video 4K berdurasi 9 detik atau lebih singkat (dengan asumsi token input dan penalaran standar kurang dari 118 ribu token).

Jika Anda membuat video 4K berdurasi 10 detik atau lebih, bandingkan hasil alat estimasi dengan tabel berikut dan pesan jumlah yang lebih besar:

Video 4K terpanjang 1-9 GSU 10—19 GSU 20-39 GSU 40-66 GSU 67+ GSU
10 detik 2 11 22 43 71
11 detik 2 12 24 47 78
12 detik 2 13 26 51 85
13 detik 2 14 28 55 92
14 detik 2 15 30 59 98
15 detik 2 16 32 63 105

Baca kolom yang sesuai dengan perkiraan jumlah GSU Anda. Misalnya, Anda membuat enam video 4K berdurasi 15 detik setiap 2.000 detik. Estimator menampilkan 10 GSU, yang cukup untuk throughput rata-rata. Namun, pada 10 GSU, periode penegakan adalah 200 detik, dan tidak ada video 15 detik Anda yang muat dalam satu periode. Memberi jarak yang lebih jauh di antara keenam permintaan tersebut tidak akan menyelesaikan masalah ini. Agar berhasil memproses permintaan tanpa limpahan PayGo, pesan 16 GSU.

Angka-angka ini mengasumsikan token perintah dan penalaran yang umum, seperti perintah teks atau gambar, atau video berdurasi hingga 10 detik untuk diedit (jika mengedit video input berdurasi 15 detik dengan 40+ GSU, tambahkan 1 GSU di kolom 40-66 GSU dan 67+ GSU).

Gemini Omni

Untuk gemini-omni-1.1-flash-preview, hal ini hanya memengaruhi video 4K berdurasi 7 detik atau lebih. Pada resolusi 360p, 720p, dan 1080p, setiap durasi yang didukung muat dalam satu jendela pada ukuran pembelian berapa pun, begitu juga video 4K berdurasi 6 detik atau lebih singkat (dengan asumsi token input dan penalaran tipikal kurang dari 88 ribu token).

Jika Anda membuat video 4K berdurasi 7 detik atau lebih, bandingkan hasil alat estimasi dengan tabel berikut dan pesan jumlah yang lebih besar:

Video 4K terpanjang 1-9 GSU 10—19 GSU 20-39 GSU 40-66 GSU 67+ GSU
7 detik 2 12 23 46 76
8 detik 2 13 26 52 87
9 detik 2 15 29 58 97
10 detik 2 17 33 65 107

Baca kolom yang sesuai dengan perkiraan jumlah GSU Anda. Misalnya, Anda membuat enam video 4K berdurasi 10 detik setiap 2.000 detik. Estimator menampilkan 10 GSU, yang cukup untuk throughput rata-rata. Namun, pada 10 GSU, periode penegakan adalah 200 detik, dan tidak ada video 10 detik Anda yang muat dalam satu periode. Memberi jarak yang lebih jauh di antara keenam permintaan tersebut tidak akan menyelesaikan masalah ini. Agar berhasil memproses permintaan tanpa limpahan PayGo, pesan 17 GSU.

Angka ini mengasumsikan token perintah dan penalaran standar, seperti perintah teks atau gambar, atau video berdurasi hingga 10 detik untuk diedit.

Langkah berikutnya