PayGo Standar

Bayar sesuai penggunaan standar (Standard PayGo) adalah opsi penggunaan untuk menggunakan rangkaian model AI generatif Gemini Enterprise Agent Platform, termasuk keluarga model Gemini.

PayGo Standar memungkinkan Anda membayar hanya resource yang Anda gunakan, tanpa memerlukan komitmen keuangan di muka. Untuk membantu menskalakan workload pada kapasitas bersama, Standard PayGo menyertakan sistem tingkat penggunaan. Agent Platform secara dinamis menyesuaikan nilai minimum throughput yang diprioritaskan organisasi Anda berdasarkan total pembelanjaannya untuk layanan Agent Platform yang memenuhi syarat selama periode 30 hari yang terus berjalan. Seiring dengan pertumbuhan pembelanjaan organisasi Anda, organisasi tersebut akan otomatis dipromosikan ke tingkat yang lebih tinggi dengan nilai minimum throughput yang diprioritaskan lebih tinggi dalam kumpulan kapasitas bersama. PayGo Standar berjalan di resource bersama dan tidak mencadangkan kapasitas khusus atau memberikan throughput yang terjamin selama periode persaingan tinggi. Untuk workload yang memerlukan performa yang lebih konsisten daripada Standard PayGo, pertimbangkan Priority PayGo. Untuk kapasitas khusus dan terjamin, lihat Throughput yang Disediakan.

Tingkatan penggunaan dan throughput

Setiap tingkat penggunaan Standard PayGo menentukan batas throughput yang diprioritaskan di tingkat organisasi, yang diukur dalam token per menit (TPM). Permintaan hingga batas TPM tingkat Anda menerima akses prioritas ke kapasitas bersama sebelum traffic lonjakan berlebih, meskipun throughput dan ketersediaan masih bergantung pada permintaan real-time di seluruh kumpulan bersama dan tidak dijamin. Nilai minimum throughput berlaku untuk permintaan yang dikirim ke endpoint global. Menggunakan endpoint global adalah praktik terbaik karena memberikan akses ke kumpulan kapasitas throughput di seluruh dunia dan secara dinamis merutekan permintaan Anda ke lokasi dengan ketersediaan paling tinggi.

Endpoint multiregion (seperti us dan eu di aiplatform.us.rep.googleapis.com dan aiplatform.eu.rep.googleapis.com) membatasi pemrosesan machine learning ke batas yurisdiksi tertentu. Meskipun endpoint multi-region mengumpulkan kapasitas di beberapa pusat data dalam geografi tersebut, endpoint ini beroperasi dari kumpulan kapasitas regional yang terpisah dan tidak berbagi kapasitas throughput di seluruh dunia dari endpoint global. Endpoint satu region (misalnya, us-central1 atau us-east5) dibatasi untuk satu cluster pusat data dan memiliki ruang kapasitas terendah. Jika workload Anda tidak tunduk pada persyaratan residensi data yang ketat, gunakan endpoint global untuk menggunakan batas throughput yang diprioritaskan sepenuhnya di tingkat Anda dan memaksimalkan ruang kosong. Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi endpoint multi-region, lihat Endpoint multi-region.

Traffic Anda tidak dibatasi secara ketat pada nilai minimum TPM tingkat Anda. Jika kapasitas bersama cadangan tersedia, Agent Platform akan menayangkan traffic yang melebihi nilai minimum ini secara oportunistik. Selama periode permintaan tinggi di seluruh Platform Agen, traffic burst berlebih akan di-throttle sebelum traffic dalam batas tingkat, dan semua traffic pool bersama dapat mengalami latensi yang lebih tinggi atau error 429. Untuk meminimalkan pembatasan, lancarkan traffic Anda secara merata di setiap menit dan hindari pengiriman permintaan dalam lonjakan tajam tingkat kedua. Traffic instan yang tinggi dapat menyebabkan pembatasan meskipun penggunaan rata-rata per menit Anda berada dalam batas TPM tingkat Anda.

Paket berikut tersedia di Standard PayGo:

Keluarga model Tingkat Pembelanjaan pelanggan (30 hari) TPM Traffic (tingkat organisasi)
Model Gemini Pro Tingkat 1 $10 - $250 500.000
Tingkat 2 $250 - $2.000 1.000.000
Tingkat 3 $2.000 - $50.000 2.000.000
Tingkat 4 > $50.000 10.000.000
Tingkat Kustom Hubungi tim penjualan Anda untuk mengetahui informasi selengkapnya
Model Gemini Flash dan Flash-Lite Tingkat 1 $10 - $250 2.000.000
Tingkat 2 $250 - $2.000 4.000.000
Tingkat 3 $2.000 - $50.000 10.000.000
Tingkat 4 > $50.000 50.000.000
Tingkat Kustom Hubungi tim penjualan Anda untuk mengetahui informasi selengkapnya

Nilai minimum throughput yang ditampilkan untuk kelompok model berlaku secara terpisah untuk setiap model dalam kelompok tersebut. Misalnya, organisasi di Tingkat 3 memiliki nilai minimum throughput yang diprioritaskan sebesar 10.000.000 TPM untuk Gemini 3.5 Flash. Penggunaan terhadap batas satu model tidak memengaruhi throughput untuk model lain. Tidak ada batas permintaan per menit (RPM) terpisah untuk setiap tingkat. Permintaan Gemini dengan input multimodal tunduk pada batas kapasitas sistem yang sesuai.

Cara kerja tingkat penggunaan

Tingkat penggunaan Anda ditentukan secara otomatis oleh total pembelanjaan organisasi Anda untuk layanan Agent Platform yang memenuhi syarat selama periode 30 hari yang terus bergulir. Seiring peningkatan pembelanjaan organisasi Anda, sistem akan mempromosikan Anda ke tingkat yang lebih tinggi dengan nilai minimum throughput yang diprioritaskan lebih tinggi.

Penghitungan pembelanjaan

Penghitungan ini mencakup berbagai layanan, mulai dari prediksi pada semua rangkaian model Gemini hingga instance CPU, GPU, dan TPU Agent Platform, serta SKU berbasis komitmen, seperti Throughput yang Disediakan.

Klik untuk mempelajari lebih lanjut SKU yang disertakan dalam penghitungan pembelanjaan.

Tabel berikut mencantumkan kategori Google Cloud SKU yang disertakan dalam penghitungan total pembelanjaan.

Kategori Deskripsi SKU yang disertakan
Model Gemini Semua rangkaian model Gemini (seperti 2.0, 2.5, dan 3.0 dalam versi Pro, Flash, dan Lite) untuk prediksi di semua modalitas (Teks, Gambar, Audio, Video), termasuk variasi batch, konteks panjang, yang di-tune, dan "berpikir"
Fitur Model Gemini Semua SKU Gemini terkait untuk fitur seperti Caching, Caching Storage, dan Tingkatan Prioritas, di semua modalitas dan versi model
CPU Platform Agen Prediksi Online dan Batch pada semua kelompok instance berbasis CPU (seperti C2, C3, E2, N1, N2, dan variannya)
GPU Platform Agen Prediksi Online dan Batch di semua instance yang dipercepat GPU NVIDIA (seperti seri A100, H100, H200, B200, L4, T4, V100, dan RTX)
TPU Platform Agen Prediksi Online dan Batch di semua instance berbasis TPU (seperti TPU-v5e dan v6e)
Pengelolaan & Biaya Semua SKU "Biaya pengelolaan" yang terkait dengan berbagai instance prediksi Agent Platform
Throughput yang Disediakan Semua SKU berbasis komitmen untuk Throughput yang Disediakan
Layanan Lainnya Layanan khusus seperti "LLM Grounding untuk Gemini... dengan alat Google Penelusuran"

Memverifikasi tingkat penggunaan

Untuk memverifikasi tingkat penggunaan organisasi Anda, buka Dasbor Agent Platform di konsol Google Cloud . Untuk melihat tingkat penggunaan di dasbor, Anda memerlukan peran Agent Platform Viewer (roles/aiplatform.viewer) di project dan peran Billing Account Viewer (roles/billing.viewer) di akun penagihan.

Buka Dasbor Agent Platform

Verifikasi pembelanjaan

Untuk meninjau pembelanjaan Agent Platform, buka Penagihan Cloud di konsolGoogle Cloud . Pembelanjaan digabungkan di tingkat organisasi.

Buka Penagihan Cloud

Error Resource Habis (429)

Jika Anda menerima error 429, hal ini tidak menunjukkan bahwa Anda telah mencapai kuota tetap. Hal ini menunjukkan persaingan tinggi sementara untuk resource bersama tertentu. Terapkan strategi percobaan ulang backoff eksponensial untuk menangani error ini karena ketersediaan di lingkungan dinamis ini dapat berubah dengan cepat.

Selain strategi coba lagi, evaluasi pilihan endpoint Anda:

  • Endpoint global (direkomendasikan): Endpoint global secara dinamis merutekan permintaan di seluruh armada pusat data Google di seluruh dunia, menggabungkan kapasitas throughput global, dan meratakan lonjakan lokal. Hal ini memberikan ketersediaan tertinggi dan secara signifikan mengurangi kemungkinan terjadinya error 429.
  • Endpoint multi-region (seperti us dan eu): Endpoint multi-region menggabungkan kapasitas di beberapa pusat data dalam batas geografis tertentu. Meskipun menawarkan kapasitas yang lebih besar daripada satu region, region ganda tidak mengakses kapasitas di seluruh dunia. Jika aplikasi Anda menggunakan endpoint multiwilayah dan mengalami error 429 selama periode puncak, evaluasi apakah kebijakan tata kelola data Anda mengizinkan perutean beban kerja umum atau tidak sensitif ke endpoint global, atau pertimbangkan PayGo Prioritas atau Throughput yang Disediakan.
  • Endpoint satu region (seperti us-central1): Endpoint satu region dibatasi ke lokasi cluster tertentu dan memiliki kemungkinan tertinggi mengalami error 429 saat terjadi pertentangan beban. Hindari menyematkan beban kerja Standard PayGo dengan throughput tinggi ke endpoint satu region, kecuali jika diperlukan untuk kolokasi dengan resource komputasi yang sensitif terhadap latensi.

Untuk hasil terbaik, gabungkan penggunaan endpoint global dengan perataan traffic. Hindari mengirim permintaan dalam lonjakan tajam tingkat kedua, karena traffic instan yang tinggi dapat menyebabkan throttling, meskipun penggunaan rata-rata per menit Anda berada dalam batas throughput yang diprioritaskan di tingkat Anda. Mendistribusikan panggilan API secara lebih merata membantu sistem mengelola beban Anda secara terprediksi dan meningkatkan performa secara keseluruhan. Untuk informasi tambahan tentang cara menangani error Kelelahan Resource, lihat Membangun Aplikasi LLM yang Tangguh dan Mengurangi Error 429 dan Kode error 429.

Model yang didukung

Model Gemini berikut yang tersedia secara umum (GA) dan model penyesuaian yang diawasi yang sesuai mendukung PayGo Standar dengan Tingkatan Penggunaan:

Klik untuk meluaskan model yang didukung

Model Gemini GA berikut juga mendukung PayGo Standar, tetapi tingkat penggunaan tidak berlaku untuk model ini:

Tingkatan ini tidak berlaku untuk model pratinjau. Lihat dokumentasi resmi khusus setiap model untuk mendapatkan informasi yang paling akurat dan terbaru.

Memantau throughput dan performa

Untuk memantau penggunaan token real-time organisasi Anda, buka Metrics Explorer di Cloud Monitoring.

Buka Metrics Explorer

Untuk mengetahui informasi selengkapnya tentang pemantauan traffic endpoint model, lihat Memantau model.

Tingkat penggunaan berlaku di tingkat organisasi. Untuk mengetahui informasi tentang cara menyetel cakupan pengamatan untuk memetakan throughput di beberapa project dalam organisasi Anda, lihat Mengonfigurasi cakupan pengamatan untuk kueri multi-project.

Langkah berikutnya

Resource

Kuota dan batas terkait Agent Platform, tidak termasuk batasan khusus produk.

Ringkasan

Pelajari cara Google Cloud membatasi jumlah resource yang dapat digunakan project Google Cloud Anda, dan cara kuota berlaku untuk berbagai jenis resource, termasuk komponen hardware, software, dan jaringan.