Kode error 429

Jika jumlah permintaan Anda melebihi kapasitas yang dialokasikan untuk memproses permintaan, kode error 429 akan ditampilkan. Tabel berikut menampilkan pesan error yang dihasilkan oleh setiap jenis framework kuota:

Framework kuota Pesan
Bayar sesuai penggunaan Resource exhausted, please try again later.
Throughput yang Disediakan Too many requests. Exceeded the Provisioned Throughput.

Dengan langganan Throughput yang Disediakan (PT), Anda dapat mencadangkan jumlah throughput untuk model AI generatif tertentu. Jika Anda tidak memiliki langganan PT dan resource tidak tersedia untuk aplikasi Anda, kode error 429 akan ditampilkan. Meskipun tidak memiliki kapasitas yang dicadangkan, Anda dapat mencoba permintaan lagi. Namun, permintaan tidak dihitung terhadap rasio error Anda seperti yang dijelaskan dalam perjanjian tingkat layanan (SLA).

Untuk project yang telah membeli PT, Vertex AI mengukur throughput project dan mencadangkan jumlah throughput yang dibeli untuk penggunaan sebenarnya project.

Untuk PT standar, jika Anda menggunakan kurang dari jumlah yang dibeli, error yang seharusnya 429 akan ditampilkan sebagai 5XX dan dihitung dalam tingkat error SLA. Untuk PT Zona Tunggal, jika Anda menggunakan kurang dari jumlah yang dibeli, error 429 terkait kapasitas akan diperlakukan sebagai 5XX, tetapi tidak dihitung dalam tingkat error SLA. Jika Anda melebihi jumlah yang dibeli, permintaan tambahan akan diproses sesuai permintaan dengan model bayar sesuai penggunaan.

Bayar sesuai penggunaan

Pada framework kuota bayar sesuai penggunaan, Anda memiliki opsi berikut untuk menyelesaikan error 429:

  • Gunakan endpoint global daripada endpoint regional jika memungkinkan.
  • Terapkan strategi percobaan ulang dengan menggunakan backoff eksponensial yang terpotong.
  • Jika model Anda menggunakan kuota, Anda dapat mengirimkan Permintaan Penambahan Kuota (QIR). Jika model Anda menggunakan Bayar sesuai penggunaan standar, meratakan traffic dan mengurangi lonjakan besar dapat membantu.
  • Berlangganan PT untuk mendapatkan tingkat layanan yang lebih konsisten. Untuk mengetahui informasi selengkapnya, lihat PT.

PT

Untuk memperbaiki error 429 yang dihasilkan oleh PT, lakukan hal berikut:

  • Gunakan contoh Perilaku default, yang tidak menetapkan header dalam permintaan prediksi. Semua kelebihan akan diproses on-demand dan ditagih sebagai bayar sesuai penggunaan.
  • Menambah jumlah GSU dalam langganan PT Anda.

Langkah berikutnya