Ringkasan Throughput yang Disediakan

Halaman ini menjelaskan apa yang dimaksud dengan Throughput yang Disediakan dan kapan harus menggunakan Throughput yang Disediakan.

Pengantar Throughput yang Disediakan

Throughput yang Disediakan adalah langganan biaya tetap dengan jangka waktu tetap yang tersedia dalam beberapa jangka waktu yang mencadangkan throughput untuk model AI generatif yang didukung di Vertex AI. Untuk mencadangkan throughput, Anda harus menentukan model dan lokasi yang tersedia tempat model berjalan.

Kapan harus menggunakan Throughput yang Disediakan

Jika salah satu pertimbangan berikut berlaku untuk kasus penggunaan Anda, pertimbangkan untuk menggunakan Throughput yang Disediakan:

  • Anda sedang membangun aplikasi produksi AI generatif real-time, seperti chatbot dan agen.
  • Workload penting Anda secara konsisten memerlukan throughput tinggi. Pengukuran throughput bergantung pada model.
  • Anda ingin memberikan pengalaman yang konsisten dan dapat diprediksi bagi pengguna aplikasi Anda.
  • Anda menginginkan biaya AI generatif yang deterministik dengan membayar harga bulanan atau mingguan tetap dengan kontrol atas biaya tambahan.

Throughput yang Disediakan adalah salah satu dari beberapa cara untuk menggunakan model AI generatif Anda. Untuk mempelajari semua opsi pemakaian, lihat Opsi pemakaian.

Langkah berikutnya