Halaman ini berlaku untuk Apigee dan Apigee hybrid.
Lihat dokumentasi
Apigee Edge.
Untuk mempertahankan performa dan ketersediaan di berbagai aplikasi klien, Anda harus mempertahankan traffic aplikasi dalam batas kapasitas API dan layanan backend Anda. Anda juga harus memastikan bahwa aplikasi tidak menggunakan lebih banyak resource daripada yang diizinkan.
Apigee menyediakan kebijakan berikut yang memungkinkan Anda mengoptimalkan pengelolaan traffic untuk meminimalkan latensi aplikasi sekaligus menjaga kondisi layanan backend. Setiap jenis kebijakan menangani aspek pengelolaan traffic yang berbeda. Dalam beberapa kasus, Anda dapat menggunakan kedua jenis kebijakan dalam satu proxy API.
- Kebijakan umum
- Kebijakan pembatasan frekuensi khusus
Kebijakan SpikeArrest
Kebijakan SpikeArrest melindungi dari lonjakan traffic. Kebijakan ini membatasi jumlah permintaan yang diproses oleh proxy API dan dikirim ke backend, sehingga melindungi dari penurunan performa dan periode nonaktif.
Kebijakan ini harus digunakan untuk mencegah lonjakan traffic mendadak yang disebabkan oleh penyerang berbahaya yang mencoba mengganggu layanan menggunakan serangan denial-of-service (DOS) atau oleh aplikasi klien yang error.
Lihat Kebijakan SpikeArrest.
Kebijakan kuota
Kebijakan ini menerapkan batas konsumsi pada aplikasi klien dengan mempertahankan 'penghitung' terdistribusi yang mencatat permintaan masuk. Penghitung dapat mencatat panggilan API untuk setiap entitas yang dapat diidentifikasi, termasuk aplikasi, developer, kunci API, token akses, dan sebagainya. Biasanya, kunci API digunakan untuk mengidentifikasi aplikasi klien. Kebijakan ini memerlukan banyak komputasi, jadi untuk API dengan traffic tinggi, kebijakan ini harus dikonfigurasi untuk interval waktu yang lebih lama, seperti satu hari atau satu bulan. Kebijakan ini harus digunakan untuk menegakkan kontrak bisnis atau SLA dengan developer dan partner, bukan untuk pengelolaan traffic operasional.
Lihat Kebijakan kuota.
Kebijakan pembatasan kapasitas khusus
Selain kebijakan Kuota dan SpikeArrest untuk tujuan umum, Apigee juga menyediakan kebijakan LLMTokenQuota dan PromptTokenLimit untuk API yang berinteraksi dengan Model Bahasa Besar (LLM). Kebijakan ini memungkinkan Anda menerapkan kuota dan batas kecepatan pada jumlah token yang digunakan, yang dapat menjadi cara yang lebih terperinci untuk mengontrol biaya dan penggunaan daripada penghitungan permintaan sederhana.
Lihat: