Anda dapat meningkatkan keamanan aplikasi AI dengan mengintegrasikan Model Armor dengan Apigee. Dengan menggunakan Apigee sebagai gateway API di depan aplikasi AI, Anda dapat menggunakan kemampuan Model Armor untuk menyaring dan membersihkan input yang dikirim ke aplikasi dan respons yang diterima.
Ringkasan
Anda dapat mengintegrasikan kebijakan Model Armor ke dalam proxy API Apigee untuk memberikan kontrol dan perlindungan yang lebih baik bagi aplikasi AI Anda.
Misalnya, Anda dapat menggunakan Apigee untuk menerapkan kuota tingkat token guna membatasi pengguna atau aplikasi hingga jumlah token maksimum per hari. Gunakan
LLMTokenQuota
dan PromptTokenLimit
untuk kontrol yang akurat atas penggunaan token. Kebijakan ini membantu mengelola biaya, menghentikan penyalahgunaan, dan menstabilkan traffic dengan mencegah lonjakan konsumsi yang tiba-tiba.
Sebelum memulai
- Aktifkan Model Armor API di project Anda.
- Verifikasi bahwa penagihan diaktifkan untuk project Google Cloud Anda.
- Pastikan Anda memiliki Comprehensive environment yang tersedia di instance Apigee Anda. Anda hanya dapat men-deploy kebijakan Model Armor di lingkungan Komprehensif.
- Pastikan Anda telah menyediakan organisasi Apigee yang aktif.
Untuk membuat dan menggunakan kebijakan Model Armor dengan Apigee, Anda harus memiliki peran tertentu. Untuk mengetahui peran yang diperlukan, lihat Peran Apigee.
Cara kerjanya
Integrasi ini menggunakan dua kebijakan Apigee utama:
SanitizeUserPrompt: Tambahkan kebijakan ini ke alur permintaan proxy API Anda. ESP mencegat semua permintaan masuk dan mengirimkannya ke Model Armor untuk diperiksa sebelum mencapai aplikasi AI Anda. Untuk mengetahui informasi selengkapnya, lihat kebijakanSanitizeUserPrompt.SanitizeModelResponse: Tambahkan kebijakan ini ke alur respons. Model Armor mencegat respons dari aplikasi AI dan mengirimkannya ke Model Armor untuk diperiksa sebelum mengirimkan respons ke klien. Untuk mengetahui informasi selengkapnya, lihat kebijakanSanitizeModelResponse.
Model Armor mengevaluasi konten berdasarkan aturan yang ditentukan dalam template Model Armor aktif Anda. Berdasarkan temuan dan jenis penegakan yang ditetapkan, Apigee mengizinkan, memblokir, atau menyamarkan permintaan atau respons. Jika permintaan atau respons disamarkan, ekstrak data yang disamarkan menggunakan variabel alur dan teruskan ke LLM.
Untuk memulai, gunakan template proxy Proxy dengan Model Armor bawaan di
konsol Apigee. Template ini secara otomatis menambahkan konfigurasi SanitizeUserPrompt dan SanitizeModelResponse opsional.
Membuat proxy API Apigee dengan kebijakan Model Armor
- Buat akun layanan untuk men-deploy proxy API.
- Buat proxy API Apigee.
- Edit XML
SanitizeUserPromptdanSanitizeModelResponse. Anda harus mengedit XML kebijakan ini agar Model Armor berfungsi. - Tambahkan autentikasi Google ke proxy API.
- Deploy proxy API.
- Uji kebijakan Model Armor.
Pertimbangan
Pertimbangkan hal berikut saat mengintegrasikan Model Armor dengan Apigee:
- Ketersediaan regional: Model Armor tidak tersedia di semua wilayah. Pastikan Apigee dan Model Armor dikonfigurasi di region yang sama. Lihat Lokasi untuk Model Armor.
- Quota: Traffic bervolume tinggi mungkin memerlukan penambahan kuota untuk Model Armor. Untuk meminta penyesuaian, lihat Meminta penyesuaian kuota. Jika Anda memerlukan kuota yang lebih besar daripada kuota default, hubungi Cloud Customer Care. Untuk mengetahui informasi tentang kuota terkait integrasi Model Armor dengan layanan lain, lihat Mengelola kuota.
- Batas token: Model Armor memiliki batas token untuk memproses perintah dan respons, yang bervariasi menurut filter. Konten yang melebihi batas ini mungkin tidak dipindai sepenuhnya.
Untuk mengetahui detail selengkapnya tentang konfigurasi dan penggunaan, lihat Mulai menggunakan kebijakan Apigee Model Armor.