Anda dapat meningkatkan keamanan aplikasi AI dengan mengintegrasikan Model Armor dengan Apigee. Dengan menggunakan Apigee sebagai gateway API di depan aplikasi AI, Anda dapat menggunakan kemampuan Model Armor untuk menyaring dan membersihkan input yang dikirim ke aplikasi dan respons yang diterima.
Ringkasan
Anda dapat mengintegrasikan kebijakan Model Armor ke dalam proxy API Apigee untuk memberikan kontrol dan perlindungan yang ditingkatkan bagi aplikasi AI Anda.
Misalnya, Anda dapat menggunakan Apigee untuk menerapkan kuota tingkat token guna membatasi
pengguna atau aplikasi hingga jumlah token maksimum per hari. Gunakan
LLMTokenQuota
dan PromptTokenLimit
untuk kontrol yang akurat atas penggunaan token. Kebijakan ini membantu mengelola biaya, menghentikan penyalahgunaan, dan menstabilkan traffic dengan mencegah lonjakan konsumsi yang tiba-tiba.
Batasan
Pertimbangkan batasan berikut saat mengintegrasikan Model Armor dengan Apigee:
- Ketersediaan regional: Model Armor tidak tersedia di semua wilayah. Pastikan Apigee dan Model Armor dikonfigurasi di region yang sama. Meskipun Apigee dan Model Armor dapat dikonfigurasi di region yang berbeda, penggunaan region yang berbeda dapat menyebabkan latensi tambahan karena traversal jaringan lintas region. Untuk performa yang optimal, konfigurasikan keduanya di region yang sama persis.
- Quota: Traffic bervolume tinggi mungkin memerlukan penambahan kuota untuk Model Armor. Untuk meminta penyesuaian, lihat Meminta penyesuaian kuota. Jika Anda memerlukan kuota yang lebih besar daripada kuota default, hubungi Cloud Customer Care. Untuk mengetahui informasi tentang kuota terkait integrasi Model Armor dengan layanan lain, lihat Mengelola kuota.
- Batas token: Model Armor memiliki batas token untuk memproses perintah dan respons, yang bervariasi menurut filter. Konten yang melebihi batas ini mungkin tidak dipindai sepenuhnya.
Sebelum memulai
- Aktifkan Model Armor API di project Anda.
- Verifikasi bahwa penagihan diaktifkan untuk project Google Cloud Anda.
- Pastikan Anda memiliki lingkungan Menengah atau Komprehensif yang tersedia di instance Apigee Anda. Anda dapat men-deploy kebijakan Model Armor di lingkungan Menengah dan Komprehensif.
- Pastikan Anda telah menyediakan organisasi Apigee yang aktif.
Untuk membuat dan menggunakan kebijakan Model Armor dengan Apigee, Anda harus memiliki peran tertentu. Untuk mengetahui peran yang diperlukan, lihat Peran Apigee.
Cara kerjanya
Integrasi ini menggunakan dua kebijakan Apigee utama:
SanitizeUserPrompt: Tambahkan kebijakan ini ke alur permintaan proxy API Anda. ESP mencegat semua permintaan masuk dan mengirimkannya ke Model Armor untuk diperiksa sebelum mencapai aplikasi AI Anda. Untuk mengetahui informasi selengkapnya, lihat kebijakanSanitizeUserPrompt.SanitizeModelResponse: Tambahkan kebijakan ini ke alur respons. Model Armor mencegat respons dari aplikasi AI dan mengirimkannya ke Model Armor untuk diperiksa sebelum mengirimkan respons ke klien. Untuk mengetahui informasi selengkapnya, lihat kebijakanSanitizeModelResponse.
Model Armor mengevaluasi konten berdasarkan aturan yang ditentukan dalam template Model Armor aktif Anda. Berdasarkan temuan dan jenis penegakan yang ditetapkan, Apigee mengizinkan, memblokir, atau menyamarkan permintaan atau respons. Jika permintaan atau respons disamarkan, ekstrak data yang disamarkan menggunakan variabel alur dan teruskan ke LLM.
Untuk memulai, gunakan template proxy Proxy dengan Model Armor bawaan di
konsol Apigee. Template ini otomatis menambahkan konfigurasi SanitizeUserPrompt dan SanitizeModelResponse opsional.
Membuat proxy API Apigee dengan kebijakan Model Armor
- Buat akun layanan untuk men-deploy proxy API.
- Buat proxy API Apigee.
- Edit XML
SanitizeUserPromptdanSanitizeModelResponse. Anda harus mengedit XML kebijakan ini agar Model Armor berfungsi. - Tambahkan autentikasi Google ke proxy API.
- Men-deploy proxy API.
- Uji kebijakan Model Armor.
Untuk mengetahui detail selengkapnya tentang konfigurasi dan penggunaan, lihat Mulai menggunakan kebijakan Apigee Model Armor.