Model Armor terintegrasi dengan layanan jaringan untuk memberikan keamanan inline bagi aplikasi AI di tingkat jaringan. Google Cloud Integrasi ini memungkinkan Model Armor memeriksa dan memfilter perintah dan respons tanpa memerlukan modifikasi pada kode aplikasi itu sendiri.
Mekanisme integrasi ini dilakukan melalui Service Extensions. Service Extensions memungkinkan Anda memasukkan logika kustom, seperti pemeriksaan keamanan Model Armor, ke jalur data berbagai layanan jaringanGoogle Cloud .
Sebelum memulai
Pastikan Anda telah memenuhi semua prasyarat.
Titik integrasi
Model Armor terintegrasi dengan layanan jaringan berikut.
| Layanan jaringan | Deskripsi | Referensi |
|---|---|---|
| Cloud Load Balancing | Gunakan Model Armor dengan Service Extensions untuk memfilter traffic yang melewati load balancer Lapisan 7. Cara ini berguna untuk melindungi aplikasi web dan API yang memanfaatkan LLM. | Mengonfigurasi ekstensi traffic untuk memanggil layanan Model Armor |
| GKE Inference Gateway | Gunakan Model Armor dengan Ekstensi Layanan yang terkait dengan GKE Inference Gateway, untuk aplikasi AI dalam container atau LLM yang berjalan di Google Kubernetes Engine, guna memeriksa dan menerapkan kebijakan pada traffic yang masuk atau keluar dari cluster GKE. | Mengonfigurasi pemeriksaan keamanan dan keselamatan AI menggunakan GKE Inference Gateway |
| Secure Web Proxy | Gunakan Model Armor dengan Secure Web Proxy untuk memeriksa dan mengamankan traffic keluar dari VPC Anda ke aplikasi AI, server MCP, atau LLM. | Mengonfigurasi ekstensi traffic |
Cara kerjanya
Ekstensi Layanan memungkinkan Google Cloud produk jaringan untuk memanggil Model Armor selama data transit.
- Saat traffic ke atau dari aplikasi AI, server MCP, atau model Anda melewati layanan jaringan yang dikonfigurasi, misalnya, load balancer, Service Extensions akan meneruskan konten permintaan atau respons ke Model Armor untuk diperiksa.
- Model Armor menerapkan serangkaian filter berdasarkan setelan template yang telah Anda konfigurasi sebelumnya. Filter ini dapat mengidentifikasi dan memblokir injeksi prompt, upaya deteksi jailbreak, kebocoran data sensitif, URL berbahaya, dan konten berbahaya atau tidak pantas, seperti ujaran kebencian dan pelecehan.
- Berdasarkan hasil pemindaian dan kebijakan Anda, Model Armor menginstruksikan layanan jaringan untuk mengizinkan, memblokir, atau mengubah traffic, sehingga hanya interaksi yang aman dan mematuhi kebijakan yang dapat mencapai atau keluar dari aplikasi, server, atau model AI Anda.