Berintegrasi dengan layanan Google Cloud

Model Armor terintegrasi dengan Google Cloud layanan untuk mengamankan interaksi AI dan model bahasa besar (LLM). Model Armor mengidentifikasi dan melaporkan potensi pelanggaran kebijakan serta dapat secara aktif memblokir tindakan berdasarkan evaluasi keamanan.

Model Armor terintegrasi dengan berbagai layanan Google Cloud :

Apigee

Integrasi ini memungkinkan Anda menggunakan kemampuan perlindungan AI Model Armor langsung dalam lapisan gateway API Apigee. Anda mengonfigurasi kebijakan Model Armor tertentu dalam proxy API Apigee. Saat panggilan API melewati proxy Apigee yang memiliki kebijakan ini, Apigee akan mengirimkan perintah dan respons ke layanan Model Armor untuk diperiksa. Untuk mengetahui informasi selengkapnya, lihat Mengintegrasikan dengan Apigee.

Gemini Enterprise

Model Armor dapat diintegrasikan langsung dengan Gemini Enterprise menggunakan template. Gemini Enterprise merutekan interaksi antara pengguna dan agen serta LLM yang mendasarinya melalui Model Armor. Artinya, perintah dari pengguna atau agen, dan respons yang dihasilkan oleh LLM, diperiksa oleh Model Armor sebelum ditampilkan kepada pengguna. Untuk informasi selengkapnya, lihat Mengintegrasikan dengan Gemini Enterprise.

Server MCP dan Google Cloud Google

Model Armor dapat dikonfigurasi untuk membantu melindungi data Anda dan mengamankan konten saat mengirim permintaan ke layanan Google Cloud yang mengekspos alat dan server Model Context Protocol (MCP). Model Armor membantu mengamankan aplikasi AI agentic Anda dengan membersihkan panggilan dan respons alat MCP menggunakan setelan batas bawah. Proses ini memitigasi risiko seperti injeksi perintah dan pengungkapan data sensitif. Untuk mengetahui informasi selengkapnya, lihat Mengintegrasikan dengan server Google dan MCP. Google Cloud

GKE dan Ekstensi Layanan

Model Armor dapat diintegrasikan dengan GKE melalui Service Extensions. Ekstensi Layanan memungkinkan Anda mengintegrasikan layanan internal (Google Cloud ) atau eksternal (dikelola pengguna) untuk memproses traffic. Anda dapat mengonfigurasi ekstensi layanan di load balancer aplikasi, termasuk gateway inferensi GKE, untuk menyaring traffic ke dan dari cluster GKE. Hal ini memverifikasi bahwa semua interaksi dengan model AI dilindungi oleh Model Armor. Untuk mengetahui informasi selengkapnya, lihat Mengintegrasikan dengan GKE.

Vertex AI

Model Armor dapat diintegrasikan langsung ke Vertex AI menggunakan setelan batas bawah atau template. Integrasi ini menyaring permintaan dan respons model Gemini, memblokir permintaan dan respons yang melanggar setelan batas bawah. Integrasi ini memberikan perlindungan perintah dan respons dalam Gemini API di Vertex AI untuk metode generateContent. Anda harus mengaktifkan Cloud Logging untuk mendapatkan visibilitas ke dalam hasil pembersihan perintah dan respons. Untuk mengetahui informasi selengkapnya, lihat Mengintegrasikan dengan Vertex AI.

Sebelum memulai

Mengaktifkan API

Anda harus mengaktifkan Model Armor API sebelum dapat menggunakan Model Armor.

Konsol

Aktifkan Model Armor API.
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.
Mengaktifkan API
Pilih project tempat Anda ingin mengaktifkan Model Armor.

gcloud

Sebelum memulai, ikuti langkah-langkah berikut menggunakan Google Cloud CLI dengan Model Armor API:

Di konsol Google Cloud , aktifkan Cloud Shell.

Aktifkan Cloud Shell

Di bagian bawah konsol Google Cloud , sesi Cloud Shell akan dimulai dan menampilkan perintah command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk melakukan inisialisasi pada sesi.
Jalankan perintah berikut untuk menetapkan endpoint API bagi layanan Model Armor.
```
gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"
```
Ganti LOCATION dengan region tempat Anda ingin menggunakan Model Armor.

Kelola kuota

Model Armor menggunakan sistem kuota untuk memastikan penggunaan yang adil dan melindungi stabilitas sistem. Kuota default untuk Model Armor API adalah 1.200 QPM per project. Anda dapat menerapkan nilai antara 0 hingga 1.200 QPM per project. Untuk meminta penyesuaian, lihat Meminta penyesuaian kuota. Jika Anda memerlukan kuota yang lebih besar dari kuota default, hubungi Cloud Customer Care.

Kuota Model Armor memerlukan pertimbangan penting saat diintegrasikan dengan layanan lain. Kuota utama yang Anda gunakan adalah jumlah permintaan API per menit per project.

Kuota default Model Armor: Saat layanan melakukan panggilan ke Model Armor API untuk analisis (misalnya, memeriksa perintah atau respons), hal ini akan menggunakan kuota Model Armor API project Anda.
Kuota layanan yang terintegrasi: Kuota Model Armor terpisah dari kuota yang terkait dengan layanan yang terintegrasi. Anda harus memastikan ada kuota yang cukup untuk semua layanan di jalur permintaan Anda. Setiap panggilan yang dilakukan ke Model Armor API untuk membersihkan konten aplikasi Anda dihitung berdasarkan batas kuota Model Armor API.

Menemukan situasi di luar kuota

Anda mencapai batas kuota Model Armor jika log aplikasi Anda menunjukkan error dari Model Armor, biasanya error HTTP 429 RESOURCE_EXHAUSTED, yang menunjukkan terlalu banyak permintaan.

Memperkirakan kebutuhan kuota

Untuk menentukan jumlah kuota Model Armor yang akan diminta:

Perkirakan jumlah puncak permintaan per menit yang akan dikirim layanan Anda ke Model Armor.
Pertimbangkan berapa kali Model Armor dipanggil per interaksi pengguna dengan layanan Anda (misalnya, sekali untuk perintah dan sekali untuk respons).
Perhitungkan jumlah maksimum pengguna atau sesi serentak.
Minta kuota dengan buffer yang wajar (misalnya, 20-30% di atas puncak yang diharapkan) untuk menangani lonjakan yang tidak terduga.
Mulailah dengan perkiraan terbaik Anda, pantau penggunaan secara cermat setelah peluncuran, dan minta penyesuaian lebih lanjut sesuai kebutuhan.

Misalnya, jika Anda memperkirakan ada 500 pengguna per menit, dan setiap interaksi pengguna memanggil Model Armor dua kali (perintah dan respons), Anda memerlukan setidaknya 1.000 QPM. Dengan mempertimbangkan buffer, meminta 1.200-1.300 QPM adalah titik awal yang baik.

Pertimbangan

Pastikan Anda memantau dan mengelola kuota untuk layanan lain. Kehabisan kuota untuk layanan lain akan memengaruhi aplikasi Anda, meskipun Anda memiliki kuota Model Armor yang cukup.
Terapkan percobaan ulang sisi klien dengan backoff eksponensial dalam penyiapan aplikasi Anda untuk menangani masalah kuota sementara atau error lain yang dapat dicoba ulang. Untuk mengetahui informasi selengkapnya, lihat Strategi percobaan ulang.

Melakukan integrasi menggunakan REST API

Saat Anda menggunakan REST API untuk integrasi, Model Armor hanya berfungsi sebagai detektor menggunakan template. Fitur ini mengidentifikasi dan melaporkan potensi pelanggaran kebijakan berdasarkan template yang telah ditentukan sebelumnya, bukan secara aktif mencegahnya. Saat terintegrasi dengan Model Armor API, aplikasi Anda dapat menggunakan output dari Model Armor untuk memblokir atau mengizinkan tindakan berdasarkan hasil evaluasi keamanan yang diberikan. Model Armor API menampilkan informasi tentang potensi ancaman atau pelanggaran kebijakan terkait traffic API Anda, terutama dalam kasus interaksi AI/LLM. Aplikasi Anda dapat memanggil Model Armor API dan menggunakan informasi yang diterima dalam respons untuk membuat keputusan dan mengambil tindakan berdasarkan logika kustom yang telah ditentukan sebelumnya.

Opsi saat mengintegrasikan Model Armor

Model Armor menawarkan opsi integrasi berikut. Setiap opsi menyediakan fitur dan kemampuan yang berbeda.

Opsi integrasi	Penegak/pendeteksi kebijakan	Mengonfigurasi deteksi	Hanya periksa	Memeriksa dan memblokir	Cakupan model dan cloud
Apigee	Penerapan inline	Hanya menggunakan template	Ya	Ya	Semua model dan semua cloud
Gemini Enterprise	Penerapan inline	Hanya menggunakan template	Ya	Ya	Semua model dan semua cloud
Server MCP dan Google Cloud Google (Pratinjau)	Penerapan inline	Hanya menggunakan setelan minimum	Ya	Ya	Server MCP dan Google Cloud Google
Google Kubernetes Engine	Penerapan inline	Hanya menggunakan template	Ya	Ya	Model dengan format OpenAI di Google Cloud¹
Vertex AI	Penerapan inline	Menggunakan setelan minimum atau template	Ya	Ya	Gemini (non-streaming) di Google Cloud

¹Beberapa model populer—termasuk Anthropic Claude, Mistral AI, dan Grok—mendukung spesifikasi OpenAI. Model ini biasanya di-deploy menggunakan mesin inferensi seperti vLLM, yang menyediakan lapisan API yang kompatibel dengan OpenAI yang diperlukan. vLLM mendukung berbagai model, termasuk seri Meta Llama, DeepSeek, Mistral dan Mixtral, serta Gemma.

Dengan opsi integrasi Vertex AI, Model Armor memberikan penegakan inline menggunakan setelan atau template batas bawah. Artinya, Model Armor secara aktif menerapkan kebijakan dengan melakukan intervensi langsung dalam proses tanpa memerlukan modifikasi pada kode aplikasi Anda.

Integrasi GKE dan Gemini Enterprise hanya menggunakan template untuk penerapan kebijakan inline. Artinya, Model Armor dapat menerapkan kebijakan secara langsung tanpa mengharuskan Anda mengubah kode aplikasi baik dalam gateway inferensi GKE maupun selama interaksi pengguna atau agen dalam instance Gemini Enterprise.

Integrasi Model Armor dan Gemini Enterprise hanya menyaring perintah pengguna awal dan respons akhir agen atau model. Langkah-langkah perantara yang terjadi antara perintah pengguna awal dan pembuatan respons akhir tidak tercakup dalam integrasi ini.

Model Armor di Security Command Center

Model Armor memeriksa perintah dan respons LLM untuk mendeteksi berbagai ancaman, termasuk injeksi perintah, upaya jailbreak, URL berbahaya, dan konten berbahaya. Saat mendeteksi pelanggaran pada setelan batas bawah yang dikonfigurasi, Model Armor akan memblokir perintah atau respons dan mengirimkan temuan ke Security Command Center. Untuk mengetahui informasi selengkapnya, lihat Temuan Model Armor.