Integrasi Model Armor dengan layanan Google Cloud

Model Armor terintegrasi dengan berbagai layanan Google Cloud :

• Google Kubernetes Engine (GKE) dan Ekstensi Layanan
• Vertex AI
• Google Agentspace

GKE dan Ekstensi Layanan

Model Armor dapat diintegrasikan dengan GKE melalui Ekstensi Layanan. Ekstensi Layanan memungkinkan Anda mengintegrasikan layanan internal (layananGoogle Cloud ) atau eksternal (dikelola pengguna) untuk memproses traffic. Anda dapat mengonfigurasi ekstensi layanan di load balancer aplikasi, termasuk gateway inferensi GKE, untuk menyaring traffic ke dan dari cluster GKE. Hal ini memverifikasi bahwa semua interaksi dengan model AI dilindungi oleh Model Armor. Untuk mengetahui informasi selengkapnya, lihat Integrasi dengan GKE.

Vertex AI

Pratinjau

Fitur ini tunduk kepada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Model Armor dapat diintegrasikan langsung ke Vertex AI menggunakan setelan batas bawah atau template. Integrasi ini menyaring permintaan dan respons model Gemini, memblokir permintaan dan respons yang melanggar setelan batas bawah. Integrasi ini memberikan perlindungan perintah dan respons dalam Gemini API di Vertex AI untuk metode generateContent. Anda harus mengaktifkan Cloud Logging untuk mendapatkan visibilitas ke dalam hasil pembersihan perintah dan respons. Untuk mengetahui informasi selengkapnya, lihat Integrasi dengan Vertex AI.

Google Agentspace

Model Armor dapat langsung diintegrasikan dengan Google Agentspace menggunakan template. Google Agentspace merutekan interaksi antara pengguna dan agen serta LLM yang mendasarinya melalui Model Armor. Artinya, perintah dari pengguna atau agen, dan respons yang dihasilkan oleh LLM, diperiksa oleh Model Armor sebelum ditampilkan kepada pengguna. Untuk informasi selengkapnya, lihat Integrasi dengan Google Agentspace.

Sebelum memulai

Mengaktifkan API

Anda harus mengaktifkan Model Armor API sebelum dapat menggunakan Model Armor.

Konsol

1. Enable the Model Armor API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

2. Pilih project tempat Anda ingin mengaktifkan Model Armor.

gcloud

Sebelum memulai, ikuti langkah-langkah berikut menggunakan Google Cloud CLI dengan Model Armor API:

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Jalankan perintah berikut untuk menetapkan endpoint API untuk layanan Model Armor.

   gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

   Ganti LOCATION dengan region tempat Anda ingin menggunakan Model Armor.

Jalankan perintah berikut untuk mengaktifkan Model Armor.

  gcloud services enable modelarmor.googleapis.com --project=PROJECT_ID
   

Ganti PROJECT_ID dengan ID project.

Opsi saat mengintegrasikan Model Armor

Model Armor menawarkan opsi integrasi berikut. Setiap opsi menyediakan fitur dan kemampuan yang berbeda.

Opsi integrasi	Penegak/pendeteksi kebijakan	Mengonfigurasi deteksi	Hanya periksa	Memeriksa dan memblokir	Cakupan model dan cloud
REST API	Pendeteksi	Hanya menggunakan template	Ya	Ya	Semua model dan semua cloud
Vertex AI (Pratinjau)	Penerapan inline	Menggunakan setelan minimum atau template	Ya	Ya	Gemini (non-streaming) di Google Cloud
Google Kubernetes Engine	Penerapan inline	Hanya menggunakan template	Ya	Ya	Model dengan format OpenAI diaktifkan Google Cloud
Google Agentspace	Penerapan inline	Hanya menggunakan template	Ya	Ya	Semua model dan semua cloud

Untuk opsi integrasi REST API, Model Armor hanya berfungsi sebagai detektor menggunakan template. Artinya, fitur ini mengidentifikasi dan melaporkan potensi pelanggaran kebijakan berdasarkan template yang telah ditentukan, bukan secara aktif mencegahnya. Saat terintegrasi dengan Model Armor API, aplikasi Anda dapat menggunakan outputnya untuk memblokir atau mengizinkan tindakan berdasarkan hasil evaluasi keamanan yang diberikan. Model Armor API menampilkan informasi tentang potensi ancaman atau pelanggaran kebijakan terkait traffic API Anda, terutama dalam kasus interaksi AI/LLM. Aplikasi Anda dapat memanggil Model Armor API dan menggunakan informasi yang diterima dalam respons untuk membuat keputusan dan mengambil tindakan berdasarkan logika kustom yang telah ditentukan sebelumnya.

Dengan opsi integrasi Vertex AI, Model Armor memberikan penegakan inline menggunakan setelan atau template batas bawah. Artinya, Model Armor secara aktif menerapkan kebijakan dengan melakukan intervensi langsung dalam proses tanpa memerlukan modifikasi pada kode aplikasi Anda.

Mirip dengan Vertex AI, opsi integrasi GKE dan Google Agentspace juga hanya menawarkan penerapan inline menggunakan template. Artinya, Model Armor dapat menerapkan kebijakan langsung dalam gateway inferensi serta interaksi pengguna atau agen dalam instance Google Agentspace tanpa memerlukan modifikasi pada kode aplikasi Anda.

Integrasi Model Armor dan Google Agentspace hanya menyaring perintah pengguna awal dan respons akhir agen atau model. Langkah-langkah perantara yang terjadi antara perintah pengguna awal dan pembuatan respons akhir tidak tercakup dalam integrasi ini.

Kirim masukan