Memantau keamanan konten

Pratinjau — Insight Model Armor

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Dokumen ini menjelaskan cara melihat insight keamanan konten dari Model Armor untuk agen AI yang didukung.

Model Armor menyaring permintaan dan respons untuk mendeteksi risiko keamanan, seperti serangan injeksi perintah tidak langsung, kebocoran data sensitif, dan pembuatan atau penyajian konten berbahaya. Untuk mengetahui informasi selengkapnya, lihat Model Armor.

Anda dapat melihat hasil operasi Model Armor di tingkat berikut:

• Tampilan tingkat teratas: insight untuk semua agen AI yang didukung dalam project
• Tampilan tingkat agen: insight untuk satu agen AI

Sebelum memulai

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

Enable the Model Armor API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Enable the Model Armor API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

1. Konfigurasi Model Armor di satu atau beberapa gateway dalam project Anda.
2. Untuk memantau agen yang berkomunikasi dengan server MCP Google Cloud , konfigurasi Model Armor dengan server MCP.
3. Siapkan pelacakan untuk agen Anda.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk memantau pelanggaran keamanan konten, minta administrator untuk memberi Anda peran IAM berikut pada project:

• Observability View Accessor (roles/observability.viewAccessor)
• Pengguna Observability Analytics (roles/observability.analyticsUser)
• Logs Viewer (roles/logging.viewer)
• Logs View Accessor (roles/logging.viewAccessor)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk memantau pelanggaran keamanan konten. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk memantau pelanggaran keamanan konten:

• monitoring.monitoredResourceDescriptors.list
• monitoring.metricDescriptors.list

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Agen yang didukung

Tab Security diisi dengan insight Model Armor hanya untuk agen berikut:

• Agen yang di-deploy di Agent Runtime dan diatur oleh gateway tempat Model Armor dikonfigurasi.
• Agen yang di-deploy di Agent Runtime dan berkomunikasi dengan server Google Cloud MCP.
• Agen yang di-deploy di Agent Runtime dalam project tempat setelan batas bawah Model Armor dikonfigurasi.

Melihat insight konten untuk agen AI yang didukung dalam project (tampilan tingkat teratas)

Untuk melihat insight keamanan konten untuk semua agen AI yang didukung dalam project, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka tab Security Gemini Enterprise Agent Platform.

   Buka Keamanan

2. Pilih project Anda.

Jika Anda tidak melihat insight keamanan konten di tab Keamanan dan Anda memiliki agen AI yang didukung di project Anda, pastikan Anda telah menyiapkan pelacakan untuk agen Anda.

Melihat insight konten untuk agen AI (tampilan tingkat agen)

Untuk melihat insight keamanan konten untuk agen yang didukung, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka Agent Registry.

   Buka Agent Registry

2. Pilih project Anda.
3. Klik nama agen.
4. Klik tab Security.

Melihat jumlah interaksi yang ditandai atau diblokir

Buka tab tingkat teratas atau tingkat agen Keamanan.

Di tab Keamanan, lihat jumlah interaksi, termasuk interaksi yang ditandai dan diblokir. Tab Keamanan menampilkan metrik berikut:

• Total interaksi: Total jumlah perintah dan respons yang dianalisis oleh Model Armor.
• Interaksi yang ditandai: Jumlah interaksi yang melanggar kebijakan yang dikonfigurasi di setelan template atau batas bawah Model Armor Anda.
• Interaksi yang diblokir: Jumlah interaksi yang diblokir jika Anda mengonfigurasi Model Armor dalam mode INSPECT_AND_BLOCK. Interaksi yang diblokir ini melanggar setelan minimum atau template.

Memantau pelanggaran keamanan konten

Buka tab tingkat teratas atau tingkat agen Keamanan.

Dalam diagram Pelanggaran dari waktu ke waktu, pantau jumlah pelanggaran yang terdeteksi dari waktu ke waktu.

Pelanggaran yang terdeteksi dikategorikan ke dalam area berikut:

• Injeksi prompt dan jailbreak: Pelanggaran konten yang menunjukkan adanya perintah yang berisi perintah berbahaya atau upaya jailbreak. Untuk mengetahui informasi selengkapnya, lihat Deteksi prompt injection dan jailbreak.
• URL Berbahaya: Pelanggaran konten yang menunjukkan adanya URL berbahaya. Untuk informasi selengkapnya, lihat Deteksi URL berbahaya.
• Responsible AI: Pelanggaran konten yang terdeteksi oleh filter keamanan, seperti pelecehan dan ujaran kebencian. Untuk mengetahui daftar lengkap kategori responsible AI, lihat Filter keamanan responsible AI.
• Data sensitif: Pelanggaran konten yang melibatkan kehadiran jenis informasi sensitif atau jenis informasi kustom yang Anda tentukan. Untuk mengetahui informasi selengkapnya, lihat Sensitive Data Protection.
  Catatan: Jumlah pelanggaran konten data sensitif disertakan dalam jumlah total pelanggaran, tetapi tidak ditampilkan dalam kategori terpisah.

Untuk mengetahui informasi selengkapnya tentang detektor ini, lihat Filter Model Armor.

Mengidentifikasi agen dengan pelanggaran terbanyak

Buka tab top-level Security.

Tab Keamanan menampilkan 10 agen teratas dengan pelanggaran terbanyak. Daftar ini menampilkan ID agen dari setiap agen dan jumlah pelanggaran yang terdeteksi untuk agen tersebut.

Untuk melihat insight Model Armor untuk agen tertentu dalam daftar, buka Agent Registry untuk menelusuri agen berdasarkan ID agennya. Kemudian, buka tab agent-level Security untuk agen tersebut.

Buka Agent Registry

Membuat kueri dan menganalisis data telemetri menggunakan SQL

Untuk membuat kueri dan menganalisis data telemetri dari Model Armor, gunakan Analisis Observabilitas, yang menyediakan antarmuka kueri berbasis SQL.

1. Buka tab top-level Security.
2. Untuk tampilan yang ingin Anda kueri, klik Opsi diagram lainnya > Jelajahi di Observability Analytics.

Untuk petunjuk umum tentang cara menggunakan Observability Analytics, lihat Membuat kueri dan menganalisis telemetri dengan Observability Analytics.

Mendownload data pelanggaran ke file PNG atau CSV

Untuk mendownload data pelanggaran ke file PNG atau CSV, ikuti langkah-langkah berikut:

1. Di tampilan Pelanggaran dari waktu ke waktu pada tab Keamanan, pilih periode yang datanya ingin Anda download.
2. Klik Opsi diagram lainnya > Download.
3. Klik Download PNG atau Download CSV untuk mendownload data dalam format pilihan Anda.

Langkah berikutnya

Panduan

Logging audit Model Armor

Pelajari logging audit untuk Model Armor.

Panduan

Mengonfigurasi logging untuk Model Armor

Pelajari cara mengonfigurasi logging untuk Model Armor.

Pemecahan masalah

Memecahkan masalah Model Armor

Pelajari cara memecahkan masalah terkait Model Armor.