Memantau keamanan konten

Pratinjau — Insight Model Armor

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Dokumen ini menjelaskan cara melihat insight keamanan konten dari Model Armor untuk agen AI yang didukung.

Model Armor memeriksa permintaan dan respons untuk risiko keamanan, seperti serangan injeksi prompt tidak langsung, kebocoran data sensitif, dan pembuatan atau penayangan konten berbahaya. Untuk mengetahui informasi selengkapnya, lihat Model Armor.

Anda dapat melihat hasil operasi Model Armor di tingkat berikut:

• Tampilan tingkat atas: insight untuk semua agen AI yang didukung dalam project
• Tampilan tingkat agen: insight untuk satu agen AI

Sebelum memulai

Login keakun Anda. Google Cloud Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

Enable the Model Armor API.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

Enable the Model Armor API.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

1. Konfigurasi Model Armor di satu atau beberapa gateway dalam project Anda.
2. Untuk memantau agen yang berkomunikasi dengan server a Google Cloud MCP, konfigurasi Model Armor dengan server MCP.
3. Siapkan pelacakan untuk agen Anda.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk memantau pelanggaran keamanan konten, minta administrator untuk memberi Anda peran IAM berikut pada project:

• Observability View Accessor (roles/observability.viewAccessor)
• Observability Analytics User (roles/observability.analyticsUser)
• Logs Viewer (roles/logging.viewer)
• Logs View Accessor (roles/logging.viewAccessor)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk memantau pelanggaran keamanan konten. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk memantau pelanggaran keamanan konten:

• monitoring.monitoredResourceDescriptors.list
• monitoring.metricDescriptors.list

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Agen yang didukung

Tab Security diisi dengan insight Model Armor hanya untuk agen berikut:

• Agen yang di-deploy di Agent Runtime dan diatur oleh gateway tempat Model Armor di konfigurasi.
• Agen yang di-deploy di Agent Runtime dan berkomunikasi dengan Google Cloud server MCP.
• Agen yang di-deploy di Agent Runtime dalam project tempat setelan tingkat Model Armor dikonfigurasi.

Melihat insight konten untuk agen AI yang didukung dalam project (tampilan tingkat atas)

Untuk melihat insight keamanan konten untuk semua agen AI yang didukung dalam project, ikuti langkah-langkah berikut:

1. Di Google Cloud konsol, buka tab Security Gemini Enterprise Agent Platform.

   Buka Keamanan

2. Pilih project Anda.

Jika Anda tidak melihat insight keamanan konten di tab Security dan Anda memiliki agen AI yang didukung di project Anda, pastikan Anda telah menyiapkan pelacakan untuk agen Anda.

Melihat insight konten untuk agen AI (tampilan tingkat agen)

Untuk melihat insight keamanan konten untuk agen yang didukung, ikuti langkah-langkah berikut:

1. Di Google Cloud konsol, buka Agent Registry.

   Buka Agent Registry

2. Pilih project Anda.
3. Klik nama agen.
4. Klik tab Security.

Melihat jumlah interaksi yang ditandai atau diblokir

Buka tab Security tingkat atas atau agen.

Di tab Security, lihat jumlah interaksi, termasuk interaksi yang ditandai dan diblokir. Tab Security menampilkan metrik berikut:

• Total interactions: Jumlah total perintah dan respons yang dianalisis oleh Model Armor.
• Interactions flagged: Jumlah interaksi yang melanggar kebijakan yang dikonfigurasi dalam template Model Armor atau setelan tingkat.
• Interactions blocked: Jumlah interaksi yang diblokir jika Anda mengonfigurasi Model Armor dalam mode INSPECT_AND_BLOCK. Interaksi yang diblokir ini melanggar setelan tingkat atau template.

Memantau pelanggaran keamanan konten

Buka tab Security tingkat atas atau agen.

Di diagram Violations over time, pantau jumlah pelanggaran yang terdeteksi dari waktu ke waktu.

Pelanggaran yang terdeteksi dikategorikan ke dalam area berikut:

• Prompt injections and jailbreaks: Pelanggaran konten yang menunjukkan adanya perintah yang berisi perintah berbahaya atau upaya jailbreak. Untuk mengetahui informasi selengkapnya, lihat Deteksi injeksi prompt dan jailbreak.
• URL Berbahaya: Pelanggaran konten yang menunjukkan adanya URL berbahaya. Untuk mengetahui informasi selengkapnya, lihat Deteksi URL berbahaya.
• Responsible AI: Pelanggaran konten yang terdeteksi oleh filter keamanan, seperti pelecehan dan ujaran kebencian. Untuk mengetahui daftar lengkap kategori responsible AI, lihat Filter keamanan Responsible AI.
• Data sensitif: Pelanggaran konten yang melibatkan keberadaan jenis informasi sensitif atau jenis informasi kustom yang Anda tentukan. Untuk mengetahui informasi selengkapnya, lihat Perlindungan Data Sensitif.
  Catatan: Jumlah pelanggaran konten data sensitif disertakan dalam jumlah total pelanggaran, tetapi tidak ditampilkan dalam kategori terpisah.

Untuk mengetahui informasi selengkapnya tentang detektor ini, lihat Filter Model Armor.

Mengidentifikasi agen dengan pelanggaran terbanyak

Buka tab tingkat atas Security.

Tab Security menampilkan 10 agen teratas dengan pelanggaran terbanyak. Daftar ini menampilkan ID agen dari setiap agen dan jumlah pelanggaran yang terdeteksi untuk agen tersebut.

Untuk melihat insight Model Armor untuk agen tertentu dalam daftar, buka Agent Registry untuk menelusuri agen berdasarkan ID agennya. Kemudian, buka tab tingkat agen Security untuk agen tersebut.

Buka Agent Registry

Membuat kueri dan menganalisis data telemetri menggunakan SQL

Untuk membuat kueri dan menganalisis data telemetri dari Model Armor, gunakan Observability Analytics, yang menyediakan antarmuka kueri berbasis SQL.

1. Buka tab tingkat atas Security.
2. Untuk tampilan yang ingin Anda kueri, klik Opsi diagram lainnya > Jelajahi di Observability Analytics.

Untuk mengetahui petunjuk umum tentang cara menggunakan Observability Analytics, lihat Membuat kueri dan menganalisis telemetri dengan Observability Analytics.

Mendownload data pelanggaran ke file PNG atau CSV

Untuk mendownload data pelanggaran ke file PNG atau CSV, ikuti langkah-langkah berikut:

1. Di tampilan Violations over time di tab Security, pilih periode data yang ingin Anda download.
2. Klik Opsi diagram lainnya > Download.
3. Klik Download PNG atau Download CSV untuk mendownload data dalam format pilihan Anda.

Langkah berikutnya

Panduan

Logging audit Model Armor

Pelajari logging audit untuk Model Armor.

Panduan

Mengonfigurasi logging untuk Model Armor

Pelajari cara mengonfigurasi logging untuk Model Armor.

Pemecahan masalah

Memecahkan masalah Model Armor

Pelajari cara memecahkan masalah Model Armor.