In diesem Dokument wird beschrieben, wie Sie Einblicke in die Sicherheit von Inhalten aus Model Armor für unterstützte KI-Agents aufrufen.
Model Armor prüft die Anfragen und Antworten auf Sicherheitsrisiken wie indirekte Prompt Injection-Angriffe, Lecks sensibler Daten und die Generierung oder Bereitstellung schädlicher Inhalte. Weitere Informationen finden Sie unter Model Armor.
Sie können die Ergebnisse von Model Armor-Vorgängen auf den folgenden Ebenen ansehen:
- Übersicht: Statistiken für alle unterstützten KI-Agents im Projekt
- Ansicht auf Agent-Ebene: Statistiken für einen einzelnen KI-Agenten
Hinweis
- Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
Enable the Model Armor API.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles.Enable the Model Armor API.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles.- Model Armor für ein oder mehrere Gateways in Ihrem Projekt konfigurieren
- Wenn Sie Agenten überwachen möchten, die mit einem Google Cloud MCP-Server kommunizieren, konfigurieren Sie Model Armor mit MCP-Servern.
- Tracing für Ihren Agent einrichten.
Erforderliche Rolle
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, damit Sie die nötigen Berechtigungen zum Überwachen von Verstößen gegen die Inhaltsicherheit haben:
- Zugriffsberechtigter für Observability-Ansicht (
roles/observability.viewAccessor) - Observability Analytics-Nutzer (
roles/observability.analyticsUser) - Loganzeige (
roles/logging.viewer) - Zugriffsberechtigter für Logbetrachtung (
roles/logging.viewAccessor)
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Überwachen von Verstößen gegen die Inhaltsicherheit erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:
Erforderliche Berechtigungen
Die folgenden Berechtigungen sind erforderlich, um Verstöße gegen die Inhaltsicherheit zu überwachen:
-
monitoring.monitoredResourceDescriptors.list -
monitoring.metricDescriptors.list
Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
Unterstützte KI-Agenten
Der Tab Sicherheit enthält Model Armor-Statistiken nur für die folgenden Agents:
- Agents, die in der Agent-Laufzeit bereitgestellt werden und von einem Gateway mit konfigurierter Model Armor verwaltet werden.
- In der Agent-Laufzeit bereitgestellte Agenten, die mit einemGoogle Cloud MCP-Server kommunizieren.
- Agents, die in der Agent Runtime in einem Projekt bereitgestellt werden, in dem Mindesteinstellungen für Model Armor konfiguriert sind.
Inhaltsstatistiken für unterstützte KI-Agents in einem Projekt ansehen (Übersicht)
So rufen Sie die Informationen zur Inhaltssicherheit für alle unterstützten KI-Agents in einem Projekt auf:
- Rufen Sie in der Google Cloud Console den Tab Sicherheit der Gemini Enterprise Agent Platform auf.
Gehen Sie zu Sicherheit.
- Wählen Sie Ihr Projekt aus.
Wenn Sie auf dem Tab Sicherheit keine Informationen zur Inhaltssicherheit sehen und unterstützte KI-Agents in Ihrem Projekt haben, müssen Sie Tracing für Ihre Agents einrichten.
Statistiken für einen KI-Agenten ansehen (Ansicht auf Agentenebene)
So rufen Sie die Statistiken zur Inhaltssicherheit für unterstützte Agents auf:
- Rufen Sie in der Google Cloud Console die Agent-Registrierung auf.
- Wählen Sie Ihr Projekt aus.
- Klicken Sie auf den Namen des Agents.
- Klicken Sie auf die Registerkarte Sicherheit.
Anzahl der gemeldeten oder blockierten Interaktionen ansehen
Rufen Sie den Tab Sicherheit auf der obersten Ebene oder Agentenebene auf.
Auf dem Tab Sicherheit sehen Sie die Anzahl der Interaktionen, einschließlich der gemeldeten und blockierten Interaktionen. Auf dem Tab Sicherheit werden die folgenden Messwerte angezeigt:
- Interaktionen insgesamt: Die Gesamtzahl der Prompts und Antworten, die von Model Armor analysiert werden.
- Gekennzeichnete Interaktionen: Die Anzahl der Interaktionen, die gegen eine konfigurierte Richtlinie in Ihrer Model Armor-Vorlage oder Ihren Mindesteinstellungen verstoßen haben.
- Blockierte Interaktionen: Die Anzahl der Interaktionen, die blockiert wurden, wenn Sie Model Armor im Modus
INSPECT_AND_BLOCKkonfiguriert haben. Diese blockierten Interaktionen verstießen gegen Mindesteinstellungen oder Vorlagen.
Verstöße gegen die Inhaltsrichtlinien überwachen
Rufen Sie den Tab Sicherheit auf der obersten Ebene oder Agentenebene auf.
Im Diagramm Verstöße im Zeitverlauf können Sie die Anzahl der erkannten Verstöße im Zeitverlauf beobachten.
Die erkannten Verstöße sind in die folgenden Bereiche unterteilt:
- Prompt Injections und Jailbreaks: Inhaltsverstöße, die auf das Vorhandensein von Prompts mit schädlichen Befehlen oder Jailbreak-Versuchen hinweisen. Weitere Informationen finden Sie unter Erkennung von Prompt Injection und Jailbreaking.
- Schädliche URL: Inhaltsverstöße, die auf das Vorhandensein schädlicher URLs hinweisen. Weitere Informationen finden Sie unter Erkennung schädlicher URLs.
- Verantwortungsbewusste KI: Inhaltsverstöße, die von Sicherheitsfiltern erkannt werden, z. B. Belästigung und Hassrede. Eine vollständige Liste der Kategorien für verantwortungsbewusste KI finden Sie unter Sicherheitsfilter für verantwortungsbewusste Anwendung von KI.
- Vertrauliche Daten: Inhaltsverstöße, bei denen vertrauliche Informationstypen oder benutzerdefinierte Informationstypen, die Sie definieren, vorhanden sind. Weitere Informationen finden Sie unter Sensitive Data Protection.
Weitere Informationen zu diesen Detektoren finden Sie unter Model Armor-Filter.
Agenten mit den meisten Verstößen identifizieren
Rufen Sie den Tab Sicherheit auf oberster Ebene.
Auf dem Tab Sicherheit werden die 10 Agenten mit den meisten Verstößen angezeigt. In der Liste sehen Sie die Agent-ID jedes Agenten und die Anzahl der für diesen Agenten erkannten Verstöße.
Wenn Sie die Model Armor-Statistiken für einen bestimmten Agent in der Liste aufrufen möchten, suchen Sie in der Agent Registry anhand der Agent-ID nach dem Agent. Rufen Sie dann den Tab Sicherheit auf Agent-Ebene für diesen Agent.
Telemetriedaten mit SQL abfragen und analysieren
Wenn Sie Telemetriedaten von Model Armor abfragen und analysieren möchten, verwenden Sie Observability Analytics. Dort steht eine SQL-basierte Abfrageschnittstelle zur Verfügung.
- Rufen Sie den Tab Sicherheit auf oberster Ebene.
- Klicken Sie für die Ansicht, die Sie abfragen möchten, auf Weitere Diagrammoptionen > In Observability Analytics untersuchen.
Eine allgemeine Anleitung zur Verwendung von Observability Analytics finden Sie unter Telemetriedaten mit Observability Analytics abfragen und analysieren.
Daten zu Verstößen in eine PNG- oder CSV-Datei herunterladen
So laden Sie Daten zu Verstößen in eine PNG- oder CSV-Datei herunter:
- Wählen Sie auf dem Tab Sicherheit in der Ansicht Verstöße im Zeitverlauf den Zeitraum aus, für den Sie Daten herunterladen möchten.
- Klicken Sie auf Weitere Diagrammoptionen> Herunterladen.
- Klicken Sie auf PNG herunterladen oder CSV-Datei herunterladen, um die Daten im gewünschten Format herunterzuladen.
Nächste Schritte
Logging für Model Armor konfigurieren
Informationen zum Konfigurieren des Loggings für Model Armor.