Inhaltssicherheit überwachen

In diesem Dokument wird beschrieben, wie Sie Statistiken zur Inhaltssicherheit von Model Armor für unterstützte KI Agenten aufrufen.

Model Armor prüft Anfragen und Antworten auf Sicherheitsrisiken wie indirekte Prompt-Injection-Angriffe, Lecks sensibler Daten und die Generierung oder Bereitstellung schädlicher Inhalte. Weitere Informationen finden Sie unter Model Armor.

Sie können die Ergebnisse von Model Armor-Vorgängen auf den folgenden Ebenen ansehen:

Hinweis

  1. Melden Sie sich in Ihrem Google Cloud Konto an. Wenn Sie noch kein Konto bei Google Cloudhaben, erstellen Sie ein Konto, um die Leistung unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. Enable the Model Armor API.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  3. Enable the Model Armor API.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

    4.
  4. Konfigurieren Sie Model Armor für ein oder mehrere Gateways in Ihrem Projekt.
  5. Wenn Sie Agenten überwachen möchten, die mit einem Google Cloud MCP-Server kommunizieren, konfigurieren Sie Model Armor mit MCP-Servern.
  6. Richten Sie die Ablaufverfolgung für Ihren Agenten ein.

Erforderliche Rolle

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Überwachen von Verstößen gegen die Inhaltssicherheit benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Überwachen von Verstößen gegen die Inhaltssicherheit erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen , um die notwendigen Berechtigungen anzuzeigen, die erforderlich sind:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Verstöße gegen die Inhaltssicherheit zu überwachen:

  • monitoring.monitoredResourceDescriptors.list
  • monitoring.metricDescriptors.list

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Unterstützte Agenten

Der Tab Sicherheit wird nur mit Model Armor-Statistiken für die folgenden Agenten gefüllt:

Statistiken zur Inhaltssicherheit für unterstützte KI-Agenten in einem Projekt ansehen (Ansicht auf oberster Ebene)

So rufen Sie die Statistiken zur Inhaltssicherheit für alle unterstützten KI-Agenten in einem Projekt auf:

  1. Rufen Sie in der Google Cloud Console den Tab Sicherheit der Gemini Enterprise Agent Platform auf.

    Gehen Sie zu Sicherheit.

  2. Wählen Sie Ihr Projekt aus.

Wenn Sie auf dem Tab Sicherheit keine Statistiken zur Inhaltssicherheit sehen und Sie unterstützte KI-Agenten in Ihrem Projekt haben, prüfen Sie, ob Sie die Ablaufverfolgung für Ihre Agenten eingerichtet haben.

Statistiken zur Inhaltssicherheit für einen KI-Agenten ansehen (Ansicht auf Agentenebene)

So rufen Sie die Statistiken zur Inhaltssicherheit für unterstützte Agenten auf:

  1. Rufen Sie in der Google Cloud Console die Agent Registry auf.

    Zur Agent Registry

  2. Wählen Sie Ihr Projekt aus.
  3. Klicken Sie auf den Namen des Agenten.
  4. Klicken Sie auf den Tab Sicherheit.

Anzahl der gemeldeten oder blockierten Interaktionen ansehen

Rufen Sie den Tab auf oberster Ebene oder auf Agentenebene Sicherheit auf.

Auf dem Tab Sicherheit sehen Sie die Anzahl der Interaktionen, einschließlich gemeldeter und blockierter Interaktionen. Auf dem Tab Sicherheit werden die folgenden Messwerte angezeigt:

  • Gesamtzahl der Interaktionen: Die Gesamtzahl der Prompts und Antworten die von Model Armor analysiert werden.
  • Gemeldete Interaktionen: Die Anzahl der Interaktionen, die gegen eine konfigurierte Richtlinie in Ihrer Model Armor-Vorlage oder in den Mindesteinstellungen verstoßen haben.
  • Blockierte Interaktionen: Die Anzahl der Interaktionen, die blockiert wurden, wenn Sie Model Armor im INSPECT_AND_BLOCK Modus konfiguriert haben. Diese blockierten Interaktionen haben gegen Mindesteinstellungen oder Vorlagen verstoßen.

Verstöße gegen die Inhaltssicherheit überwachen

Rufen Sie den Tab auf oberster Ebene oder auf Agentenebene Sicherheit auf.

Im Diagramm Verstöße im Zeitverlauf können Sie die Anzahl der erkannten Verstöße im Zeitverlauf beobachten.

Die erkannten Verstöße werden in die folgenden Bereiche kategorisiert:

  • Prompt-Injection und Jailbreak: Verstöße gegen die Inhaltssicherheit, die auf Prompts mit schädlichen Befehlen oder Jailbreak-Versuchen hinweisen. Weitere Informationen finden Sie unter Erkennung von Prompt-Injection und Jailbreak.
  • Schädliche URL: Verstöße gegen die Inhaltssicherheit, die auf schädliche URLs hinweisen. Weitere Informationen finden Sie unter Erkennung schädlicher URLs.
  • Verantwortungsbewusste Anwendung von KI: Verstöße gegen die Inhaltssicherheit, die von Sicherheitsfiltern erkannt werden, z. B. Belästigung und Hassrede. Eine vollständige Liste der Kategorien für die verantwortungsbewusste Anwendung von KI finden Sie unter Sicherheitsfilter für verantwortungsbewusste Anwendung von KI.
  • Vertrauliche Daten: Verstöße gegen die Inhaltssicherheit, die das Vorhandensein von vertraulichen Informationstypen oder benutzerdefinierten Informationstypen betreffen, die Sie definieren. Weitere Informationen finden Sie unter Schutz sensibler Daten.

Weitere Informationen zu diesen Detektoren finden Sie unter Model Armor-Filter.

Agenten mit den meisten Verstößen identifizieren

Rufen Sie den Tab oberster Ebene Sicherheit auf.

Auf dem Tab Sicherheit werden die zehn Agenten mit den meisten Verstößen angezeigt. In der Liste werden die Agenten-ID jedes Agenten und die Anzahl der für diesen Agenten erkannten Verstöße angezeigt.

Wenn Sie die Model Armor-Statistiken für einen bestimmten Agenten in der Liste aufrufen möchten, suchen Sie in der Agent Registry nach dem Agenten anhand seiner Agenten-ID. Rufen Sie dann den Tab Sicherheit auf Agentenebene für diesen Agenten auf.

Zur Agent Registry

Telemetriedaten mit SQL abfragen und analysieren

Wenn Sie Telemetriedaten von Model Armor abfragen und analysieren möchten, verwenden Sie Observability Analytics, das eine SQL-basierte Abfrageschnittstelle bietet.

  1. Rufen Sie den Tab oberster Ebene Sicherheit auf.
  2. Klicken Sie für die Ansicht, die Sie abfragen möchten, auf Weitere Diagrammoptionen > In Observability Analytics untersuchen.

Eine allgemeine Anleitung zur Verwendung von Observability Analytics finden Sie unter Telemetriedaten mit Observability Analytics abfragen und analysieren.

Verstoßdaten in eine PNG- oder CSV-Datei herunterladen

So laden Sie Verstoßdaten in eine PNG- oder CSV-Datei herunter:

  1. Wählen Sie in der Ansicht Verstöße im Zeitverlauf auf dem Tab Sicherheit den Zeitraum aus, für den Sie Daten herunterladen möchten.
  2. Klicken Sie auf „“ Weitere Diagrammoptionen > Herunterladen.
  3. Klicken Sie auf PNG herunterladen oder CSV-Datei herunterladen , um die Daten im gewünschten Format herunterzuladen.

Nächste Schritte

Anleitung

Weitere Informationen zum Audit-Logging für Model Armor

Anleitung

Informationen zum Konfigurieren des Loggings für Model Armor

Fehlerbehebung

Informationen zur Behebung von Problemen mit Model Armor