Einbindung von Model Armor in Google Cloud-Dienste

Model Armor lässt sich in verschiedene Google Cloud Dienste einbinden:

• Google Kubernetes Engine (GKE) und Service Extensions
• Vertex AI
• Gemini Enterprise

GKE und Diensterweiterungen

Model Armor kann über Service Extensions in GKE eingebunden werden. Mit Diensterweiterungen können Sie interne (Google Cloud -Dienste) oder externe (nutzerverwaltete) Dienste zur Verarbeitung von Traffic einbinden. Sie können eine Diensterweiterung für Application Load Balancer konfigurieren, einschließlich GKE-Inferenz-Gateways, um den Traffic zu und von einem GKE-Cluster zu filtern. So wird dafür gesorgt, dass alle Interaktionen mit den KI-Modellen durch Model Armor geschützt sind. Weitere Informationen finden Sie unter Integration in GKE.

Vertex AI

Model Armor kann entweder über Floor-Einstellungen oder Vorlagen direkt in Vertex AI eingebunden werden. Bei dieser Integration werden Anfragen und Antworten von Gemini-Modellen überprüft und Anfragen und Antworten, die gegen die Mindesteinstellungen verstoßen, werden blockiert. Diese Integration bietet Schutz für Prompts und Antworten in der Gemini API in Vertex AI für die Methode generateContent. Sie müssen Cloud Logging aktivieren, um die Ergebnisse der Bereinigung von Prompts und Antworten zu sehen. Weitere Informationen finden Sie unter Integration mit Vertex AI.

Gemini Enterprise

Model Armor kann direkt in Gemini Enterprise eingebunden werden. Dazu werden Vorlagen verwendet. Gemini Enterprise leitet die Interaktionen zwischen Nutzern und Agents sowie den zugrunde liegenden LLMs über Model Armor weiter. Das bedeutet, dass Prompts von Nutzern oder Kundenservicemitarbeitern und die von den LLMs generierten Antworten von Model Armor geprüft werden, bevor sie dem Nutzer präsentiert werden. Weitere Informationen finden Sie unter Integration mit Gemini Enterprise.

Hinweis: Das Standardkontingent für die Model Armor API beträgt 1.200 Anfragen pro Minute. Wenn der Dienst, in den Sie die Integration vornehmen, viel Traffic empfängt, überschreiten Sie möglicherweise das Standardkontingent für Model Armor. Dies kann dazu führen, dass Anfragen gedrosselt werden oder fehlschlagen. Achten Sie darauf, dass Ihr Model Armor-Kontingent ausreichend ist, um diesen Fehler zu vermeiden. Sie können dieses Kontingent in der Google Cloud Console erhöhen und Benachrichtigungen einrichten, wenn Sie Kontingentlimits erreichen.

Hinweise

APIs aktivieren

Sie müssen Model Armor APIs aktivieren, bevor Sie Model Armor verwenden können.

Console

1. Enable the Model Armor API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

2. Wählen Sie das Projekt aus, für das Sie Model Armor aktivieren möchten.

gcloud

Führen Sie die folgenden Schritte mit der Google Cloud CLI und der Model Armor API aus, bevor Sie beginnen:

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Führen Sie den folgenden Befehl aus, um den API-Endpunkt für den Model Armor-Dienst festzulegen.

   gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

   Ersetzen Sie LOCATION durch die Region, in der Sie Model Armor verwenden möchten.

Führen Sie den folgenden Befehl aus, um Model Armor zu aktivieren.

  gcloud services enable modelarmor.googleapis.com --project=PROJECT_ID
   

Ersetzen Sie PROJECT_ID durch die ID des Projekts.

Optionen bei der Integration von Model Armor

Model Armor bietet die folgenden Integrationsoptionen. Jede Option bietet unterschiedliche Funktionen und Möglichkeiten.

Integrationsoption	Richtlinienerzwingung/-erkennung	Erkennungen konfigurieren	Nur prüfen	Prüfen und blockieren	Modell- und Cloud-Abdeckung
REST API	Detektor	Nur Vorlagen verwenden	Ja	Ja	Alle Modelle und alle Clouds
Vertex AI	Inline-Erzwingung	Grundlegende Einstellungen oder Vorlagen verwenden	Ja	Ja	Gemini (nicht für Streaming) auf Google Cloud
Google Kubernetes Engine	Inline-Erzwingung	Nur Vorlagen verwenden	Ja	Ja	Modelle mit OpenAI-Format auf Google Cloud
Gemini Enterprise	Inline-Erzwingung	Nur Vorlagen verwenden	Ja	Ja	Alle Modelle und alle Clouds

Bei der REST API-Integrationsoption fungiert Model Armor nur als Detektor, der Vorlagen verwendet. Das bedeutet, dass potenzielle Richtlinienverstöße anhand vordefinierter Vorlagen erkannt und gemeldet werden, anstatt aktiv verhindert zu werden. Bei der Integration in die Model Armor API kann Ihre Anwendung die Ausgabe verwenden, um Aktionen basierend auf den bereitgestellten Sicherheitsbewertungsergebnissen zu blockieren oder zuzulassen. Die Model Armor API gibt Informationen zu potenziellen Bedrohungen oder Richtlinienverstößen im Zusammenhang mit Ihrem API-Traffic zurück, insbesondere bei KI-/LLM-Interaktionen. Ihre Anwendung kann die Model Armor API aufrufen und die in der Antwort empfangenen Informationen verwenden, um eine Entscheidung zu treffen und Maßnahmen basierend auf Ihrer vordefinierten benutzerdefinierten Logik zu ergreifen.

Mit der Vertex AI-Integrationsoption bietet Model Armor die Inline-Durchsetzung mithilfe von Untergrenzeneinstellungen oder Vorlagen. Das bedeutet, dass Model Armor Richtlinien aktiv durchsetzt, indem es direkt in den Prozess eingreift, ohne dass Änderungen an Ihrem Anwendungscode erforderlich sind.

Bei den GKE- und Gemini Enterprise-Integrationen werden Vorlagen nur für die Inline-Richtliniendurchsetzung verwendet. Das bedeutet, dass Model Armor Richtlinien direkt erzwingen kann, ohne dass Sie Anwendungscode sowohl innerhalb des GKE-Inferenzgateways als auch bei Nutzer- oder Agent-Interaktionen in Gemini Enterprise-Instanzen ändern müssen.

Durch die Integration von Model Armor und Gemini Enterprise werden nur der ursprüngliche Nutzer-Prompt und die endgültige Agent- oder Modellantwort bereinigt. Alle Zwischenschritte zwischen dem ursprünglichen Nutzer-Prompt und der endgültigen Antwortgenerierung sind nicht in dieser Integration enthalten.

Model Armor im Security Command Center

Model Armor prüft LLM-Prompts und -Antworten auf verschiedene Bedrohungen, darunter Prompt Injections, Jailbreaking-Versuche, schädliche URLs und schädliche Inhalte. Wenn Model Armor einen Verstoß gegen eine konfigurierte Mindesteinstellung erkennt, wird der Prompt oder die Antwort blockiert und ein Ergebnis an Security Command Center gesendet. Weitere Informationen finden Sie unter Model Armor-Ergebnisse.

Feedback geben