Einbindung von Model Armor in Google Cloud-Dienste

Model Armor lässt sich in verschiedene Google Cloud Dienste einbinden:

• Google Kubernetes Engine (GKE) und Service Extensions
• Vertex AI
• Gemini Enterprise
• Google Cloud MCP-Server (Vorschau)

GKE und Service Extensions

Model Armor kann über Service Extensions in GKE eingebunden werden. Mit Diensterweiterungen können Sie interne (Google Cloud -Dienste) oder externe (nutzerverwaltete) Dienste zur Verarbeitung von Traffic einbinden. Sie können eine Diensterweiterung für Application Load Balancer konfigurieren, einschließlich GKE-Inferenz-Gateways, um den Traffic zu und von einem GKE-Cluster zu filtern. So wird dafür gesorgt, dass alle Interaktionen mit den KI-Modellen durch Model Armor geschützt sind. Weitere Informationen finden Sie unter Integration in GKE.

Vertex AI

Model Armor kann entweder über Floor-Einstellungen oder Vorlagen direkt in Vertex AI eingebunden werden. Bei dieser Integration werden Anfragen und Antworten von Gemini-Modellen geprüft und Anfragen und Antworten, die gegen die Mindesteinstellungen verstoßen, werden blockiert. Diese Integration bietet Schutz für Prompts und Antworten in der Gemini API in Vertex AI für die Methode generateContent. Sie müssen Cloud Logging aktivieren, um die Ergebnisse der Bereinigung von Prompts und Antworten zu sehen. Weitere Informationen finden Sie unter Integration mit Vertex AI.

Gemini Enterprise

Model Armor kann direkt in Gemini Enterprise eingebunden werden. Dazu werden Vorlagen verwendet. Gemini Enterprise leitet die Interaktionen zwischen Nutzern und Agenten sowie den zugrunde liegenden LLMs über Model Armor weiter. Das bedeutet, dass Prompts von Nutzern oder KI-Agenten und die von den LLMs generierten Antworten von Model Armor geprüft werden, bevor sie dem Nutzer präsentiert werden. Weitere Informationen finden Sie unter Integration mit Gemini Enterprise.

Google Cloud MCP-Server

Vorschau

Diese Funktion unterliegt den „Bedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Dienstbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA‑Funktionen stehen in der vorliegenden Form zur Verfügung und bieten möglicherweise nur eingeschränkten Support. Weitere Informationen finden Sie unter den Beschreibungen der Startphase.

Model Armor kann so konfiguriert werden, dass Ihre Daten geschützt und Inhalte gesichert werden, wenn Sie Anfragen an Google Cloud -Dienste senden, die MCP-Tools (Model Context Protocol) und -Server bereitstellen. Model Armor trägt zum Schutz Ihrer agentischen KI-Anwendungen bei, indem MCP-Toolaufrufe und ‑Antworten mithilfe von Mindesteinstellungen bereinigt werden. Dieser Prozess minimiert Risiken wie Prompt Injection und die Offenlegung sensibler Daten. Weitere Informationen finden Sie unter Integration mit Google Cloud MCP-Servern.

Hinweis :Das Standardkontingent für die Model Armor API beträgt 1.200 Anfragen pro Minute (QPM). Wenn der Dienst, in den Sie die Integration vornehmen, viel Traffic empfängt, überschreiten Sie möglicherweise das Standardkontingent für Model Armor. Dies kann dazu führen, dass Anfragen gedrosselt werden oder fehlschlagen. Achten Sie darauf, dass Ihr Model Armor-Kontingent ausreichend ist, um diesen Fehler zu vermeiden. Sie können dieses Kontingent in der Google Cloud Console erhöhen und Benachrichtigungen einrichten, wenn Sie Kontingentlimits erreichen.

Hinweis

APIs aktivieren

Sie müssen Model Armor APIs aktivieren, bevor Sie Model Armor verwenden können.

Console

1. Aktivieren Sie die Model Armor API.

   Rollen, die zum Aktivieren von APIs erforderlich sind

   Zum Aktivieren von APIs benötigen Sie die IAM-Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin), die die Berechtigung serviceusage.services.enable enthält. Weitere Informationen zum Zuweisen von Rollen

   API aktivieren

2. Wählen Sie das Projekt aus, für das Sie Model Armor aktivieren möchten.

gcloud

Führen Sie die folgenden Schritte mit der Google Cloud CLI und der Model Armor API aus, bevor Sie beginnen:

1. Aktivieren Sie Cloud Shell in der Google Cloud Console.

   Cloud Shell aktivieren

   Unten in der Google Cloud Console wird eine Cloud Shell-Sitzung gestartet und eine Eingabeaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung, in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.

2. Führen Sie den folgenden Befehl aus, um den API-Endpunkt für den Model Armor-Dienst festzulegen.

   gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

   Ersetzen Sie LOCATION durch die Region, in der Sie Model Armor verwenden möchten.

Kontingent verwalten

Model Armor verwendet ein Kontingentsystem, um eine faire Nutzung zu gewährleisten und die Systemstabilität zu schützen. Das Standardkontingent für die Model Armor API beträgt 1.200 Anfragen pro Minute und Projekt. Sie können einen Wert zwischen 0 und 1.200 Anfragen pro Minute pro Projekt anwenden. Informationen zum Anfordern einer Anpassung finden Sie unter Kontingentanpassung anfordern. Wenn Sie mehr als das Standardkontingent benötigen, wenden Sie sich an den Cloud Customer Care.

Das Model Armor-Kontingent erfordert wichtige Überlegungen bei der Integration mit anderen Diensten. Das primäre Kontingent, mit dem Sie interagieren, ist die Anzahl der API-Anfragen pro Minute und Projekt.

• Standardkontingent für Model Armor:Wenn ein Dienst die Model Armor API zur Analyse aufruft (z. B. zum Prüfen von Prompts oder Antworten), wird das Model Armor API-Kontingent Ihres Projekts verwendet.
• Kontingent für die Einbindung von Diensten:Das Model Armor-Kontingent ist unabhängig von allen Kontingenten, die mit den einzubindenden Diensten verknüpft sind. Sie müssen dafür sorgen, dass für alle Dienste in Ihrem Anfragepfad ein ausreichendes Kontingent vorhanden ist. Jeder Aufruf der Model Armor API zum Bereinigen von Inhalten für Ihre Anwendung wird auf die Kontingentlimits für die Model Armor API angerechnet.

Situationen mit Überschreitung des Kontingents erkennen

Sie haben die Kontingentlimits für Model Armor erreicht, wenn in den Anwendungslogs Fehler von Model Armor angezeigt werden, in der Regel HTTP-429 RESOURCE_EXHAUSTED-Fehler, die auf zu viele Anfragen hinweisen.

Kontingentbedarf schätzen

So ermitteln Sie, wie viel Model Armor-Kontingent Sie anfordern sollten:

• Schätzen Sie die maximale Anzahl von Anfragen pro Minute, die Ihre Dienste an Model Armor senden.
• Überlegen Sie, wie oft Model Armor pro Nutzerinteraktion mit Ihrem Dienst aufgerufen wird (z. B. einmal für den Prompt und einmal für die Antwort).
• Berücksichtigen Sie die maximale Anzahl gleichzeitiger Nutzer oder Sitzungen.
• Fordern Sie ein Kontingent mit einem angemessenen Puffer an (z. B. 20–30% über dem erwarteten Spitzenwert), um unerwartete Spitzen abzufangen.
• Beginnen Sie mit Ihrer besten Schätzung, beobachten Sie die Nutzung nach dem Start genau und fordern Sie bei Bedarf weitere Anpassungen an.

Wenn Sie beispielsweise 500 Nutzer pro Minute erwarten und für jede Nutzerinteraktion Model Armor zweimal aufgerufen wird (Prompt und Antwort), benötigen Sie mindestens 1.000 QPM. Wenn Sie einen Puffer einplanen, ist es ein guter Ausgangspunkt, 1.200 bis 1.300 Anfragen pro Minute anzufordern.

Hinweise

• Achten Sie darauf, dass Sie Kontingente für andere Dienste überwachen und verwalten. Wenn das Kontingent für andere Dienste aufgebraucht ist, wirkt sich das auf Ihre Anwendung aus, auch wenn Sie über ausreichend Model Armor-Kontingent verfügen.
• Implementieren Sie clientseitige Wiederholungsversuche mit exponentiellem Backoff in der Einrichtung Ihrer Anwendung, um vorübergehende Kontingentprobleme oder andere wiederholbare Fehler zu beheben. Weitere Informationen finden Sie unter Wiederholungsstrategie.

Optionen bei der Integration von Model Armor

Model Armor bietet die folgenden Integrationsoptionen. Jede Option bietet unterschiedliche Funktionen und Möglichkeiten.

Integrationsoption	Richtlinienerzwingung/-erkennung	Erkennungen konfigurieren	Nur prüfen	Prüfen und blockieren	Modell- und Cloud-Abdeckung
REST API	Detektor	Nur Vorlagen verwenden	Ja	Ja	Alle Modelle und alle Clouds
Vertex AI	Inline-Erzwingung	Grundlegende Einstellungen oder Vorlagen verwenden	Ja	Ja	Gemini (nicht für Streaming) auf Google Cloud
Google Kubernetes Engine	Inline-Erzwingung	Nur Vorlagen verwenden	Ja	Ja	Modelle mit OpenAI-Format auf Google Cloud^1
Gemini Enterprise	Inline-Erzwingung	Nur Vorlagen verwenden	Ja	Ja	Alle Modelle und alle Clouds
Google Cloud MCP-Server (Vorschau)	Inline-Erzwingung	Nur Mindesteinstellungen verwenden	Ja	Ja	MCP auf Google Cloud

¹ Mehrere beliebte Modelle, darunter Anthropic Claude, Mistral AI und Grok, unterstützen OpenAI-Spezifikationen. Diese Modelle werden in der Regel mit Inferenz-Engines wie vLLM bereitgestellt, die die erforderliche OpenAI-kompatible API-Ebene bieten. vLLM unterstützt eine Vielzahl von Modellen, darunter die Meta Llama-Serie, DeepSeek, Mistral- und Mixtral-Familien sowie Gemma.

Bei der REST API-Integrationsoption fungiert Model Armor nur als Detektor, der Vorlagen verwendet. Das bedeutet, dass potenzielle Richtlinienverstöße anhand vordefinierter Vorlagen erkannt und gemeldet werden, anstatt aktiv verhindert zu werden. Bei der Integration in die Model Armor API kann Ihre Anwendung die Ausgabe verwenden, um Aktionen basierend auf den bereitgestellten Sicherheitsbewertungsergebnissen zu blockieren oder zuzulassen. Die Model Armor API gibt Informationen zu potenziellen Bedrohungen oder Richtlinienverstößen im Zusammenhang mit Ihrem API-Traffic zurück, insbesondere bei KI-/LLM-Interaktionen. Ihre Anwendung kann die Model Armor API aufrufen und die in der Antwort empfangenen Informationen verwenden, um eine Entscheidung zu treffen und Maßnahmen basierend auf Ihrer vordefinierten benutzerdefinierten Logik zu ergreifen.

Mit der Vertex AI-Integrationsoption bietet Model Armor die Inline-Durchsetzung mithilfe von Mindestwerten oder Vorlagen. Das bedeutet, dass Model Armor Richtlinien aktiv durchsetzt, indem es direkt in den Prozess eingreift, ohne dass Änderungen an Ihrem Anwendungscode erforderlich sind.

Bei den GKE- und Gemini Enterprise-Integrationen werden Vorlagen nur für die Inline-Richtliniendurchsetzung verwendet. Das bedeutet, dass Model Armor Richtlinien direkt erzwingen kann, ohne dass Sie Anwendungscode sowohl innerhalb des GKE-Inferenz-Gateways als auch bei Nutzer- oder Agent-Interaktionen in Gemini Enterprise-Instanzen ändern müssen.

Durch die Integration von Model Armor und Gemini Enterprise werden nur der ursprüngliche Nutzer-Prompt und die endgültige Agent- oder Modellantwort bereinigt. Alle Zwischenschritte zwischen dem ursprünglichen Nutzer-Prompt und der endgültigen Antwortgenerierung sind nicht Teil dieser Integration.

Model Armor im Security Command Center

Model Armor prüft LLM-Prompts und ‑Antworten auf verschiedene Bedrohungen, darunter Prompt Injections, Jailbreaking-Versuche, schädliche URLs und schädliche Inhalte. Wenn Model Armor einen Verstoß gegen eine konfigurierte Mindesteinstellung erkennt, wird der Prompt oder die Antwort blockiert und ein Ergebnis an Security Command Center gesendet. Weitere Informationen finden Sie unter Model Armor-Ergebnisse.