Model Armor lässt sich in Google Cloud Dienste einbinden, um KI- und LLM-Interaktionen (Large Language Model) zu schützen. Model Armor erkennt und meldet potenzielle Richtlinienverstöße und kann Aktionen basierend auf Sicherheitsbewertungen aktiv blockieren.
Model Armor lässt sich in verschiedene Google Cloud Dienste einbinden:
Apigee
Durch die Integration können Sie die KI-Schutzfunktionen von Model Armor direkt in der Apigee API-Gatewayschicht nutzen. Sie konfigurieren bestimmte Model Armor-Richtlinien in Ihren Apigee-API-Proxys. Wenn ein API-Aufruf einen Apigee-Proxy mit diesen Richtlinien durchläuft, sendet Apigee die Prompts und Antworten zur Überprüfung an den Model Armor-Dienst. Weitere Informationen finden Sie unter In Apigee einbinden.
Gemini Enterprise
Model Armor kann direkt in Gemini Enterprise eingebunden werden. Dazu können Sie Vorlagen verwenden. Gemini Enterprise leitet die Interaktionen zwischen Nutzern und Agenten sowie den zugrunde liegenden LLMs über Model Armor weiter. Das bedeutet, dass Prompts von Nutzern oder KI-Agenten und die von den LLMs generierten Antworten von Model Armor geprüft werden, bevor sie dem Nutzer präsentiert werden. Weitere Informationen finden Sie unter Mit Gemini Enterprise integrieren.
Google- und Google Cloud MCP-Server
Model Armor kann so konfiguriert werden, dass Ihre Daten geschützt und Inhalte gesichert werden, wenn Sie Anfragen an Google Cloud -Dienste senden, die MCP-Tools (Model Context Protocol) und -Server bereitstellen. Model Armor trägt zum Schutz Ihrer agentischen KI-Anwendungen bei, indem MCP-Toolaufrufe und ‑Antworten mithilfe von Mindesteinstellungen bereinigt werden. Dieser Prozess minimiert Risiken wie Prompt Injection und die Offenlegung sensibler Daten. Weitere Informationen finden Sie unter Integration mit Google- und Google Cloud MCP-Servern.
Diensterweiterungen
Model Armor kann über Service Extensions in Google Cloud Netzwerkdienste eingebunden werden. Mit Diensterweiterungen können Sie interne (Google Cloud -Dienste) oder externe (nutzerverwaltete) Dienste zur Verarbeitung von Traffic einbinden. Sie können eine Diensterweiterung für Application Load Balancer konfigurieren, um den Netzwerkverkehr für verschiedene KI-Interaktionen zu filtern, z. B. mit Agents und MCP-Servern. Sie können Diensterweiterungen auch mit GKE-Inferenz-Gateways verwenden, um den Traffic zu und von einem GKE-Cluster zu filtern. So wird dafür gesorgt, dass alle KI-Interaktionen, die über den Load Balancer laufen, durch Model Armor geschützt sind. Weitere Informationen finden Sie unter Integration mit Google Cloud -Netzwerkdiensten.
Vertex AI
Model Armor kann entweder über Floor-Einstellungen oder Vorlagen direkt in Vertex AI eingebunden werden.
Bei dieser Integration werden Anfragen und Antworten von Gemini-Modellen geprüft und Anfragen und Antworten, die gegen die Mindesteinstellungen verstoßen, werden blockiert. Diese Integration bietet Schutz für Prompts und Antworten in der Gemini API in Vertex AI für die Methode generateContent. Sie müssen Cloud Logging aktivieren, um die Ergebnisse der Bereinigung von Prompts und Antworten zu sehen. Weitere Informationen finden Sie unter Mit Vertex AI integrieren.
Hinweis
APIs aktivieren
Sie müssen die Model Armor API aktivieren, bevor Sie Model Armor verwenden können.
Console
Aktivieren Sie die Model Armor API.
Rollen, die zum Aktivieren von APIs erforderlich sind
Zum Aktivieren von APIs benötigen Sie die IAM-Rolle „Service Usage-Administrator“ (
roles/serviceusage.serviceUsageAdmin), die die Berechtigungserviceusage.services.enableenthält. Weitere Informationen zum Zuweisen von RollenWählen Sie das Projekt aus, für das Sie Model Armor aktivieren möchten.
gcloud
Führen Sie die folgenden Schritte mit der Google Cloud CLI und der Model Armor API aus, bevor Sie beginnen:
Aktivieren Sie Cloud Shell in der Google Cloud Console.
Unten in der Google Cloud Console wird eine Cloud Shell-Sitzung gestartet und eine Eingabeaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung, in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.
API-Endpunktüberschreibung mit der gcloud CLI festlegen
Dieser Schritt ist nur erforderlich, wenn Sie die gcloud CLI verwenden, um die Model Armor API zu aktivieren. Sie müssen die Überschreibung des API-Endpunkt manuell festlegen, damit die gcloud CLI Anfragen korrekt an den Model Armor-Dienst weiterleitet.
Führen Sie den folgenden Befehl aus, um den API-Endpunkt für den Model Armor-Dienst festzulegen.
gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"
Ersetzen Sie LOCATION durch die Region, in der Sie Model Armor verwenden möchten.
Kontingent verwalten
Model Armor verwendet ein Kontingentsystem, um eine faire Nutzung zu gewährleisten und die Systemstabilität zu schützen. Das Standardkontingent für die Model Armor API beträgt 1.200 Anfragen pro Minute pro Projekt. Sie können einen Wert zwischen 0 und 1.200 Anfragen pro Minute pro Projekt anwenden. Informationen zum Anfordern einer Anpassung finden Sie unter Kontingentanpassung anfordern. Wenn Sie mehr als das Standardkontingent benötigen, wenden Sie sich an den Cloud Customer Care.
Das Model Armor-Kontingent erfordert wichtige Überlegungen bei der Integration mit anderen Diensten. Das primäre Kontingent, mit dem Sie interagieren, ist die Anzahl der API-Anfragen pro Minute und Projekt.
- Standardkontingent für Model Armor:Wenn ein Dienst die Model Armor API zur Analyse aufruft (z. B. zum Prüfen von Prompts oder Antworten), wird das Kontingent für die Model Armor API Ihres Projekts verwendet.
- Kontingent für die Einbindung von Diensten:Das Model Armor-Kontingent ist von allen Kontingenten getrennt, die mit den einzubindenden Diensten verknüpft sind. Sie müssen dafür sorgen, dass für alle Dienste in Ihrem Anfragepfad ein ausreichendes Kontingent vorhanden ist. Jeder Aufruf der Model Armor API zum Bereinigen von Inhalten für Ihre Anwendung wird auf die Kontingentlimits für die Model Armor API angerechnet.
Situationen mit Überschreitung des Kontingents erkennen
Sie haben die Kontingentlimits für Model Armor erreicht, wenn in den Logs Ihrer Anwendung Fehler von Model Armor angezeigt werden, in der Regel HTTP-429 RESOURCE_EXHAUSTED-Fehler, die auf zu viele Anfragen hinweisen.
Kontingentbedarf schätzen
So ermitteln Sie, wie viel Model Armor-Kontingent Sie anfordern sollten:
- Schätzen Sie die maximale Anzahl von Anfragen pro Minute, die Ihre Dienste an Model Armor senden.
- Überlegen Sie, wie oft Model Armor pro Nutzerinteraktion mit Ihrem Dienst aufgerufen wird (z. B. einmal für den Prompt und einmal für die Antwort).
- Berücksichtigen Sie die maximale Anzahl gleichzeitiger Nutzer oder Sitzungen.
- Fordern Sie ein Kontingent mit einem angemessenen Puffer an (z. B. 20–30% über dem erwarteten Spitzenwert), um unerwartete Spitzen abzufangen.
- Beginnen Sie mit Ihrer besten Schätzung, beobachten Sie die Nutzung nach dem Start genau und fordern Sie bei Bedarf weitere Anpassungen an.
Wenn Sie beispielsweise 500 Nutzer pro Minute erwarten und für jede Nutzerinteraktion Model Armor zweimal aufgerufen wird (Prompt und Antwort), benötigen Sie mindestens 1.000 QPM. Wenn Sie einen Puffer einplanen, ist es ein guter Ausgangspunkt, 1.200 bis 1.300 Anfragen pro Minute anzufordern.
Hinweise
- Achten Sie darauf, dass Sie Kontingente für andere Dienste überwachen und verwalten. Wenn das Kontingent für andere Dienste aufgebraucht ist, wirkt sich das auf Ihre Anwendung aus, auch wenn Sie über ausreichend Model Armor-Kontingent verfügen.
- Implementieren Sie clientseitige Wiederholungsversuche mit exponentiellem Backoff in der Einrichtung Ihrer Anwendung, um vorübergehende Kontingentprobleme oder andere wiederholbare Fehler zu beheben. Weitere Informationen finden Sie unter Wiederholungsstrategie.
Integration über die REST API
Wenn Sie die REST API für die Integration verwenden, fungiert Model Armor nur als Detector mit Vorlagen. Es werden potenzielle Richtlinienverstöße anhand vordefinierter Vorlagen erkannt und gemeldet, anstatt sie aktiv zu verhindern. Bei der Integration in die Model Armor API kann Ihre Anwendung die Ausgabe von Model Armor verwenden, um Aktionen basierend auf den bereitgestellten Ergebnissen der Sicherheitsbewertung zu blockieren oder zuzulassen. Die Model Armor API gibt Informationen zu potenziellen Bedrohungen oder Richtlinienverstößen im Zusammenhang mit Ihrem API-Traffic zurück, insbesondere bei KI-/LLM-Interaktionen. Ihre Anwendung kann die Model Armor API aufrufen und die in der Antwort empfangenen Informationen verwenden, um eine Entscheidung zu treffen und Maßnahmen basierend auf Ihrer vordefinierten benutzerdefinierten Logik zu ergreifen.
Optionen bei der Integration von Model Armor
Model Armor bietet die folgenden Integrationsoptionen. Jede Option bietet unterschiedliche Funktionen und Möglichkeiten.
| Integrationsoption | Erkennungen konfigurieren | Nur prüfen | Prüfen und blockieren | Modell- und Cloud-Abdeckung |
|---|---|---|---|---|
| Apigee | Nur Vorlagen verwenden | Ja | Ja | Alle Modelle und alle Clouds2 |
| Gemini Enterprise | Nur Vorlagen verwenden | Ja | Ja | Alle Modelle und alle Clouds2 |
| Google- und Google Cloud MCP-Server (Vorschau) | Nur Mindesteinstellungen verwenden | Ja | Ja | Google- und Google Cloud MCP-Server |
| Diensterweiterungen | Nur Vorlagen verwenden | Ja | Ja | Modelle im OpenAI-Format1, Agents und MCP-Server in allen Clouds2 |
| Vertex AI | Grundlegende Einstellungen oder Vorlagen verwenden | Ja | Ja | Gemini-Modelle (nicht Streaming) |
1 Mehrere beliebte Modelle, darunter Anthropic Claude, Mistral AI und Grok, unterstützen OpenAI-Spezifikationen. Diese Modelle werden in der Regel mit Inferenz-Engines wie vLLM bereitgestellt, die die erforderliche OpenAI-kompatible API-Ebene bieten. vLLM unterstützt eine Vielzahl von Modellen, darunter die Meta Llama-Serie, DeepSeek, Mistral- und Mixtral-Familien sowie Gemma.
2 Beinhaltet andere öffentliche Clouds wie AWS und Azure.
Mit der Vertex AI-Integrationsoption bietet Model Armor die Inline-Durchsetzung mithilfe von Mindestwerten oder Vorlagen. Das bedeutet, dass Model Armor Richtlinien aktiv durchsetzt, indem es direkt in den Prozess eingreift, ohne dass Änderungen an Ihrem Anwendungscode erforderlich sind.
Die Dienst-Erweiterungen und Gemini Enterprise-Integrationen verwenden Vorlagen nur für die Inline-Richtliniendurchsetzung. Das bedeutet, dass Model Armor Richtlinien direkt durchsetzen kann, ohne dass Sie Anwendungscode sowohl in Service Extensions als auch bei Nutzer- oder Agent-Interaktionen in Gemini Enterprise-Instanzen ändern müssen.
Durch die Integration von Model Armor und Gemini Enterprise werden nur der ursprüngliche Nutzer-Prompt und die endgültige Agent- oder Modellantwort bereinigt. Alle Zwischenschritte zwischen dem ursprünglichen Nutzer-Prompt und der endgültigen Antwortgenerierung sind nicht Teil dieser Integration.
Model Armor im Security Command Center
Model Armor prüft LLM-Prompts und ‑Antworten auf verschiedene Bedrohungen, darunter Prompt Injections, Jailbreaking-Versuche, schädliche URLs und schädliche Inhalte. Wenn Model Armor einen Verstoß gegen eine konfigurierte Mindesteinstellung erkennt, wird der Prompt oder die Antwort blockiert und ein Ergebnis an Security Command Center gesendet. Weitere Informationen finden Sie unter Model Armor-Ergebnisse.