Model Armor in Apigee einbinden

Sie können die Sicherheit Ihrer KI-Anwendungen verbessern, indem Sie Model Armor in Apigee einbinden. Wenn Sie Apigee als API-Gateway vor Ihren KI-Anwendungen verwenden, können Sie die Funktionen von Model Armor nutzen, um sowohl die an Ihre Anwendung gesendeten Eingaben als auch die empfangenen Antworten zu prüfen und zu bereinigen.

Übersicht

Sie können Model Armor-Richtlinien in Ihre Apigee-API-Proxys einbinden, um Ihre KI-Anwendungen besser zu steuern und zu schützen. Mit Apigee können Sie beispielsweise Kontingente auf Token-Ebene erzwingen, um die Anzahl der Token, die ein Nutzer oder eine Anwendung pro Tag verwenden darf, zu begrenzen. Verwenden Sie LLMTokenQuota und PromptTokenLimit, um die Tokennutzung präzise zu steuern. Diese Richtlinien helfen, Kosten zu verwalten, Missbrauch zu verhindern und den Traffic zu stabilisieren, indem plötzliche Verbrauchsspitzen vermieden werden.

Beschränkungen

Beachten Sie die folgenden Einschränkungen, wenn Sie Model Armor in Apigee einbinden:

  • Regionale Verfügbarkeit: Model Armor ist nicht in allen Regionen verfügbar. Apigee und Model Armor müssen in derselben Region konfiguriert sein. Weitere Informationen finden Sie unter Standorte für Model Armor.
  • Quota: Bei hohem Trafficvolumen ist möglicherweise eine Kontingenterhöhung für Model Armor erforderlich. Informationen zum Anfordern einer Anpassung finden Sie unter Kontingentanpassung anfordern. Wenn Sie mehr als das Standardkontingent benötigen, wenden Sie sich an den Cloud Customer Care. Informationen zu Kontingenten für Model Armor-Integrationen mit anderen Diensten finden Sie unter Kontingente verwalten.
  • Tokenlimits: Model Armor hat Tokenlimits für die Verarbeitung von Prompts und Antworten, die je nach Filter variieren. Inhalte, die diese Limits überschreiten, werden möglicherweise nicht vollständig gescannt.

Hinweis

Funktionsweise

Für die Integration werden zwei Hauptrichtlinien von Apigee verwendet:

  • SanitizeUserPrompt: Fügen Sie diese Richtlinie dem Anfragefluss Ihres API-Proxy hinzu. Sie fängt alle eingehenden Anfragen ab und sendet sie zur Überprüfung an Model Armor, bevor sie Ihre KI-Anwendung erreichen. Weitere Informationen finden Sie unter SanitizeUserPrompt-Richtlinie.
  • SanitizeModelResponse: Fügen Sie diese Richtlinie dem Antwortablauf hinzu. Sie fängt die Antwort der KI-Anwendung ab und sendet sie zur Überprüfung an Model Armor, bevor die Antwort an den Client gesendet wird. Weitere Informationen finden Sie in der SanitizeModelResponse-Richtlinie.

Model Armor bewertet die Inhalte anhand der Regeln, die in Ihrer aktiven Model Armor-Vorlage definiert sind. Basierend auf den Ergebnissen und dem festgelegten Durchsetzungstyp lässt Apigee die Anfrage oder Antwort zu, blockiert sie oder entfernt vertrauliche Informationen daraus. Wenn die Anfrage oder Antwort geschwärzt ist, extrahieren Sie die geschwärzten Daten mit Ablaufvariablen und übergeben Sie sie an das LLM.

Verwenden Sie zum Einstieg die integrierte Proxyvorlage Proxy with Model Armor in der Apigee-Konsole. Mit dieser Vorlage werden automatisch optionale SanitizeUserPrompt- und SanitizeModelResponse-Konfigurationen hinzugefügt.

Apigee API-Proxy mit Model Armor-Richtlinien erstellen

  1. Dienstkonto zum Bereitstellen des API-Proxys erstellen
  2. Erstellen Sie einen Apigee API-Proxy.
  3. XML-Code von SanitizeUserPrompt und SanitizeModelResponse bearbeiten: Sie müssen den XML-Code dieser Richtlinien bearbeiten, damit Model Armor funktioniert.
  4. Google-Authentifizierung zum API-Proxy hinzufügen
  5. API-Proxy bereitstellen
  6. Model Armor-Richtlinien testen

Weitere Informationen zur Konfiguration und Verwendung finden Sie unter Erste Schritte mit Apigee Model Armor-Richtlinien.