Model Armor in Apigee einbinden

Sie können die Sicherheit Ihrer KI-Anwendungen verbessern, indem Sie Model Armor in Apigee einbinden. Wenn Sie Apigee als API-Gateway vor Ihren KI-Anwendungen verwenden, können Sie die Funktionen von Model Armor nutzen, um sowohl die an Ihre Anwendung gesendeten Eingaben als auch die empfangenen Antworten zu prüfen und zu bereinigen.

Übersicht

Sie können Model Armor-Richtlinien in Ihre Apigee-API-Proxys einbinden, um Ihre KI-Anwendungen besser zu schützen und zu steuern. Mit Apigee können Sie beispielsweise Kontingente auf Tokenebene erzwingen, um die Anzahl der Tokens, die ein Nutzer oder eine Anwendung pro Tag verwenden darf, zu begrenzen. Verwenden Sie LLMTokenQuota und PromptTokenLimit, um die Verwendung von Tokens genau zu steuern. Diese Richtlinien helfen, Kosten zu verwalten, Missbrauch zu verhindern und den Traffic zu stabilisieren, indem plötzliche Verbrauchsspitzen vermieden werden.

Beschränkungen

Beachten Sie die folgenden Einschränkungen, wenn Sie Model Armor in Apigee einbinden:

  • Regionale Verfügbarkeit: Model Armor ist nicht in allen Regionen verfügbar. Achten Sie darauf, dass Apigee und Model Armor in derselben Region konfiguriert sind. Es ist zwar möglich, Apigee und Model Armor in verschiedenen Regionen zu konfigurieren, dies kann jedoch aufgrund von regionenübergreifenden Netzwerkdurchläufen zu zusätzlicher Latenz führen. Für eine optimale Leistung sollten Sie sie in derselben Region konfigurieren.
  • Quota: Bei hohem Trafficvolumen ist möglicherweise eine Kontingenterhöhung für Model Armor erforderlich. Informationen zum Anfordern einer Anpassung finden Sie unter Kontingentanpassung anfordern. Wenn Sie mehr als das Standardkontingent benötigen, wenden Sie sich an den Cloud Customer Care. Informationen zu Kontingenten im Zusammenhang mit Model Armor-Integrationen mit anderen Diensten finden Sie unter Kontingent verwalten.
  • Tokenlimits: Model Armor hat Tokenlimits für die Verarbeitung von Prompts und Antworten, die je nach Filter variieren. Inhalte, die diese Limits überschreiten, werden möglicherweise nicht vollständig gescannt.

Hinweis

Funktionsweise

Für die Integration werden zwei Hauptrichtlinien von Apigee verwendet:

  • SanitizeUserPrompt: Fügen Sie diese Richtlinie dem Anforderungsablauf Ihres API-Proxy hinzu. Es fängt alle eingehenden Anfragen ab und sendet sie zur Überprüfung an Model Armor, bevor sie Ihre KI-Anwendung erreichen. Weitere Informationen finden Sie in der SanitizeUserPrompt-Richtlinie.
  • SanitizeModelResponse: Fügen Sie diese Richtlinie dem Antwortablauf hinzu. Sie fängt die Antwort der KI-Anwendung ab und sendet sie zur Überprüfung an Model Armor, bevor sie an den Client gesendet wird. Weitere Informationen finden Sie in der SanitizeModelResponse-Richtlinie.

Model Armor bewertet die Inhalte anhand der Regeln, die in Ihrer aktiven Model Armor-Vorlage definiert sind. Basierend auf den Ergebnissen und dem festgelegten Durchsetzungstyp lässt Apigee die Anfrage oder Antwort zu, blockiert sie oder entfernt vertrauliche Informationen daraus. Wenn die Anfrage oder Antwort geschwärzt ist, extrahieren Sie die geschwärzten Daten mit Ablaufvariablen und übergeben Sie sie an das LLM.

Verwenden Sie zum Einstieg die integrierte Proxyvorlage Proxy with Model Armor in der Apigee Console. Mit dieser Vorlage werden automatisch optionale SanitizeUserPrompt- und SanitizeModelResponse-Konfigurationen hinzugefügt.

Apigee API-Proxy mit Model Armor-Richtlinien erstellen

  1. Dienstkonto zum Bereitstellen des API-Proxys erstellen
  2. Erstellen Sie einen Apigee API-Proxy.
  3. Bearbeiten Sie das SanitizeUserPrompt- und das SanitizeModelResponse-XML. Sie müssen die XML-Datei dieser Richtlinien bearbeiten, damit Model Armor funktioniert.
  4. Google-Authentifizierung zum API-Proxy hinzufügen
  5. Stellen Sie den API-Proxy bereit.
  6. Model Armor-Richtlinien testen

Weitere Informationen zur Konfiguration und Verwendung finden Sie unter Erste Schritte mit Apigee Model Armor-Richtlinien.