In Apigee integrieren

Sie können die Sicherheit Ihrer KI-Anwendungen verbessern, indem Sie Model Armor in Apigee einbinden. Wenn Sie Apigee als API-Gateway vor Ihren KI-Anwendungen verwenden, können Sie die Funktionen von Model Armor nutzen, um sowohl die an Ihre Anwendung gesendeten Eingaben als auch die empfangenen Antworten zu prüfen und zu bereinigen.

Übersicht

Sie können Model Armor-Richtlinien in Ihre Apigee-API-Proxys einbinden, um Ihre KI-Anwendungen besser zu schützen und zu steuern. Mit Apigee können Sie beispielsweise Kontingente auf Tokenebene erzwingen, um die Anzahl der Token, die ein Nutzer oder eine Anwendung pro Tag verwenden darf, zu begrenzen. Verwenden Sie LLMTokenQuota und PromptTokenLimit, um die Tokennutzung genau zu steuern. Diese Richtlinien helfen, Kosten zu verwalten, Missbrauch zu verhindern und den Traffic zu stabilisieren, indem sie plötzliche Verbrauchsspitzen verhindern.

Hinweis

Funktionsweise

Für die Integration werden zwei Hauptrichtlinien von Apigee verwendet:

  • SanitizeUserPrompt: Fügen Sie diese Richtlinie dem Anforderungsablauf Ihres API-Proxy hinzu. Es fängt alle eingehenden Anfragen ab und sendet sie zur Überprüfung an Model Armor, bevor sie Ihre KI-Anwendung erreichen. Weitere Informationen finden Sie in der SanitizeUserPrompt-Richtlinie.
  • SanitizeModelResponse: Fügen Sie diese Richtlinie dem Antwortablauf hinzu. Sie fängt die Antwort der KI-Anwendung ab und sendet sie zur Überprüfung an Model Armor, bevor sie an den Client gesendet wird. Weitere Informationen finden Sie in der SanitizeModelResponse-Richtlinie.

Model Armor bewertet die Inhalte anhand der Regeln, die in Ihrer aktiven Model Armor-Vorlage definiert sind. Basierend auf den Ergebnissen und dem festgelegten Durchsetzungstyp lässt Apigee die Anfrage oder Antwort zu, blockiert sie oder entfernt vertrauliche Informationen daraus. Wenn die Anfrage oder Antwort geschwärzt ist, extrahieren Sie die geschwärzten Daten mit Ablaufvariablen und übergeben Sie sie an das LLM.

Verwenden Sie zum Einstieg die integrierte Proxyvorlage Proxy with Model Armor in der Apigee-Konsole. Mit dieser Vorlage werden automatisch optionale SanitizeUserPrompt- und SanitizeModelResponse-Konfigurationen hinzugefügt.

Apigee API-Proxy mit Model Armor-Richtlinien erstellen

  1. Dienstkonto zum Bereitstellen des API-Proxys erstellen
  2. Erstellen Sie einen Apigee API-Proxy.
  3. Bearbeiten Sie das XML für SanitizeUserPrompt und SanitizeModelResponse. Sie müssen die XML-Datei dieser Richtlinien bearbeiten, damit Model Armor funktioniert.
  4. Google-Authentifizierung zum API-Proxy hinzufügen
  5. API-Proxy bereitstellen
  6. Model Armor-Richtlinien testen

Hinweise

Beachten Sie bei der Integration von Model Armor in Apigee Folgendes:

  • Regionale Verfügbarkeit: Model Armor ist nicht in allen Regionen verfügbar. Apigee und Model Armor müssen in derselben Region konfiguriert sein. Weitere Informationen finden Sie unter Standorte für Model Armor.
  • Quota: Bei hohem Trafficvolumen ist möglicherweise eine Kontingenterhöhung für Model Armor erforderlich. Informationen zum Anfordern einer Anpassung finden Sie unter Kontingentanpassung anfordern. Wenn Sie mehr als das Standardkontingent benötigen, wenden Sie sich an den Cloud Customer Care. Informationen zu Kontingenten für Model Armor-Integrationen mit anderen Diensten finden Sie unter Kontingente verwalten.
  • Tokenlimits: Model Armor hat Tokenlimits für die Verarbeitung von Prompts und Antworten, die je nach Filter variieren. Inhalte, die diese Grenzwerte überschreiten, werden möglicherweise nicht vollständig gescannt.

Weitere Informationen zur Konfiguration und Verwendung finden Sie unter Erste Schritte mit Apigee Model Armor-Richtlinien.