Model Armor kann über Service Extensions in Google Kubernetes Engine (GKE) eingebunden werden. Mit Service Extensions können Sie benutzerdefinierte Logik zu Verarbeitungspfaden für Netzwerk-Traffic hinzufügen. Traffic-Erweiterungen sind eine spezielle Art von Diensterweiterungen, mit denen Sie externe Dienste zur Verarbeitung von Traffic einbinden können. Diese Erweiterungen können an verschiedene Google Cloud Dienste angehängt werden, einschließlich Load Balancern. Sie können eine Diensterweiterung für Application Load Balancer konfigurieren, einschließlich GKE-Inferenz-Gateways, um den Traffic zu und von einem GKE-Cluster zu filtern. So wird dafür gesorgt, dass alle Interaktionen mit den KI-Modellen durch Model Armor geschützt sind. Weitere Informationen finden Sie unter Traffic-Erweiterung zum Aufrufen eines Model Armor-Dienstes konfigurieren.
Funktionsweise
- Sie konfigurieren eine Diensterweiterung für einen Load Balancer, der Traffic an ein LLM weiterleitet, das in Ihrem GKE-Cluster gehostet wird. Mit dieser Konfiguration wird festgelegt, dass Model Armor zum Prüfen von Prompts und Antworten verwendet werden soll.
- Wenn Prompts und Antworten den Load Balancer erreichen, ruft die Diensterweiterung den Model Armor-Dienst auf.
- Model Armor wendet dann Sicherheitsrichtlinien auf die Prompts und Antworten an und identifiziert und blockiert alle schädlichen Inhalte.
- Nur Prompts und Antworten, die die Model Armor-Prüfungen bestehen, dürfen an den GKE-Cluster oder an Sie weitergeleitet werden.