Agent Gateway for GKE – Übersicht

Wenn Sie autonome KI-Agenten in der Google Kubernetes Engine (GKE) bereitstellen, stellen diese Arbeitslasten Verbindungen zu externen Ressourcen wie MCP-Servern (Model Context Protocol), SaaS-APIs und anderen Agenten her.

Da KI-Agenten ihre Ausführungspfade dynamisch anhand von Nutzer-Prompts bestimmen, ändern sich ihre Netzwerkabhängigkeiten in Echtzeit. Agent Gateway bietet ein zentrales Governance-Modell, um diesen dynamischen Agenten-Traffic zu sichern, zu verwalten und zu überwachen.

Dieses Dokument richtet sich an Plattform-Engineers, die die GKE-Infrastruktur verwalten und schützen, sowie an Entwickler, die KI-Agenten in der GKE erstellen und bereitstellen.

Vorteile des Agent Gateway

Agent Gateway for GKE bietet eine konsistente Nutzererfahrung für die Verwaltung selbstverwalteter, von GKE gehosteter Agents mit zentraler Durchsetzung von Governance- und Zugriffsrichtlinien für alle Agent-Interaktionen in Ihrer gesamten Flotte.

  • Semantischen Kontext anwenden: Zero-Trust-Prinzipien erzwingen. Das Gateway geht über Firewallregeln hinaus und berücksichtigt den semantischen Kontext, die Absicht und den Inhalt der Nutzlast (Prompts/Antworten) jeder Interaktion.
  • Zusammengesetzte Autorisierung: Lösen Sie das „Identitätsgebot“. Sicherheitsmodelle können zusammengesetzte Autorisierungen verarbeiten und Richtlinien erzwingen, die sowohl die Identität des Agenten (ist der Code vertrauenswürdig?) als auch die Identität des Nutzers (hat die Person die Berechtigung?) validieren, wenn Agenten im Namen eines Nutzers handeln.
  • KI-Leitplanken: Zum Schutz von Arbeitslasten vor Prompt Injections, Jailbreaks und Daten-Exfiltration ist das Gateway inGoogle Cloud Model Armor eingebunden. Mit Erweiterungsbindungen können Sie Vorlagen zur Bereinigung von Anfragen und Antworten an Gateways anhängen, um Nutzlasten zu prüfen, bevor sie Agents oder externe Ziele erreichen.
  • Automatisierte Verschlüsselung: Das Gateway verwendet den sidecar-losen GKE-Ambient-Proxy und andere Netzwerkdienste, um mTLS-Handshakes, TLS-Terminierung und Prüfungen zwischen Gateways und Agent-Arbeitslasten zu automatisieren. Es sind keine Codeänderungen oder benutzerdefinierte Zertifikatsverwaltung erforderlich.
  • Schlüsselfertige Beobachtbarkeit: Gesteuerte Agenten stellen automatisch umfangreiche Telemetriedaten bereit, einschließlich Sitzungs-Tracing mit interaktiven Wasserfall-Traces, die Ausführungspfade, Stack-Traces, Attribute sowie schrittweise Ein- und Ausgaben anzeigen.

Wichtige Konzepte

Die folgenden Konzepte und Produkte sind für die Arbeit mit Agent Gateway in der GKE von grundlegender Bedeutung:

  • GKE-Ambient-Proxy: Eine Sidecar-lose Service-Mesh-Datenebene, die das GKE-Netzwerk vereinfacht. Sie verwenden es, um gegenseitiges TLS (mTLS) zu automatisieren und ausgehenden Agent-Traffic abzufangen.
  • Secure Web Proxy (SWP): Ein transparenter Forward-Proxy, mit dem Sicherheitsrichtlinien erzwungen und TLS-Prüfungen für den ausgehenden Traffic Ihrer Agents durchgeführt werden.
  • GKE Gateway: Die GKE-Implementierung der Kubernetes Gateway API, die zum Bereitstellen von Application Load Balancern für eingehenden Client-zu-Agent-Traffic verwendet wird.
  • Model Armor: Ein KI-Sicherheitsdienst, der eingehende Prompts und ausgehende Antworten bereinigt, um vor Prompt Injection und Daten-Exfiltration zu schützen.
  • Identity-Aware Proxy (IAP): Ein Dienst, der eine zentrale Autorisierungsebene einrichtet, die hier verwendet wird, um Zugriffsrichtlinien für Traffic zu erzwingen, der über den Secure Web Proxy ausgeht.
  • Agent Identity: Die sichere, arbeitslastgebundene SPIFFE-ID, die Ihren KI-Agenten zugewiesen wird und für die Authentifizierung und Zugriffssteuerung verwendet wird.
  • Agent Registry: Das zentrale Verzeichnis für alle genehmigten Agenten, MCP-Server (Model Context Protocol) und Tools in Ihrer Organisation.
  • Erweiterungsbindung: Der Mechanismus, mit dem anpassbare Autorisierungs- und Inhaltssicherheitserweiterungen (wie Model Armor) an Ihr Agent Gateway angehängt werden, um Nutzlasten zu bewerten.

Funktionsweise

Sie kombinieren Agent Gateway mit Netzwerkdiensten von Google Cloud , um bestimmte Interaktionsabläufe von KI-Agenten für eingehenden und ausgehenden Traffic zu sichern.

  • Ausgehender Traffic (Agent-to-Anywhere): Leiten Sie die ausgehenden Anfragen Ihrer Agenten sicher an externe Dienste, Tools und andere Agenten weiter. Sie konfigurieren den GKE-Ambient-Proxy so, dass Traffic abgefangen und über einenGoogle Cloud Secure Web Proxy (SWP) weitergeleitet wird. SWP erzwingt Ihre Sicherheitsrichtlinien, führt eine TLS-Prüfung durch und ermöglicht es Ihnen, Zugriffsentscheidungen anGoogle Cloud Identity-Aware Proxy (IAP) oder benutzerdefinierte Erweiterungen zu delegieren.
  • Eingehender Traffic (Client-zu-Agent oder MCP-Server): Verwalten Sie, wie externe Clients und von Google gehostete Dienste mit Ihren selbstverwalteten Agenten in einem GKE-Cluster interagieren. Sie stellen Standard-Application Load Balancer (GKE-Gateway) von Google Cloudbereit und verwenden benutzerdefinierte Kubernetes-Ressourcen, um umfassende Leitlinien anzuwenden. Sie verwenden GCPAuthzPolicy, um RBAC-Steuerelemente für Identität, Metadaten und MCP-Tools zu erzwingen, und GCPExtensionBinding für die Nutzlastbewertung und delegierte Guardrails (z. B. Model Armor).

Unterstützte Versionen und Regionen

Ihr Cluster muss die GKE-Version 1.37.2-gke.1042000 oder höher ausführen, die in der schnellen Release-Version verfügbar ist.

Außerdem können Sie Agent Gateway für GKE nur in den folgenden Regionen verwenden:

  • europe-west1
  • us-central1

Wann sollte das Agent Gateway verwendet werden?

Verwenden Sie das Agent Gateway, wenn Sie selbstverwaltete KI-Agenten in GKE-Clustern bereitstellen und eine der folgenden Aufgaben ausführen müssen:

  • Sichern und verwalten Sie, wie Ihre KI-Agenten mit Nutzern, anderen KI-Agenten sowie externen Tools und Diensten interagieren.
  • Sie können einen strengen Sicherheitsstatus beibehalten, ohne Ihre Entwickler auszubremsen.
  • Leistung, Verhalten und Zustand Ihrer Agenten überwachen.
  • Automatisieren Sie komplexe Netzwerkaufgaben, einschließlich gegenseitigem TLS (mTLS) und TLS-Prüfung.
  • KI-spezifische Sicherheitsmaßnahmen wie die Bereinigung von Prompts anwenden.

Voraussetzungen und Anforderungen

Bevor Sie die Governance für eingehenden oder ausgehenden Traffic konfigurieren, müssen Sie die folgenden Voraussetzungen erfüllen:

  1. Aktivieren Sie die erforderlichen APIs:

    gcloud services enable \
        agentregistry.googleapis.com \
        certificatemanager.googleapis.com \
        gkehub.googleapis.com \
        iap.googleapis.com \
        modelarmor.googleapis.com \
        networksecurity.googleapis.com \
        networkservices.googleapis.com \
        privateca.googleapis.com \
        serviceextensions.googleapis.com
    
  2. Erstellen Sie einen neuen GKE-Cluster, der für Ambient Networking konfiguriert ist. Ihr Cluster muss die GKE-Version 1.37.2-gke.1042000 oder höher ausführen, die in der Release-Version „Schnell“ verfügbar ist.

    Führen Sie den folgenden Befehl aus, um einen Standardcluster mit allen erforderlichen Features zu erstellen:

    gcloud beta container clusters create CLUSTER_NAME \
        --machine-type=e2-standard-4 \
        --enable-ambient-networking \
        --enable-dataplane-v2 \
        --enable-fleet \
        --gateway-api=standard \
        --location=LOCATION \
        --release-channel=rapid \
        --workload-pool=PROJECT_ID.svc.id.goog
    

    Ersetzen Sie Folgendes:

    • CLUSTER_NAME: Der Name Ihres Clusters.
    • LOCATION: die Region oder Zone Ihres Clusters.
    • PROJECT_ID: Projekt-ID in Google Cloud .
  3. Konfigurieren Sie kubectl für die Kommunikation mit Ihrem Cluster:

    gcloud container clusters get-credentials CLUSTER_NAME \
        --location=LOCATION
    

    Ersetzen Sie Folgendes:

    • CLUSTER_NAME: Der Name Ihres Clusters.
    • LOCATION: die Region oder Zone Ihres Clusters.

Nächste Schritte