Netzwerkfunktionen für die Bereitstellung von KI-Inferenzmodellen in GKE

Last reviewed 2026-11-12 UTC

In diesem Dokument wird eine Referenzarchitektur zum Erstellen eines Inferenzdienstes mit mehreren Modellen mithilfe der Google Kubernetes Engine (GKE) vorgestellt. In der Architektur werden von GKE gehostete Inferenzpools hinter einem GKE Inference Gateway platziert. Diese Architektur bietet folgende Vorteile:

  • Eine einzige Schnittstelle für alle Ihre Inferenzanfragen.
  • Intelligentes Routing für jede Anfrage an das Modell und den Inferenzserver, der sie am effizientesten verarbeiten kann.
  • Zentrale Autorisierung, Sicherheit und andere Dienste.

Dieses Dokument richtet sich an Netzwerkarchitekten, die für die Vereinheitlichung der Bereitstellung von Inferenzservern verantwortlich sind, die in der GKE ausgeführt werden. Wenn nicht alle Ihre Inferenzserver in GKE gehostet werden, finden Sie weitere Informationen unter Netzwerk für die Bereitstellung von KI-Inferenzmodellen auf allen Back-Ends. Dieses Dokument bietet keine Anleitung zum Entwerfen einer Anwendung oder zum Bereitstellen eines einzelnen generativen KI-Modells. Eine Anleitung zum Bereitstellen eines Modells finden Sie unter Modelle für generative KI und maschinelles Lernen in einem Unternehmen erstellen und bereitstellen.

Diese Architektur funktioniert mit Anwendungsnetzwerkarchitekturen wie Cross-Cloud Network für verteilte Anwendungen und anderen Designs.

Architektur

Das folgende Diagramm zeigt eine Architektur, die ein Inferenz-Gateway vor GKE-gehosteten Inferenzservern enthält. Das Gateway bietet konsolidierte Dienste für alle gehosteten Modelle.

Allgemeine Übersicht über Netzwerke für KI-Inferenz.

Die im Diagramm dargestellte Architektur umfasst folgende Komponenten:

  • Private Service Connect-Inferenzendpunkt: Ein einheitlicher Endpunkt für alle gehosteten Modelle. Der Endnutzer sendet Inferenzanfragen an die IP-Adresse des Endpunkts. Das Diagramm zeigt einen Private Service Connect-Endpunkt in einem einzelnen Nutzer-VPC-Netzwerk (Virtual Private Cloud). Sie können Endpunkte in mehreren VPC-Netzwerken oder in einem VPC-Netzwerk für freigegebene Dienste hosten.
  • Inference Gateway: Das Inference Gateway erweitert das GKE Gateway, um die Bereitstellung generativer KI-Anwendungen und -Arbeitslasten durch GKE zu optimieren. Der Traffic wird anhand des Modellnamens an Inferenzpools von Modellreplikaten weitergeleitet. Innerhalb jedes Pools bewertet der llm-d Endpoint Picker (EPP) Replikate anhand von Echtzeit-Modellserversignalen. Zu diesen Signalen gehören der Übereinstimmungsstatus des Präfix-Cache, die Nutzung des Schlüssel/Wert-Cache (KV-Cache), die Länge der Warteschlange für ausstehende Anfragen und die Affinität des aktiven LoRA-Adapters. Anhand der kombinierten Punktzahl wählt der EPP das optimale Replikat für jede Anfrage aus. In dieser Architektur führt die kundenorientierte Anwendung OpenAI API-Aufrufe aus, um über das Gateway auf die Modelle zuzugreifen. Das Gateway wird basierend auf einem regionalen internen Application Load Balancer (gke-l7-rilb) bereitgestellt und ist daher nicht direkt über das Internet zugänglich.
    • API-Verwaltung: Ein API-Manager bietet API-Authentifizierung, Sicherheit, Ratenbegrenzung, Kontingent-Tracking und andere API-Verwaltungsdienste. In dieser Architektur wird Apigee verwendet, aber die Architektur unterstützt auch andere Optionen. Um Apigee über den Load Balancer aufzurufen, verwenden die Architektur und die Terraform-Bereitstellung eine Service Extensions-Traffic-Erweiterung, um den Apigee Extension Processor aufzurufen.
    • Model Armor: Ein KI-Guardrails-System, das Sicherheitsprüfungen für Inferenz-Prompts durchführt, bevor sie den Inferenzserver erreichen. Anschließend werden Sicherheitsprüfungen für die ausgehenden Antworten durchgeführt. Diese Architektur verwendet Model Armor für KI-Leitplanken, unterstützt aber auch andere Optionen wie NVIDIA NeMo Guardrails. Die Terraform-Bereitstellung, die mit dieser Referenzarchitektur bereitgestellt wird, enthält eine grundlegende Model Armor-Konfiguration.
  • Inferenzpools: Ein Inferenzpool enthält Replikate desselben Modells. Wenn das Gateway einen Prompt empfängt, verwendet es eine HTTPRoute-Suche, um einen Inferenzpool anhand der Modell-ID auszuwählen. Pools haben eine anfängliche Größe, können aber für Autoscaling konfiguriert werden.
  • Modellreplikatgruppen: Ein Modellreplikat ist eine Kopie eines Inferenzservers, der auf einer oder mehreren GPUs oder TPUs bereitgestellt wird. Ein Modell-Replikat kann ein einzelner Knoten oder mehrere Knoten sein. Ein Replikat-Set ist eine einheitliche Gruppe von Modellreplikaten, die von einem Load Balancer verwaltet wird. Wenn der Replikatsatz mehrere Knoten hat, werden die GPUs über ein Backend-RDMA-VPC-Netzwerk miteinander verbunden. Das Netzwerk bietet eine Rail-ausgerichtete GPU-zu-GPU-Netzwerkverbindung mit hoher Bandbreite und niedriger Latenz.

Anfrageablauf

Das System leitet Inferenzanfragen so weiter:

  1. Ein Endnutzer sendet eine OpenAI API-Anfrage an den Private Service Connect-Endpunkt. Diese Anfrage enthält Folgendes:
    • Der Prompt.
    • Der Modellname, der mit dem Modellnamen eines der gehosteten Inferenzserver übereinstimmen muss.
  2. Der Private Service Connect-Endpunkt leitet die Anfrage an die regionale interne Application Load Balancer-Version des Inference Gateway weiter.
  3. Das Gateway extrahiert den Modellnamen aus dem Anfragetext und fügt ihn mithilfe von textbasiertem Routing in den Anfrageheader ein.
  4. Das Gateway leitet die Anfrage an das API-Verwaltungssystem für die erforderlichen API-Verwaltungsdienste weiter.
  5. Das Gateway sendet den Prompt zur Prüfung an Model Armor.
    • Wenn der Prompt vertrauliche Informationen enthält, die nicht entfernt werden können, wird der Prompt blockiert und Model Armor gibt eine Antwort zurück, die auf einen Richtlinienverstoß hinweist.
    • Wenn der Prompt vertrauliche Informationen enthält, die entfernt werden können, oder wenn der Prompt überhaupt keine Probleme aufweist, entfernt Model Armor alle vertraulichen Informationen und leitet den Prompt weiter.
  6. Das Gateway sucht in der HTTPRoute-Ressource nach den InferencePool-Backends, die dem Modell der Anfrage entsprechen. Wenn mehrere Pools übereinstimmen, wählt das Gateway einen Pool anhand der konfigurierten Trafficgewichtungen aus.
  7. Das Gateway ruft den EPP auf, der den Status des Präfix-Cache und die aktuelle Last auf den Replikaten im Pool auswertet, um ein Replikat auszuwählen.
  8. Das Replikat verarbeitet die Anfrage und sendet sie an das Gateway zurück.
  9. Das Gateway sendet die Antwort zur Genehmigung oder Ablehnung an Model Armor.
  10. Das Gateway sendet die Antwort an den Private Service Connect-Endpunkt und dann an den Endnutzer zurück.

Das folgende Diagramm zeigt eine Routingansicht einer Beispielbereitstellung.

Ablauf von Prompts für Beispiel-Replikatsets.

In diesem Beispiel werden Prompts je nach dem vom Nutzer ausgewählten Modell verarbeitet:

  • Llama: Das System teilt diese Prompts im Verhältnis 90/10 zwischen zwei InferencePool-Replikatsets in der GKE auf, die beide das Llama-Modell bereitstellen. Diese Pools können verschiedene GKE-Knoten- oder Beschleunigerkonfigurationen verwenden oder einen Canary-Rollout einer neuen Modellversion (llama-new) ausführen.
  • LoRA-1-gemma oder LoRA-2-gemma: Das System sendet alle Prompts an dasselbe Replikatset, das beide Modelle verarbeiten kann.

In allen Fällen kombiniert der EPP die Präfix-Cache-Affinität, Lastsignale und den LoRA-Adapterstatus, um ein Replikat im ausgewählten Pool auszuwählen.

Verwendete Produkte

In dieser Referenzarchitektur werden die folgenden Google Cloud-Produkte verwendet:

  • Google Kubernetes Engine (GKE): Ein Kubernetes-Dienst, mit dem Sie Containeranwendungen in großem Maßstab mithilfe der Infrastruktur von Google bereitstellen und betreiben können.
  • GKE Inference Gateway: Eine Erweiterung des Google Kubernetes Engine Gateway, die optimiertes Routing und Load Balancing für die Bereitstellung generativer KI-Arbeitslasten bietet. Es vereinfacht die Bereitstellung, Verwaltung und Beobachtbarkeit von KI-Inferenzarbeitslasten.
  • Virtual Private Cloud (VPC): Ein virtuelles System, das globale, skalierbare Netzwerkfunktionen für Ihre Google Cloud -Arbeitslasten bietet. VPC umfasst VPC-Netzwerk-Peering, Private Service Connect, Zugriff auf private Dienste und freigegebene VPC.
  • Private Service Connect: Eine Funktion, mit der Nutzer privat aus ihrem VPC-Netzwerk auf verwaltete Dienste zugreifen können.
  • Cloud Run ist eine serverlose Computing-Plattform, mit der Sie Container direkt auf der skalierbaren Infrastruktur von Google ausführen können.
  • Apigee: Ein API-Verwaltungstool, mit dem Sie den Zugriff auf Ihre APIs und deren Nutzung genau steuern können. Sie bietet Sicherheit, Ratenbegrenzung, Kontingenterzwingung und Analysen.
  • Model Armor: Ein Dienst, der Ihre Ressourcen für generative und agentische KI vor Prompt Injection, Datenlecks und schädlichen Inhalten schützt.

Designalternativen

In diesem Abschnitt werden Alternativen zu einigen der grundlegenden Annahmen dieser Architektur beschrieben.

KI-Leitplanken

Model Armor für KI-Leitplanken verwenden Wenn Sie die Verwaltung zentralisieren möchten, rufen Sie Model Armor direkt über den Load Balancer auf, wie in dieser Architektur gezeigt. Sie können Model Armor auch auf folgende alternative Arten implementieren:

  • Verwenden Sie eine API-Verwaltungsrichtlinie, um Model Armor aufzurufen.
  • Model Armor nur auf dem Replikat bereitstellen.

Wenn Sie KI-Leitplanken auf einer anderen Ebene implementieren, können Sie Model Armor auf dem Frontend-Load-Balancer deaktivieren. Wenn Sie Model Armor nicht verwenden möchten, können Sie Traffic-Erweiterungen verwenden, um andere Guardrail-Angebote wie NVIDIA NeMo Guardrails einzubinden.

API-Verwaltung

Die Architektur in diesem Dokument verwendet Apigee für die API-Verwaltung, die mithilfe einer Traffic-Erweiterung für Service Extensions bereitgestellt wird. Wenn Apigee Ihre Anforderungen nicht erfüllt, können Sie mit Service Extensions einen anderen API-Verwaltungsdienst bereitstellen.

Wenn die Bereitstellung der API-Verwaltung mit Service Extensions Ihren Anforderungen nicht entspricht, müssen Sie möglicherweise ein clientseitiges Netzwerk und ein API-seitiges Netzwerk bereitstellen. In diesem Szenario fungiert der API-Verwaltungsdienst als Brücke zwischen den beiden Netzwerken. Informationen zum Bereitstellen dieser Option für Apigee finden Sie unter Apigee-Netzwerkoptionen.

Verbindung zu anderen Netzwerken herstellen

In der Architektur in diesem Dokument wird ein einzelnes Nutzer-VPC-Netzwerk verwendet. Sie können den Private Service Connect-Endpunkt jedoch mit vielen anderen Netzwerken teilen, indem Sie ein VPC-Netzwerk für den Dienstzugriff in einer Cross-Cloud Network-Bereitstellung verwenden.

Designaspekte

In diesem Abschnitt werden Designfaktoren, Best Practices und Empfehlungen im Einklang mit dem Google Cloud Well-Architected Framework beschrieben. Berücksichtigen Sie diese Informationen, wenn Sie diese Referenzarchitektur verwenden, um eine Topologie zu entwickeln, die Ihren spezifischen Anforderungen an Sicherheit, Zuverlässigkeit, Kostenoptimierung, betriebliche Effizienz und Leistung entspricht.

Sicherheit, Datenschutz und Compliance

Die Baseline-Architektur isoliert Inferenz-Traffic in privaten Netzwerken und prüft Prompts mit Model Armor. Wenn Sie Ihre GKE-Inferenztopologie weiter härten und Datenschutz- und Compliance-Anforderungen erfüllen möchten, sollten Sie die folgenden Empfehlungen beachten:

  • Schutz auf Edge- und Anwendungsebene: Wenn Sie DDoS-Schutz (Distributed Denial of Service), WAF-Regeln (Web Application Firewall) und IP-Adressprüfung hinzufügen möchten, hängen Sie eine Cloud Armor-Sicherheitsrichtlinie an Ihren regionalen internen Application Load Balancer im Frontend an.
  • End-to-End-TLS-Verschlüsselung:
    • Wenn Sie den Traffic vom Client zum Gateway verschlüsseln möchten, beenden Sie HTTPS auf dem Inference Gateway-Listener mit dem Zertifikatmanager.
    • Wenn Sie den Traffic vom Gateway zu Ihren Modellserver-Pods verschlüsseln und authentifizieren möchten, hängen Sie an jedes InferencePool-Backend eine BackendTLSPolicy-Ressource an.
  • Zero-Trust-Zugriff und Perimeterkontrollen:
  • Maßgeschneiderte Prompt- und Antwortvorlagen:
    • Wenn Sie Sicherheitsschwellenwerte für verschiedene Risikoprofile anpassen möchten, konfigurieren Sie separate Model Armor-Vorlagen für Nutzer-Prompts und Modellantworten.
    • Wenn Sie regionsspezifische personenidentifizierbare Informationen erkennen und de-identifizieren möchten, binden Sie Sensitive Data Protection-Vorlagen in Model Armor ein.

Zuverlässigkeit

In der Baseline-Architektur wird ein regionales Inference Gateway vor Autoscaling-InferencePool-Backends bereitgestellt. Beachten Sie die folgenden Empfehlungen, um die Verfügbarkeit bei Traffic-Spitzen, Modell-Roll-outs und Cluster- oder regionalen Ausfällen zu verbessern:

  • Multiregionales und Multi-Cluster-Failover:
    • Um sich vor regionalen Ausfällen zu schützen, replizieren Sie Ihre Bereitstellung mithilfe des Google Cloud Archetyps für multiregionale Bereitstellungen in eine zweite Region.
    • Wenn Sie die Beschleunigerkapazität bündeln und ein Failover über mehrere GKE-Cluster im selben VPC-Netzwerk durchführen möchten, sollten Sie das Inference Gateway für mehrere Cluster in Betracht ziehen. Da Multi-Cluster-Gateways keine Model Armor- oder Apigee Gateway-Erweiterungen unterstützen, müssen Sie diese Kontrollen bei der Verwendung von Multi-Cluster-Routing auf einer vorgelagerten Ebene erzwingen.
  • Anfragepriorisierung und Lastabwurf: Um latenzempfindlichen Traffic bei Kapazitätsspitzen zu schützen, definieren Sie numerische Priority-Stufen in Ihren InferenceObjective-Ressourcen. Wenn ein InferencePool-Backend überlastet ist, verwirft das Inference Gateway zuerst Batchanfragen mit negativer Priorität.
  • Graduelle Einführung und Rollbacks: Um Knotenhardware, Beschleunigertreiber oder Basismodelle mit minimalen Unterbrechungen zu aktualisieren, stellen Sie ein paralleles InferencePool-Backend bereit und verschieben Sie den Traffic schrittweise mit HTTPRoute-Gewichtungen. Lassen Sie das ursprüngliche InferencePool-Backend während der Validierung aktiv, damit Sie schnell ein Rollback durchführen können, wenn die Fehler zunehmen.

Kostenoptimierung

Accelerator-Computing macht in der Regel den größten Teil der Kosten für KI-Inferenz in der GKE aus. Beachten Sie die folgenden Empfehlungen, um die Beschleunigerauslastung zu maximieren und die Kapazitätskosten für Baseline- und Burst-Traffic auszugleichen:

  • Clusterkostenverwaltung: Allgemeine Hinweise zur Kosteneinsparung in der GKE finden Sie unter Best Practices zum Ausführen kostenoptimierter Kubernetes-Anwendungen in der GKE.
  • Dynamisches LoRA-Multiplexing und Autoscaling für Inferenzen:
    • Wenn Sie die Anzahl der Beschleuniger reduzieren möchten, die für abgestimmte Modelle erforderlich sind, können Sie mehrere dynamische LoRA-Adapter auf einem freigegebenen Basismodell und einer InferencePool-Ressource bereitstellen.
    • Wenn Sie Replikate basierend auf dem tatsächlichen Inferenzbedarf skalieren möchten, konfigurieren Sie Richtlinien für das horizontale Pod-Autoscaling (HPA), die die KV-Cache-Auslastung für GPUs und TPUs verfolgen.
  • Gestaffelte Beschleunigerbereitstellung: Um die Verfügbarkeit und die Kosten von Beschleunigern auszugleichen, definieren Sie benutzerdefinierte GKE-Computing-Klassen mit priorisierten Fallback-Profilen. Wenn Sie vorhersehbare Kapazität benötigen oder Burst-Inferenzarbeitslasten haben, verwenden Sie Kapazitätsreservierungen für die grundlegende Bereitstellung, Dynamic Workload Scheduler für zeitlich flexible Skalierung und Spot-VMs für unterbrechbare Burst-Pools.

Betriebliche Effizienz

Für den Betrieb einer Multi-Modell-Inferenzplattform ist Einblick in das Gateway-Routing, die KV-Cache-Sättigung und die Beschleuniger-Netzwerke erforderlich. Beachten Sie die folgenden Empfehlungen, um das Monitoring, die Fehlerbehebung und die Clusterbereitstellung in GKE zu optimieren:

  • Einheitliche Beobachtbarkeit und Benachrichtigungen für Inferenzen: Überwachen Sie den Anfragedurchsatz, die Latenz, die Fehlerraten, die Warteschlangentiefe und die KV-Cache-Sättigung mit dem llm-d-Übersichts-Dashboard in Google Cloud Managed Service for Prometheus.
  • Automatisierte Beschleuniger-Netzwerke und Benchmarking:

Leistungsoptimierung

Inferenzlatenz und ‑durchsatz hängen sowohl von der Abstimmung des Modellservers als auch davon ab, wie das Inference Gateway Anfragen auf Replikate verteilt. Beachten Sie die folgenden Empfehlungen, um die Zeit bis zum ersten Token (TTFT) zu verkürzen und den Bereitstellungsdurchsatz in GKE zu erhöhen:

Bereitstellung

Wenn Sie eine Beispielimplementierung dieser Architektur bereitstellen möchten, verwenden Sie das Codebeispiel Networking for AI Inference Model Serving, das auf GitHub verfügbar ist.

Nächste Schritte

Beitragende

Autor: Victor Moreno | Produktmanager, Cloud Networking

Weitere Beitragende: