In diesem Dokument wird eine Referenzarchitektur zum Erstellen eines Inferenzdienstes mit mehreren Modellen mithilfe der Google Kubernetes Engine (GKE) vorgestellt. In der Architektur werden von GKE gehostete Inferenzpools hinter einem GKE Inference Gateway platziert. Diese Architektur bietet folgende Vorteile:
- Eine einzige Schnittstelle für alle Ihre Inferenzanfragen.
- Intelligentes Routing für jede Anfrage an das Modell und den Inferenzserver, der sie am effizientesten verarbeiten kann.
- Zentrale Autorisierung, Sicherheit und andere Dienste.
Dieses Dokument richtet sich an Netzwerkarchitekten, die für die Vereinheitlichung der Bereitstellung von Inferenzservern verantwortlich sind, die in der GKE ausgeführt werden. Wenn nicht alle Ihre Inferenzserver in GKE gehostet werden, finden Sie weitere Informationen unter Netzwerk für die Bereitstellung von KI-Inferenzmodellen auf allen Back-Ends. Dieses Dokument bietet keine Anleitung zum Entwerfen einer Anwendung oder zum Bereitstellen eines einzelnen generativen KI-Modells. Eine Anleitung zum Bereitstellen eines Modells finden Sie unter Modelle für generative KI und maschinelles Lernen in einem Unternehmen erstellen und bereitstellen.
Diese Architektur funktioniert mit Anwendungsnetzwerkarchitekturen wie Cross-Cloud Network für verteilte Anwendungen und anderen Designs.
Architektur
Das folgende Diagramm zeigt eine Architektur, die ein Inferenz-Gateway vor GKE-gehosteten Inferenzservern enthält. Das Gateway bietet konsolidierte Dienste für alle gehosteten Modelle.
Die im Diagramm dargestellte Architektur umfasst folgende Komponenten:
- Private Service Connect-Inferenzendpunkt: Ein einheitlicher Endpunkt für alle gehosteten Modelle. Der Endnutzer sendet Inferenzanfragen an die IP-Adresse des Endpunkts. Das Diagramm zeigt einen Private Service Connect-Endpunkt in einem einzelnen Nutzer-VPC-Netzwerk (Virtual Private Cloud). Sie können Endpunkte in mehreren VPC-Netzwerken oder in einem VPC-Netzwerk für freigegebene Dienste hosten.
- Inference Gateway: Das Inference Gateway erweitert das GKE Gateway, um die Bereitstellung generativer KI-Anwendungen und -Arbeitslasten durch GKE zu optimieren. Der Traffic wird anhand des Modellnamens an Inferenzpools von Modellreplikaten weitergeleitet. Innerhalb jedes Pools bewertet der llm-d Endpoint Picker (EPP) Replikate anhand von Echtzeit-Modellserversignalen. Zu diesen Signalen gehören der Übereinstimmungsstatus des Präfix-Cache, die Nutzung des Schlüssel/Wert-Cache (KV-Cache), die Länge der Warteschlange für ausstehende Anfragen und die Affinität des aktiven LoRA-Adapters. Anhand der kombinierten Punktzahl wählt der EPP das optimale Replikat für jede Anfrage aus. In dieser Architektur führt die kundenorientierte Anwendung OpenAI API-Aufrufe aus, um über das Gateway auf die Modelle zuzugreifen. Das Gateway wird basierend auf einem regionalen internen Application Load Balancer (
gke-l7-rilb) bereitgestellt und ist daher nicht direkt über das Internet zugänglich.- API-Verwaltung: Ein API-Manager bietet API-Authentifizierung, Sicherheit, Ratenbegrenzung, Kontingent-Tracking und andere API-Verwaltungsdienste. In dieser Architektur wird Apigee verwendet, aber die Architektur unterstützt auch andere Optionen. Um Apigee über den Load Balancer aufzurufen, verwenden die Architektur und die Terraform-Bereitstellung eine Service Extensions-Traffic-Erweiterung, um den Apigee Extension Processor aufzurufen.
- Model Armor: Ein KI-Guardrails-System, das Sicherheitsprüfungen für Inferenz-Prompts durchführt, bevor sie den Inferenzserver erreichen. Anschließend werden Sicherheitsprüfungen für die ausgehenden Antworten durchgeführt. Diese Architektur verwendet Model Armor für KI-Leitplanken, unterstützt aber auch andere Optionen wie NVIDIA NeMo Guardrails. Die Terraform-Bereitstellung, die mit dieser Referenzarchitektur bereitgestellt wird, enthält eine grundlegende Model Armor-Konfiguration.
- Inferenzpools: Ein Inferenzpool enthält Replikate desselben Modells.
Wenn das Gateway einen Prompt empfängt, verwendet es eine
HTTPRoute-Suche, um einen Inferenzpool anhand der Modell-ID auszuwählen. Pools haben eine anfängliche Größe, können aber für Autoscaling konfiguriert werden. - Modellreplikatgruppen: Ein Modellreplikat ist eine Kopie eines Inferenzservers, der auf einer oder mehreren GPUs oder TPUs bereitgestellt wird. Ein Modell-Replikat kann ein einzelner Knoten oder mehrere Knoten sein. Ein Replikat-Set ist eine einheitliche Gruppe von Modellreplikaten, die von einem Load Balancer verwaltet wird. Wenn der Replikatsatz mehrere Knoten hat, werden die GPUs über ein Backend-RDMA-VPC-Netzwerk miteinander verbunden. Das Netzwerk bietet eine Rail-ausgerichtete GPU-zu-GPU-Netzwerkverbindung mit hoher Bandbreite und niedriger Latenz.
Anfrageablauf
Das System leitet Inferenzanfragen so weiter:
- Ein Endnutzer sendet eine OpenAI API-Anfrage an den Private Service Connect-Endpunkt. Diese Anfrage enthält Folgendes:
- Der Prompt.
- Der Modellname, der mit dem Modellnamen eines der gehosteten Inferenzserver übereinstimmen muss.
- Der Private Service Connect-Endpunkt leitet die Anfrage an die regionale interne Application Load Balancer-Version des Inference Gateway weiter.
- Das Gateway extrahiert den Modellnamen aus dem Anfragetext und fügt ihn mithilfe von textbasiertem Routing in den Anfrageheader ein.
- Das Gateway leitet die Anfrage an das API-Verwaltungssystem für die erforderlichen API-Verwaltungsdienste weiter.
- Das Gateway sendet den Prompt zur Prüfung an Model Armor.
- Wenn der Prompt vertrauliche Informationen enthält, die nicht entfernt werden können, wird der Prompt blockiert und Model Armor gibt eine Antwort zurück, die auf einen Richtlinienverstoß hinweist.
- Wenn der Prompt vertrauliche Informationen enthält, die entfernt werden können, oder wenn der Prompt überhaupt keine Probleme aufweist, entfernt Model Armor alle vertraulichen Informationen und leitet den Prompt weiter.
- Das Gateway sucht in der
HTTPRoute-Ressource nach denInferencePool-Backends, die dem Modell der Anfrage entsprechen. Wenn mehrere Pools übereinstimmen, wählt das Gateway einen Pool anhand der konfigurierten Trafficgewichtungen aus. - Das Gateway ruft den EPP auf, der den Status des Präfix-Cache und die aktuelle Last auf den Replikaten im Pool auswertet, um ein Replikat auszuwählen.
- Das Replikat verarbeitet die Anfrage und sendet sie an das Gateway zurück.
- Das Gateway sendet die Antwort zur Genehmigung oder Ablehnung an Model Armor.
- Das Gateway sendet die Antwort an den Private Service Connect-Endpunkt und dann an den Endnutzer zurück.
Das folgende Diagramm zeigt eine Routingansicht einer Beispielbereitstellung.
In diesem Beispiel werden Prompts je nach dem vom Nutzer ausgewählten Modell verarbeitet:
- Llama: Das System teilt diese Prompts im Verhältnis 90/10 zwischen zwei
InferencePool-Replikatsets in der GKE auf, die beide das Llama-Modell bereitstellen. Diese Pools können verschiedene GKE-Knoten- oder Beschleunigerkonfigurationen verwenden oder einen Canary-Rollout einer neuen Modellversion (llama-new) ausführen. - LoRA-1-gemma oder LoRA-2-gemma: Das System sendet alle Prompts an dasselbe Replikatset, das beide Modelle verarbeiten kann.
In allen Fällen kombiniert der EPP die Präfix-Cache-Affinität, Lastsignale und den LoRA-Adapterstatus, um ein Replikat im ausgewählten Pool auszuwählen.
Verwendete Produkte
In dieser Referenzarchitektur werden die folgenden Google Cloud-Produkte verwendet:
- Google Kubernetes Engine (GKE): Ein Kubernetes-Dienst, mit dem Sie Containeranwendungen in großem Maßstab mithilfe der Infrastruktur von Google bereitstellen und betreiben können.
- GKE Inference Gateway: Eine Erweiterung des Google Kubernetes Engine Gateway, die optimiertes Routing und Load Balancing für die Bereitstellung generativer KI-Arbeitslasten bietet. Es vereinfacht die Bereitstellung, Verwaltung und Beobachtbarkeit von KI-Inferenzarbeitslasten.
- Virtual Private Cloud (VPC): Ein virtuelles System, das globale, skalierbare Netzwerkfunktionen für Ihre Google Cloud -Arbeitslasten bietet. VPC umfasst VPC-Netzwerk-Peering, Private Service Connect, Zugriff auf private Dienste und freigegebene VPC.
- Private Service Connect: Eine Funktion, mit der Nutzer privat aus ihrem VPC-Netzwerk auf verwaltete Dienste zugreifen können.
- Cloud Run ist eine serverlose Computing-Plattform, mit der Sie Container direkt auf der skalierbaren Infrastruktur von Google ausführen können.
- Apigee: Ein API-Verwaltungstool, mit dem Sie den Zugriff auf Ihre APIs und deren Nutzung genau steuern können. Sie bietet Sicherheit, Ratenbegrenzung, Kontingenterzwingung und Analysen.
- Model Armor: Ein Dienst, der Ihre Ressourcen für generative und agentische KI vor Prompt Injection, Datenlecks und schädlichen Inhalten schützt.
Designalternativen
In diesem Abschnitt werden Alternativen zu einigen der grundlegenden Annahmen dieser Architektur beschrieben.
KI-Leitplanken
Model Armor für KI-Leitplanken verwenden Wenn Sie die Verwaltung zentralisieren möchten, rufen Sie Model Armor direkt über den Load Balancer auf, wie in dieser Architektur gezeigt. Sie können Model Armor auch auf folgende alternative Arten implementieren:
- Verwenden Sie eine API-Verwaltungsrichtlinie, um Model Armor aufzurufen.
- Model Armor nur auf dem Replikat bereitstellen.
Wenn Sie KI-Leitplanken auf einer anderen Ebene implementieren, können Sie Model Armor auf dem Frontend-Load-Balancer deaktivieren. Wenn Sie Model Armor nicht verwenden möchten, können Sie Traffic-Erweiterungen verwenden, um andere Guardrail-Angebote wie NVIDIA NeMo Guardrails einzubinden.
API-Verwaltung
Die Architektur in diesem Dokument verwendet Apigee für die API-Verwaltung, die mithilfe einer Traffic-Erweiterung für Service Extensions bereitgestellt wird. Wenn Apigee Ihre Anforderungen nicht erfüllt, können Sie mit Service Extensions einen anderen API-Verwaltungsdienst bereitstellen.
Wenn die Bereitstellung der API-Verwaltung mit Service Extensions Ihren Anforderungen nicht entspricht, müssen Sie möglicherweise ein clientseitiges Netzwerk und ein API-seitiges Netzwerk bereitstellen. In diesem Szenario fungiert der API-Verwaltungsdienst als Brücke zwischen den beiden Netzwerken. Informationen zum Bereitstellen dieser Option für Apigee finden Sie unter Apigee-Netzwerkoptionen.
Verbindung zu anderen Netzwerken herstellen
In der Architektur in diesem Dokument wird ein einzelnes Nutzer-VPC-Netzwerk verwendet. Sie können den Private Service Connect-Endpunkt jedoch mit vielen anderen Netzwerken teilen, indem Sie ein VPC-Netzwerk für den Dienstzugriff in einer Cross-Cloud Network-Bereitstellung verwenden.
Designaspekte
In diesem Abschnitt werden Designfaktoren, Best Practices und Empfehlungen im Einklang mit dem Google Cloud Well-Architected Framework beschrieben. Berücksichtigen Sie diese Informationen, wenn Sie diese Referenzarchitektur verwenden, um eine Topologie zu entwickeln, die Ihren spezifischen Anforderungen an Sicherheit, Zuverlässigkeit, Kostenoptimierung, betriebliche Effizienz und Leistung entspricht.
Sicherheit, Datenschutz und Compliance
Die Baseline-Architektur isoliert Inferenz-Traffic in privaten Netzwerken und prüft Prompts mit Model Armor. Wenn Sie Ihre GKE-Inferenztopologie weiter härten und Datenschutz- und Compliance-Anforderungen erfüllen möchten, sollten Sie die folgenden Empfehlungen beachten:
- Schutz auf Edge- und Anwendungsebene: Wenn Sie DDoS-Schutz (Distributed Denial of Service), WAF-Regeln (Web Application Firewall) und IP-Adressprüfung hinzufügen möchten, hängen Sie eine Cloud Armor-Sicherheitsrichtlinie an Ihren regionalen internen Application Load Balancer im Frontend an.
- End-to-End-TLS-Verschlüsselung:
- Wenn Sie den Traffic vom Client zum Gateway verschlüsseln möchten, beenden Sie HTTPS auf dem Inference Gateway-Listener mit dem Zertifikatmanager.
- Wenn Sie den Traffic vom Gateway zu Ihren Modellserver-Pods verschlüsseln und authentifizieren möchten, hängen Sie an jedes
InferencePool-Backend eineBackendTLSPolicy-Ressource an.
- Zero-Trust-Zugriff und Perimeterkontrollen:
- Wenn Sie Anfragen authentifizieren und autorisieren möchten, bevor sie Ihre Inferenz-Backends erreichen, aktivieren Sie Identity-Aware Proxy (IAP) auf dem Gateway.
- Um die Exfiltration von Daten und Modellen über Projekte hinweg zu verhindern, platzieren Sie Ihr Ersteller-VPC-Netzwerk in einem VPC Service Controls-Dienstperimeter. Wenn Sie innerhalb eines Perimeters auf regionale Model Armor-Endpunkte zugreifen, erstellen Sie einen regionalen Private Service Connect-Endpunkt für die Model Armor APIs.
- Maßgeschneiderte Prompt- und Antwortvorlagen:
- Wenn Sie Sicherheitsschwellenwerte für verschiedene Risikoprofile anpassen möchten, konfigurieren Sie separate Model Armor-Vorlagen für Nutzer-Prompts und Modellantworten.
- Wenn Sie regionsspezifische personenidentifizierbare Informationen erkennen und de-identifizieren möchten, binden Sie Sensitive Data Protection-Vorlagen in Model Armor ein.
Zuverlässigkeit
In der Baseline-Architektur wird ein regionales Inference Gateway vor Autoscaling-InferencePool-Backends bereitgestellt. Beachten Sie die folgenden Empfehlungen, um die Verfügbarkeit bei Traffic-Spitzen, Modell-Roll-outs und Cluster- oder regionalen Ausfällen zu verbessern:
- Multiregionales und Multi-Cluster-Failover:
- Um sich vor regionalen Ausfällen zu schützen, replizieren Sie Ihre Bereitstellung mithilfe des Google Cloud Archetyps für multiregionale Bereitstellungen in eine zweite Region.
- Wenn Sie die Beschleunigerkapazität bündeln und ein Failover über mehrere GKE-Cluster im selben VPC-Netzwerk durchführen möchten, sollten Sie das Inference Gateway für mehrere Cluster in Betracht ziehen. Da Multi-Cluster-Gateways keine Model Armor- oder Apigee Gateway-Erweiterungen unterstützen, müssen Sie diese Kontrollen bei der Verwendung von Multi-Cluster-Routing auf einer vorgelagerten Ebene erzwingen.
- Anfragepriorisierung und Lastabwurf: Um latenzempfindlichen Traffic bei Kapazitätsspitzen zu schützen, definieren Sie numerische
Priority-Stufen in IhrenInferenceObjective-Ressourcen. Wenn einInferencePool-Backend überlastet ist, verwirft das Inference Gateway zuerst Batchanfragen mit negativer Priorität. - Graduelle Einführung und Rollbacks: Um Knotenhardware, Beschleunigertreiber oder Basismodelle mit minimalen Unterbrechungen zu aktualisieren, stellen Sie ein paralleles
InferencePool-Backend bereit und verschieben Sie den Traffic schrittweise mitHTTPRoute-Gewichtungen. Lassen Sie das ursprünglicheInferencePool-Backend während der Validierung aktiv, damit Sie schnell ein Rollback durchführen können, wenn die Fehler zunehmen.
Kostenoptimierung
Accelerator-Computing macht in der Regel den größten Teil der Kosten für KI-Inferenz in der GKE aus. Beachten Sie die folgenden Empfehlungen, um die Beschleunigerauslastung zu maximieren und die Kapazitätskosten für Baseline- und Burst-Traffic auszugleichen:
- Clusterkostenverwaltung: Allgemeine Hinweise zur Kosteneinsparung in der GKE finden Sie unter Best Practices zum Ausführen kostenoptimierter Kubernetes-Anwendungen in der GKE.
- Dynamisches LoRA-Multiplexing und Autoscaling für Inferenzen:
- Wenn Sie die Anzahl der Beschleuniger reduzieren möchten, die für abgestimmte Modelle erforderlich sind, können Sie mehrere dynamische LoRA-Adapter auf einem freigegebenen Basismodell und einer
InferencePool-Ressource bereitstellen. - Wenn Sie Replikate basierend auf dem tatsächlichen Inferenzbedarf skalieren möchten, konfigurieren Sie Richtlinien für das horizontale Pod-Autoscaling (HPA), die die KV-Cache-Auslastung für GPUs und TPUs verfolgen.
- Wenn Sie die Anzahl der Beschleuniger reduzieren möchten, die für abgestimmte Modelle erforderlich sind, können Sie mehrere dynamische LoRA-Adapter auf einem freigegebenen Basismodell und einer
- Gestaffelte Beschleunigerbereitstellung: Um die Verfügbarkeit und die Kosten von Beschleunigern auszugleichen, definieren Sie benutzerdefinierte GKE-Computing-Klassen mit priorisierten Fallback-Profilen. Wenn Sie vorhersehbare Kapazität benötigen oder Burst-Inferenzarbeitslasten haben, verwenden Sie Kapazitätsreservierungen für die grundlegende Bereitstellung, Dynamic Workload Scheduler für zeitlich flexible Skalierung und Spot-VMs für unterbrechbare Burst-Pools.
Betriebliche Effizienz
Für den Betrieb einer Multi-Modell-Inferenzplattform ist Einblick in das Gateway-Routing, die KV-Cache-Sättigung und die Beschleuniger-Netzwerke erforderlich. Beachten Sie die folgenden Empfehlungen, um das Monitoring, die Fehlerbehebung und die Clusterbereitstellung in GKE zu optimieren:
- Einheitliche Beobachtbarkeit und Benachrichtigungen für Inferenzen: Überwachen Sie den Anfragedurchsatz, die Latenz, die Fehlerraten, die Warteschlangentiefe und die KV-Cache-Sättigung mit dem llm-d-Übersichts-Dashboard in Google Cloud Managed Service for Prometheus.
- Wenn Sie detaillierte Anfrage- und Antwortmetadaten zur Fehlerbehebung erfassen möchten, aktivieren Sie das
GCPBackendPolicy-HTTP-Zugriffs-Logging in Cloud Logging. - Konfigurieren Sie Cloud Monitoring-Benachrichtigungsrichtlinien, um Latenzspitzen oder eine Erschöpfung des KV-Caches frühzeitig zu erkennen.
- Wenn Sie detaillierte Anfrage- und Antwortmetadaten zur Fehlerbehebung erfassen möchten, aktivieren Sie das
- Automatisierte Beschleuniger-Netzwerke und Benchmarking:
- Wenn Sie die Einrichtung von Multi-NIC- und RDMA-VPCs in Beschleuniger-Knotenpools vereinfachen möchten, verwenden Sie die automatisierte Netzwerkfunktion für Beschleuniger-VMs.
- Wenn Sie RDMA-Netzwerkschnittstellen dynamisch zu Inferenz-Pods mit mehreren Knoten zuweisen möchten, verwenden Sie von GKE verwaltetes DRANET.
- Wenn Sie Benchmark-Serving-Manifeste und HPA-Schwellenwerte für Ihr Modell und Ihren Beschleuniger generieren möchten, verwenden Sie die GKE-Inferenz-Kurzanleitung.
Leistungsoptimierung
Inferenzlatenz und ‑durchsatz hängen sowohl von der Abstimmung des Modellservers als auch davon ab, wie das Inference Gateway Anfragen auf Replikate verteilt. Beachten Sie die folgenden Empfehlungen, um die Zeit bis zum ersten Token (TTFT) zu verkürzen und den Bereitstellungsdurchsatz in GKE zu erhöhen:
- Inferenzbereitstellung optimieren: Folgen Sie den Empfehlungen in der Übersicht über Best Practices für die Inferenz in GKE. Wenn Sie den Durchsatz erhöhen und die Latenz auf GPUs reduzieren möchten, wenden Sie Quantisierung, Tensorparallelität und KV-Cache-Abstimmung an, wie unter Best Practices für die Optimierung der LLM-Inferenz mit GPUs beschrieben.
- Vorhergesagtes latenzbasiertes Routing und Multiport-Bereitstellung: Wenn ein homogenes
InferencePool-Backend Prompts mit sehr unterschiedlichen Längen verarbeitet oder Latenz-SLOs pro Anfrage erzwingt, sollten Sie das vorhergesagte latenzbasierte Routing aktivieren. Konfigurieren Sie für Modellserver, die mehrere Ports pro Pod erfordern, z. B. datenparallele Attention-Deployments, Multiport-InferencePool-Ressourcen innerhalb des Limits von 50 NEG-Backend-Diensten.
Bereitstellung
Wenn Sie eine Beispielimplementierung dieser Architektur bereitstellen möchten, verwenden Sie das Codebeispiel Networking for AI Inference Model Serving, das auf GitHub verfügbar ist.
Nächste Schritte
- Informationen zum Hinzufügen von Retrieval-Augmented Generation (RAG) zu Ihrer Bereitstellung finden Sie unter Private Konnektivität für RAG-fähige generative KI-Anwendungen.
- Weitere Referenzarchitekturen, Diagramme und Best Practices finden Sie im Cloud-Architekturcenter.
Beitragende
Autor: Victor Moreno | Produktmanager, Cloud Networking
Weitere Beitragende:
- Mark Schlagenhauf | Technical Writer, Netzwerk
- James Duncan | Solutions Product Manager
- Ammett Williams | Developer Relations Engineer