GKE-Cluster und Arbeitslast für die KI-Inferenz mit Vortraining

Mit den vortrainierten KI-Inferenzvorlagen im Application Design Center können Sie die Google Kubernetes Engine-Infrastruktur (GKE) bereitstellen und Arbeitslasten für die Modellbereitstellung bereitstellen. Mit der Vorlage AI Pre-trained Inference GKE cluster können Sie einen sicheren, privaten GKE-Cluster für leistungsstarke Inferenz einrichten. Anschließend können Sie die Vorlage AI Pre-trained Inference GKE workload (Vorschau) verwenden, um ein vortrainiertes Gemma-Modell mit einem Helm-Diagramm und der vLLM-Bereitstellungs-Engine bereitzustellen. Die Arbeitslast konfiguriert GPU-Ressourcenanfragen und einen Horizontal Pod Autoscaler (HPA), der basierend auf der CPU-Auslastung skaliert.

Sie können die Cluster- und Arbeitslastvorlagen beispielsweise bereitstellen, um die folgenden geschäftlichen Anforderungen zu erfüllen:

Beispiel Geschäftliche Anforderung Implementierung
Echtzeit-Videoanalyse Ein Sicherheitsunternehmen muss Videostreams von Hunderten von Kameras verarbeiten, um Anomalien oder bestimmte Objekte in Echtzeit zu erkennen. Videoverarbeitungsmodelle im GPU-fähigen Knotenpool bereitstellen GPUs können die Anforderungen an hohen Durchsatz und niedrige Latenz von gleichzeitigen Videostreams erfüllen.
Spezialisierte Dokumentverarbeitung Eine Versicherungsgesellschaft muss täglich Informationen aus Tausenden von Antragsformularen mit unterschiedlichen Layouts und Handschriften extrahieren. Verwenden Sie den GKE-Cluster, um benutzerdefinierte Modelle zu hosten, und sorgen Sie dafür, dass Daten während der Verarbeitung die sichere Umgebung nie verlassen.
Empfehlungssystem für große Datenmengen Eine E-Commerce-Plattform muss Nutzern während der Haupteinkaufszeiten an Feiertagen personalisierte Produktempfehlungen bereitstellen. Verwenden Sie die Google Kubernetes Engine Gateway API, um große Mengen an Nutzertraffic an die Empfehlungsmodelle weiterzuleiten. Die Gateway API kann plötzliche Trafficspitzen ohne Latenzverschlechterung bewältigen.

Architektur

Die folgende Abbildung zeigt die Komponenten und Verbindungen in der Vorlage:

Ein Cluster, der im Design-Canvas mit einem Knotenpool verbunden ist

Im Folgenden werden die Komponentenkonfigurationen in dieser Vorlage beschrieben:

  • GKE-Standardcluster: Ein sicherer und privater Cluster, in dem Ihre KI-Arbeitslast ausgeführt wird.

    In der folgenden Tabelle wird die Clusterkonfiguration in dieser Vorlage beschrieben:

    Konfiguration Zweck
    node_locations ist auf ["us-central1-a", "us-central1-b", "us-central1-c"] gesetzt. Sorgt für Hochverfügbarkeit und Ausfallsicherheit, indem die Knoten des Clusters auf drei Zonen in der Region us-central1 verteilt werden.
    enable_intranode_visibility ist auf true gesetzt. Ermöglicht die Sichtbarkeit von Pod-zu-Pod-Traffic auf demselben Knoten in VPC-Flusslogs. Diese Sichtbarkeit ist für das Netzwerkmonitoring, die Fehlerbehebung und die Sicherheitsanalyse erforderlich.
    gateway_api_config wird mit {"channel":"CHANNEL_STANDARD"} aktiviert. Mit der GKE Inference Gateway API können Sie eingehenden Traffic zu Ihren Kubernetes-Diensten verwalten. Mit der API können Sie detailliertes Routing, erweitertes Load Balancing und zentralisiertes Anhängen von Richtlinien konfigurieren.
    private_cluster_config.enable_private_endpoint ist auf false gesetzt. private_cluster_config.enable_private_nodes ist true. control_plane_endpoints_config.dns_endpoint_config.allow_external_traffic ist auf true gesetzt. Sorgt dafür, dass die Worker-Knoten, auf denen Ihre KI-Modelle ausgeführt werden, private IP-Adressen haben. Dadurch werden Ihre Knoten vom öffentlichen Internet isoliert. Die GKE-Steuerungsebene ist so konfiguriert, dass sie öffentlich zugänglich ist, damit Sie den Cluster außerhalb Ihres VPC-Netzwerks (Virtual Private Cloud) verwalten können.
    release_channel ist auf {"channel":"REGULAR"} gesetzt. Sorgt dafür, dass Ihr GKE-Cluster stabile und vorhersehbare Updates erhält, und bietet ein ausgewogenes Verhältnis zwischen neuen Funktionen und Zuverlässigkeit.
  • GKE-Knotenpool: Eine Gruppe von Worker-Knoten, auf denen die Container der Anwendung ausgeführt werden.

    In der folgenden Tabelle werden die Knotenpoolkonfigurationen in dieser Vorlage beschrieben:

    Konfiguration Zweck
    autoscaling.min_node_count ist auf 0 gesetzt. autoscaling.max_node_count ist auf 3 festgelegt (Standardwert ist 100). Der Knotenpool kann vollständig herunterskaliert werden, wenn keine KI-Arbeitslasten ausgeführt werden. Dadurch werden die Kosten in inaktiven Zeiten gesenkt. Die Obergrenze für die Skalierung hilft, Kosten und Ressourcenverbrauch zu kontrollieren.
    Der Parameter node_config.guest_accelerator wird hinzugefügt. gpu_driver_installation_config.gpu_driver_version: ist auf "LATEST" gesetzt. gpu_sharing_config ist mit TIME_SHARING aktiviert. max_shared_clients_per_gpu: ist auf 2 gesetzt. Gibt die Verwendung von NVIDIA L4-GPUs für KI-Inferenzaufgaben an. Die erforderlichen GPU-Treiber werden automatisch installiert. Mehrere kleinere Arbeitslasten können sich eine einzelne GPU teilen.
    „node_config.machine_type“ wird zu „"g2-standard-8"“ geändert. Der Maschinentyp ist speziell auf die L4-GPUs abgestimmt. vCPUs (8) und Arbeitsspeicher (32 GB) sind so konzipiert, dass sie die GPU unterstützen und Ihre KI-Inferenzanwendungen ausführen können.
    node_config.oauth_scopes enthält https://www.googleapis.com/auth/cloud-platform. Das Dienstkonto des Knotens hat umfassenden Zugriff auf Google Cloud -Dienste, was die API-Interaktion für Aufgaben wie Logging, Monitoring und das Abrufen von Container-Images ermöglicht.
    node_config.shielded_instance_config.enable_secure_boot ist auf true gesetzt. Mit Secure Boot können Sie Knoten besser vor Malware auf Boot-Ebene schützen, indem die kryptografischen Signaturen des Bootloaders und des Kernels vor der Ausführung überprüft werden.

Helm-Diagrammkonfiguration

In der folgenden Tabelle sind die Helm-Diagrammkonfigurationen aufgeführt, die für die Bereitstellung und Skalierung eines KI-Inferenzdienstes in GKE angepasst wurden.

Konfiguration Zweck
replicaCount: 1 Erstellt ein einzelnes erstes Replikat.
image.repository: vllm/vllm-openai Verwendet ein vLLM-Image, eine optimierte Bibliothek für die Inferenz von Large Language Models (LLMs), die über eine OpenAI-kompatible API bereitgestellt wird.
model.id: google/gemma-7b-it Definiert das für Anweisungen abgestimmte Gemma 7B-Modell als das bereitzustellende Modell.
model.hfSecret: hf-secret Gibt an, dass das Modell eine Authentifizierung mit einem Kubernetes-Secret für die sichere Verwaltung von Anmeldedaten erfordert.
resources.limits und requests für nvidia.com/gpu: "1" Sorgt dafür, dass jeder Pod eine dedizierte GPU erhält.
nodeSelector.cloud.google.com/gke-accelerator: nvidia-l4 Stellt sicher, dass Ihre KI-Modell-Pods ausschließlich auf GKE Standard-Knoten mit NVIDIA L4-GPUs geplant werden, die sich ideal für kostengünstige und leistungsstarke Inferenzen eignen.
hpa.enabled: true Aktiviert das horizontale Pod-Autoscaling, mit dem die Anwendung die Anzahl der Pods (zwischen minReplicas: 1 und maxReplicas: 10) basierend auf targetCPUUtilizationPercentage: 80% automatisch skalieren kann. Sorgt für Leistung bei Spitzenlasten und Kosteneffizienz bei geringer Nutzung.
tensorParallelSize: 1 Gibt an, dass das Modell nicht auf mehrere GPUs innerhalb eines einzelnen Pods aufgeteilt ist.
maxModelLen: 512 Steuert die maximale Sequenzlänge, die das Gemma 7B-Modell verarbeiten kann.
service.type: ClusterIP Der Dienst ist für den internen Zugriff innerhalb des Clusters konfiguriert.
pdb.enabled: true und minAvailable: 1 Ein Budget für Pod-Störungen ist aktiviert, um Hochverfügbarkeit zu gewährleisten. Bei freiwilligen Unterbrechungen wie der Knotenwartung bleibt mindestens ein Replikat Ihres KI-Modells verfügbar.

KI-Anwendung erstellen

Verwenden Sie die Vorlagen AI Pre-trained Inference GKE-Cluster and workload, um Ihre KI-Anwendung bereitzustellen.

KI-Infrastruktur bereitstellen

Konfigurieren und stellen Sie die Vorlage GKE-Cluster für vortrainierte KI-Inferenz bereit, um die grundlegende Infrastruktur zu erstellen, auf der Ihre KI-Arbeitslast ausgeführt wird.

  1. Duplizieren und stellen Sie die Vorlage AI Pre-trained Inference GKE cluster als Anwendung bereit.

    Im ausgewählten Bereitstellungsprojekt wird ein GKE-Cluster erstellt.

  2. Konfigurieren Sie die Komponenten. Hier finden Sie weitere Informationen:

  3. Klicken Sie auf Bereitstellen. Die Anwendung wird nach einigen Minuten bereitgestellt.

  4. Klicken Sie im Bereich Anwendungsdetails auf den Tab Ausgaben.

  5. Ermitteln Sie die cluster_id für Ihre Anwendung. Diese Informationen benötigen Sie, wenn Sie Ihr Helm-Diagramm bereitstellen.

KI-Arbeitslast bereitstellen

Verwenden Sie die Vorlage AI Pre-trained Inference GKE workload, um Ihre KI-Arbeitslast im erstellten Cluster bereitzustellen. Sie stellen ein Helm-Diagramm bereit, das die Konfiguration Ihrer KI-Arbeitslast enthält.

  1. Klicken Sie auf der Seite Google-Vorlagen in der Vorlage AI Pre-trained Inference GKE workload auf Neue Anwendung erstellen.

  2. Geben Sie im Feld Name einen eindeutigen Namen für Ihre Anwendung ein.

  3. Führen Sie im Bereich GKE-Bereitstellungsziel die folgenden Schritte aus:

    1. Wählen Sie in der Liste Projekt das Projekt aus, in dem Sie den GKE-Cluster aus Ihrer AI Pre-trained Inference GKE cluster-Anwendung bereitgestellt haben.

    2. Wählen Sie in der Liste Region die Region aus, in der Sie den GKE-Cluster bereitgestellt haben.

    3. Wählen Sie in der Liste Cluster den bereitgestellten GKE-Cluster aus.

    4. Geben Sie im Feld Namespace den Namespace für Ihre Arbeitslast ein. Wenn Sie den Namen nicht geändert haben, geben Sie default ein.

    5. Klicken Sie auf Anwendung erstellen.

      Die Anwendung wird erstellt und die Konfigurationsdateien werden angezeigt.

  4. Führen Sie im Bereich Helm-Diagramm folgende Schritte aus:

    1. Sehen Sie sich die Konfigurationsdetails an.

    2. Optional: Passen Sie die Konfiguration an Ihre individuellen Anforderungen an.

    3. Klicken Sie auf Bereitstellen, um das Helm-Diagramm in Ihrem Cluster bereitzustellen.

      Eine ausführliche Anleitung finden Sie unter Anwendungen bereitstellen.

    Nach einigen Minuten wird die Helm-Diagrammkonfiguration in Ihrem GKE-Cluster bereitgestellt.

Nächste Schritte