GKE AI-Konformität

In diesem Dokument wird das Kubernetes AI-Konformitätsprogramm erläutert. Außerdem wird beschrieben, warum es für Ihre KI-/ML-Arbeitslasten in Google Kubernetes Engine (GKE) wichtig ist und wie Sie konforme GKE-Cluster einrichten können.

Warum die KI-Konformität für Ihre GKE-Cluster wichtig ist

Das Kubernetes AI Conformance Program (Kubernetes-Konformitätsprogramm für KI) definiert einen Standard für Kubernetes-Cluster, um sicherzustellen, dass sie KI- und ML-Arbeitslasten zuverlässig und effizient ausführen können. Das Einrichten eines Kubernetes-Clusters für KI/ML kann komplex sein. Dazu gehört oft, sich in einer Landschaft spezifischer Treiberinstallationen, API-Versionen und potenzieller Problemumgehungen für unerwartete Fehler zurechtzufinden.

Eine konforme Plattform wie GKE ist darauf ausgelegt, diese zugrunde liegenden Komplexitäten für Sie zu bewältigen und einen Pfad von der Einrichtung bis zur Bereitstellung zu bieten. Wenn Sie eine konforme GKE-Version verwenden, können Sie sicher sein, dass Ihre Umgebung für Kriterien wie die folgenden optimiert ist:

  • Skalierbarkeit: Sie können Ihre KI-/ML-Arbeitslasten effizient nach Bedarf skalieren.
  • Leistung: Holen Sie das Beste aus Ihrer Hardware heraus, einschließlich GPUs und TPUs.
  • Portabilität: Sie können Ihre KI‑/ML-Anwendungen mit minimalen Änderungen in jedem konformen Kubernetes-Cluster ausführen.
  • Interoperabilität: Integration in andere Tools und Frameworks im KI/ML-Ökosystem.

KI-konformen GKE-Cluster erstellen

So erstellen Sie einen KI-kompatiblen GKE-Cluster:

  1. Eine Liste der konformen Versionen finden Sie im ai-conformance-GitHub-Repository.
  2. Erstellen Sie einen GKE-Cluster im Standardmodus, der auf einer konformen Version wie 1.34.0-gke.1662000 oder höher ausgeführt wird.
  3. Aktivieren Sie die Gateway API in Ihrem Cluster.

Ihr Cluster erfüllt jetzt die obligatorischen Anforderungen für die Kubernetes-KI-Konformität.

Was macht GKE zu einer Kubernetes-KI-konformen Plattform?

GKE verwaltet die zugrunde liegenden Anforderungen für die KI-Konformität, sodass Sie sich darum nicht kümmern müssen. In der folgenden Tabelle sind einige dieser wichtigen Funktionen für KI-/ML-Arbeitslasten aufgeführt. Einige dieser Funktionen sind standardmäßig aktiviert, andere, wie Kueue für die Gang-Planung, sind optionale Ergänzungen, die Sie installieren können, um Ihre KI-/ML-Arbeitslasten zu verbessern.

Das Kubernetes AI Conformance Program ist so konzipiert, dass es sich mit dem KI/ML-Ökosystem weiterentwickelt. Die Anforderungen werden mit jeder Kubernetes-Nebenversion basierend auf dem Zustand des Ökosystems aktualisiert. Die vollständigen Anforderungen für eine bestimmte Nebenversion finden Sie im ai-conformance-GitHub-Repository in der Datei docs/AIConformance-MINOR_VERSION.yaml, wobei MINOR_VERSION Ihre spezifische Version ist, z. B. v1.34.

Anforderung
Dynamische Ressourcenzuweisung (DRA) Ermöglicht flexiblere und detailliertere Ressourcenanfragen als nur Anzahlen. Weitere Informationen finden Sie unter Informationen zur dynamischen Ressourcenzuweisung.
Kubernetes Gateway API Bietet erweiterte Trafficverwaltung für Inferenzdienste, die Funktionen wie gewichtete Aufteilung des Traffics und headerbasiertes Routing ermöglicht. Weitere Informationen finden Sie unter GKE Gateway API.
Gang-Planung Sorgt für die Alles-oder-Nichts-Planung für verteilte KI-Arbeitslasten. GKE ermöglicht die Installation und den erfolgreichen Betrieb von mindestens einer Lösung für die gemeinsame Planung. Ein Beispiel finden Sie unter Batchsystem mit Kueue bereitstellen.
Cluster Autoscaler für Beschleuniger Skaliert Knotengruppen, die bestimmte Beschleunigertypen enthalten, basierend auf ausstehenden Pods, die diese Beschleuniger anfordern, nach oben und unten. Weitere Informationen finden Sie unter:
Horizontaler Pod-Autoscaler (HPA) für Beschleuniger Funktioniert ordnungsgemäß für Pods, die Beschleuniger verwenden, einschließlich der Möglichkeit, diese Pods basierend auf benutzerdefinierten Messwerten zu skalieren, die für KI-/ML-Arbeitslasten relevant sind. Weitere Informationen finden Sie unter:
Leistungsmesswerte für Beschleuniger Stellt detaillierte Leistungsmesswerte über einen standardisierten, maschinenlesbaren Messwertendpunkt bereit. Weitere Informationen finden Sie unter:
Standardisiertes Monitoring Bietet ein Monitoring-System, das Messwerte von Arbeitslasten erkennen und erfassen kann, die sie in einem Standardformat (z. B. Prometheus-Expositionsformat) bereitstellen. Weitere Informationen finden Sie unter Beobachtbarkeit für GKE.
KI-Operator-Support Es muss nachgewiesen werden, dass mindestens ein komplexer KI-Operator mit einer benutzerdefinierten Ressourcendefinition (Custom Resource Definition, CRD) auf der Plattform installiert werden kann und zuverlässig funktioniert. Weitere Informationen finden Sie unter Machine-Learning-Plattform mit Kubeflow und Ray in Google Kubernetes Engine erstellen.

Nächste Schritte