KI-Zonen

KI-Zonen sind spezielle Zonen, die für Trainings- und Inferenzarbeitslasten im Bereich künstliche Intelligenz und maschinelles Lernen (KI und ML) verwendet werden. Sie bieten erhebliche Kapazitäten für ML-Beschleuniger (GPU und TPU).

Innerhalb einer Region befinden sich KI-Zonen geografisch entfernt von Standardzonen (Nicht-KI-Zonen). Die folgende Abbildung zeigt ein Beispiel für eine KI-Zone (us-south1-ai1b), die sich weiter entfernt von den Standardzonen in der Region us-south1 befindet.

Übergeordnete Zone

Jede KI-Zone ist einer Standardzone in der Region zugeordnet, die als übergeordnete Zone bezeichnet wird. Eine übergeordnete Zone ist eine Standardzone mit demselben Suffix wie die KI-Zone. Im Diagramm ist beispielsweise us-central1-a die übergeordnete Zone von us-central1-ai1a. Sie teilen sich Zeitpläne für Softwareupdates und manchmal auch die Infrastruktur. Das bedeutet, dass alle Software- oder Infrastrukturprobleme, die sich auf eine übergeordnete Zone auswirken, auch die KI-Zone betreffen können. Berücksichtigen Sie beim Entwerfen Ihrer Hochverfügbarkeitslösungen die Überlegungen zur Hochverfügbarkeit, um die Abhängigkeit von der übergeordneten Zone zu berücksichtigen.

Wann sollten KI-Zonen verwendet werden?

KI-Zonen sind für KI- und ML-Arbeitslasten optimiert. Anhand der folgenden Anleitung können Sie feststellen, welche Ihrer Arbeitslasten am besten für KI-Zonen geeignet sind und welche besser in Standardzonen ausgeführt werden sollten.

Empfohlen für:

  • Umfangreiches Training: Ideal für umfangreiche Trainingsarbeitslasten, z. B. für das Training von Large Language Models (LLMs) und Foundation Models, da eine große Anzahl von Beschleunigern verfügbar ist.

  • Training, Feinabstimmung, Bulk-Inferenz und erneutes Training in kleinem Umfang: KI-Zonen eignen sich gut für Arbeitslasten, die eine erhebliche Beschleunigerkapazität erfordern.

  • ML-Inferenz in Echtzeit: KI-Zonen unterstützen Inferenzarbeitslasten in Echtzeit. Die Leistung hängt vom Anwendungsdesign und den Anforderungen an die Modelllatenz ab, insbesondere wenn die Arbeitslast Hin- und Rückanfragen an die übergeordnete Region erfordert.

Nicht empfohlen für:

  • Nicht-ML-Arbeitslasten: Da KI-Zonen nicht alle Google Cloud -Dienste lokal anbieten, empfehlen wir, Ihre Nicht-ML-Arbeitslasten in den Standardzonen auszuführen.

Auf Dienste aus einer KI-Zone zugreifen

Sie können auf alle Google Cloud -Produkte in einer Google Cloud -Region über die zugehörige KI-Zone zugreifen. Der Zugriff auf Dienste in einer Google Cloud -Region von einer KI-Zone aus kann jedoch die Netzwerklatenz erhöhen, da die KI-Zone physisch von den Standorten der Standardzonen der Region getrennt ist.

Wenn Sie KI-Zonen in der Google Cloud Console, der Google Cloud CLI und der REST API aufrufen möchten, müssen Sie die Sichtbarkeit von KI-Zonen für Ihr Projekt aktivieren. Die Sichtbarkeit von KI-Zonen ist unabhängig von der Zugriffssteuerung und den Grenzen des Organisationsrichtliniendienstes. Weitere Informationen finden Sie unter Sichtbarkeit von KI-Zonen verwalten.

Bestimmte Produkte unterstützen das Erstellen oder Zugreifen auf zonale Ressourcen lokal in einer KI-Zone. Weitere Informationen zu diesen Diensten finden Sie in der folgenden Tabelle:

Produkt Beschreibung
Google Kubernetes Engine (GKE) Einrichtung für die Verwendung von KI-Zonen in GKE-Clustern, einschließlich der Konfiguration mit ComputeClasses, automatischer Knotenbereitstellung und GKE Standard-Knotenpools.

KI-Zonen in GKE verwenden
Cloud Storage Konfiguration des Objektspeichers für Arbeitslasten in KI-Zonen, einschließlich zonalem Speicher zur Maximierung der Leistung während aktiver Jobs und nichtflüchtigem Speicher für Datasets und Modellprüfpunkte.

KI-Zonen mit Cloud Storage verwenden
Compute Engine Methoden zum Identifizieren verfügbarer KI-Zonen mithilfe der Console, der Google Cloud CLI und der REST API, einschließlich Filtern nach Namenskonvention, Beschleunigertyp oder Maschine

Verfügbare KI-Zonen finden
Google Cloud Managed Lustre Leistung für KI- und ML-Arbeitslasten optimieren, die in GKE Standard bereitgestellt werden

KI- und ML-Arbeitslasten mit Google Cloud Managed Lustre optimieren

Standorte

KI-Zonen sind an den folgenden Standorten verfügbar:

KI-Zone Standort der KI-Zone Google Cloud -Region Google Cloud -Region Übergeordnete Zone
europe-west4-ai1a De Kooy, Niederlande, Europa europe-west4 Eemshaven, Niederlande, Europa europe-west4-a
us-south1-ai1b Austin, Texas, Nordamerika us-south1 Dallas, Texas, Nordamerika us-south1-b
us-central1-ai1a Lincoln, Nebraska, Nordamerika us-central1 Council Bluffs, Iowa, Nordamerika us-central1-a

Informationen dazu, welche GPU- und TPU-Typen in KI-Zonen verfügbar sind, finden Sie hier:

Ressourcen in KI-Zonen bereitstellen

Auf KI-Zonen kann über die Google Cloud Console, die Google Cloud CLI oder REST zugegriffen werden. Wenn Sie Ihre VMs jedoch mit der Google Cloud Console erstellen, müssen Sie manuell eine KI-Zone auswählen. Sie wird nicht automatisch für Sie ausgewählt, wie es bei Standardzonen der Fall ist. Wenn Sie KI-Zonen mit den folgenden Funktionen verwenden möchten, müssen Sie beim Einrichten dieser Ressourcen explizit eine KI-Zone auswählen.

  • Bestimmte Compute Engine-Features: KI-Zonen werden in bestimmten regionalen Compute Engine-Features nicht automatisch ausgewählt, z. B. bei regionalen Bulk-Einfügevorgängen oder regionalen verwalteten Instanzgruppen (MIGs).

    • Bulk-Einfügung: Wenn Sie KI-Zonen in regionale Bulk-Einfügevorgänge einbeziehen möchten, müssen Sie das Feld locationPolicy.zones[] verwenden. Das Feld locations[] unterstützt keine KI-Zonen. Das folgende Beispiel zeigt dieses Format für die Zone us-south1-ai1b:

      {
  "locationPolicy": {
    "zones": [
      "zones/us-south1-ai1b"
    ]
  }
}

    • Regionale MIGs: Wenn Sie Instanzen in einer KI-Zone in der ausgewählten Region erstellen möchten, müssen Sie diese explizit in der Verteilungsrichtlinie (distributionPolicy.zones[]) zusammen mit den anderen bevorzugten Zonen angeben. Das folgende Beispiel zeigt dieses Format für die Zone us-south1-ai1b:

      {
  "distributionPolicy": {
    "zones": [
      "zones/us-south1-a",
      "zones/us-south1-b",
      "zones/us-south1-ai1b"
    ]
  }
}

  • Bestimmte GKE-Funktionen: KI-Zonen werden bei bestimmten regionalen GKE-Funktionen wie regionalen GKE-Clustern nicht automatisch ausgewählt. Weitere Informationen zu GKE finden Sie in diesem Dokument unter KI-Zonen in GKE verwenden.

  • Vertex AI: Für GKE-basierte regionale Vertex AI-Produkte muss GKE so konfiguriert werden, dass KI-Zonen in regionalen Clustern enthalten sind. Sie müssen Vertex AI nicht aktivieren. Vertex AI verwaltet diese Konfiguration.

  • Google Cloud Service Metadata Locations API: Sie müssen das Flag --extraLocationTypes aktivieren, wenn Sie die locations.list API verwenden, damit KI-Zonen nur für diejenigen angezeigt werden, die sie verwenden möchten.

  • Einschränkungen für Arbeitslasten ohne Beschleuniger: Compute Engine schränkt die Erstellung von reinen CPU-VMs in KI-Zonen ein.

KI-Zonen in der GKE verwenden

Standardmäßig stellt die GKE Ihre Arbeitslasten nicht in KI-Zonen bereit. Wenn Sie eine KI-Zone verwenden möchten, konfigurieren Sie eine der folgenden Optionen:

  • ComputeClasses: Legen Sie die höchste Priorität fest, um On-Demand-TPUs in einer KI-Zone anzufordern. Mit ComputeClasses können Sie eine priorisierte Liste von Hardwarekonfigurationen für Ihre Arbeitslasten definieren. Ein Beispiel finden Sie unter Informationen zu ComputeClasses.

  • Automatische Knotenbereitstellung: Verwenden Sie in Ihrer Pod-Spezifikation einen nodeSelector oder nodeAffinity, um die automatische Knotenbereitstellung anzuweisen, einen Knotenpool in der KI-Zone zu erstellen. Wenn Ihre Arbeitslast nicht explizit auf eine KI-Zone ausgerichtet ist, werden bei der automatischen Knotenbereitstellung nur Standardzonen berücksichtigt, wenn neue Knotenpools erstellt werden. Durch diese Konfiguration wird sichergestellt, dass Arbeitslasten, die keine KI-/ML-Modelle ausführen, in Standardzonen verbleiben, sofern Sie nichts anderes konfigurieren. Ein Beispiel für ein Manifest, das ein nodeSelector verwendet, finden Sie unter Standardzonen für automatisch erstellte Knoten festlegen.

  • GKE Standard: Wenn Sie Ihre Knotenpools direkt verwalten, verwenden Sie beim Erstellen eines Knotenpools eine KI-Zone im Flag --node-locations. Ein Beispiel finden Sie unter TPU-Arbeitslasten in GKE Standard bereitstellen.

Beschränkungen

Folgendes ist in KI-Zonen nicht verfügbar:

Überlegungen zum Design mit KI-Zonen

Beachten Sie beim Entwerfen Ihrer Anwendungen für die Verwendung von KI-Zonen Folgendes:

Überlegungen zur Hochverfügbarkeit (HA)

KI-Zonen teilen sich Software-Rollouts und Infrastruktur mit ihren übergeordneten Zonen. Um eine Hochverfügbarkeit für Ihre Arbeitslasten zu gewährleisten, sollten Sie diese Bereitstellungsmuster bei der Auswahl von Zonen vermeiden, unabhängig davon, ob die Auswahl automatisch oder manuell erfolgt:

  • Vermeiden Sie die Bereitstellung von Hochverfügbarkeitsarbeitslasten in einer KI-Zone und der übergeordneten Zone.

  • Vermeiden Sie die Bereitstellung von Hochverfügbarkeitsarbeitslasten in zwei KI-Zonen, die dieselbe übergeordnete Zone haben.

Best Practices

Wir empfehlen eine mehrstufige Speicherarchitektur, um Kosten, Langlebigkeit und Leistung in Einklang zu bringen:

  1. Cold Storage-Ebene: Verwenden Sie regionale Cloud Storage-Buckets in Standardzonen für die langlebige, hochverfügbare Speicherung Ihrer Trainings-Datasets und Modellprüfpunkte.

  2. Leistungsebene: Verwenden Sie spezialisierte zonale Speicherdienste als Hochgeschwindigkeits-Cache oder temporären Zwischenspeicher. Dieser Ansatz eliminiert die Latenz zwischen Zonen und maximiert den Goodput während aktiver Jobs.

    Damit GPUs und TPUs vollständig ausgelastet bleiben und der Goodput maximiert wird, sollten Sie Ihre Leistungsebene in derselben KI-Zone wie Ihre Rechenressourcen bereitstellen.

Die folgenden Speicherlösungen werden empfohlen, um die Leistung von KI- und ML-Systemen mit KI-Zonen zu optimieren:

Speicherdienst Beschreibung Anwendungsfälle
Anywhere Cache-Feature von Cloud Storage Ein vollständig verwalteter, SSD-gestützter zonaler Lesecache, der häufig gelesene Daten aus einem Bucket in die KI-Zone überträgt. Empfohlen für:
  • Arbeitslasten mit vielen Lesevorgängen
  • Modelltraining und -bereitstellung mit niedriger Latenz
Nicht empfohlen für:
  • Anwendungen, die vollständige POSIX-Konformität erfordern

KI-Zonen ein- oder ausschließen

Wenn Sie KI-Zonen manuell in eine Liste von Zonen aufnehmen oder daraus ausschließen möchten, verwenden Sie einen Filter:

Nächste Schritte