KI-Zonen

Dieses Dokument bietet einen Überblick über KI-Zonen für Cloud Storage. KI-Zonen sind spezialisierte Google Cloud Zonen, die Rechenkapazität für Arbeitslasten im Bereich künstliche Intelligenz (KI) und maschinelles Lernen (ML) bieten. Sie bieten eine erhebliche Kapazität für ML-Beschleuniger (GPU und TPU).

KI-Zonen sind für KI- und ML-Arbeitslasten wie die folgenden optimiert:

  • Umfangreiches Training
  • Training, Feinabstimmung, Bulk-Inferenz und erneutes Training in kleinem Maßstab
  • ML-Inferenz in Echtzeit

Hintergrundinformationen zu KI-Zonen finden Sie in der Compute Engine-Dokumentation unter KI-Zonen.

Innerhalb einer Region können KI-Zonen geografisch von Standardzonen (nicht KI) entfernt sein.

KI-Zonen sind mit anderen Cloud Storage- und Google Cloud-Funktionen kompatibel.

Empfehlungen für die Speicherarchitektur

Wir empfehlen, eine mehrstufige Speicherarchitektur zu verwenden, um Kosten, Langlebigkeit und Leistung in Einklang zu bringen:

  • Cold Storage-Ebene: Verwenden Sie regionale Cloud Storage-Buckets in Standardzonen für die dauerhafte, äußerst robuste Speicherung (die „Source of Truth“) Ihrer Trainings-Datasets und Modellprüfpunkte.

  • Leistungsebene: Verwenden Sie spezielle zonale Speicherdienste als Hochgeschwindigkeitscache oder temporären Scratch-Speicher. Dieser Ansatz eliminiert die zonenübergreifende Latenz und maximiert den Durchsatz während aktiver Jobs.

Die folgenden Speicherlösungen werden empfohlen, um die Leistung von KI- und ML-Systemen mit KI-Zonen zu optimieren:

Speicherdienst Beschreibung Anwendungsfälle
Anywhere Cache-Funktion von Cloud Storage

Ein vollständig verwalteter, SSD-gestützter zonaler Lesecache, der häufig gelesene Daten aus einem Bucket in die KI-Zone verschiebt.

Erstellen Sie eine Anywhere Cache-Instanz in einer KI-Zone für den regionalen Quell-Bucket, der die Trainingsdatasets oder Modelle enthält, die Sie bereitstellen möchten. Wenn Ihr Trainingsjob eine Datei liest, wird die Datei in den schnellen Cache in der Zone übertragen. Nachfolgende Lesevorgänge werden direkt aus dem Cache bereitgestellt und umgehen das regionale Netzwerk. Dies ist ideal für die sich wiederholenden Datenzugriffsmuster beim Modelltraining und für die Bereitstellung von Modellen mit niedriger Latenz.

Empfohlen für:

  • Arbeitslasten mit vielen Lesevorgängen
  • Modelltraining und ‑bereitstellung mit niedriger Latenz

Nicht empfohlen für:

  • Anwendungen, die vollständige POSIX-Compliance erfordern

Best Practices

Beachten Sie bei der Verwendung von KI-Zonen die folgenden Best Practices für den Speicher:

  • Stellen Sie die Leistungsebene in derselben KI-Zone wie Ihre Compute-Ressourcen bereit. Wenn Sie Rechen- und Speicherressourcen am selben Ort unterbringen, können Sie dafür sorgen, dass GPUs und TPUs vollständig ausgelastet bleiben und der „Goodput“ (nützlicher Durchsatz) maximiert wird.

  • Bei Anywhere Cache sollten Sie vor dem Start der primären Trainings-Epoche einen Vorab-Lesevorgang für Ihr Dataset durchführen, um den SSD-basierten Cache zu füllen oder aufzuwärmen.

Verfügbare KI-Zonen

In der folgenden Tabelle sind die KI-Zonen und ihre übergeordneten Google Cloud-Regionen aufgeführt.

Geografischer Bereich Übergeordnete Region KI-Zone
USA us-south1 us-south1-ai1b

Hinweise

  • Sie können auf Google Cloud Produkte in einer Google Cloud Region über die KI-Zone der Region zugreifen. Der Zugriff auf Dienste in einer Google Cloud-Region über eine KI-Zone kann jedoch zu einer erhöhten Netzwerklatenz führen, da sich die KI-Zone möglicherweise physisch von den Standardzonen der Region unterscheidet.

  • Wir empfehlen, Nicht-ML-Arbeitslasten in Standardzonen und nicht in KI-Zonen auszuführen, da KI-Zonen nicht alle Google Cloud Dienste lokal anbieten.

Nächste Schritte