KI-Zonen

Dieses Dokument bietet einen Überblick über KI-Zonen für Cloud Storage. KI-Zonen sind spezialisierte Google Cloud Zonen, die Rechenkapazität für Arbeitslasten im Bereich künstliche Intelligenz (KI) und maschinelles Lernen (ML) bieten. Sie bieten eine erhebliche Kapazität für ML-Beschleuniger (GPU und TPU).

KI‑Zonen sind für KI‑ und ML‑Arbeitslasten wie die folgenden optimiert:

  • Umfangreiches Training
  • Training, Feinabstimmung, Bulk-Inferenz und erneutes Training in kleinem Maßstab
  • ML-Inferenz in Echtzeit

Hintergrundinformationen zu KI-Zonen finden Sie in der Compute Engine-Dokumentation unter KI-Zonen.

Innerhalb einer Region können KI-Zonen geografisch von Standardzonen (nicht KI) entfernt sein.

KI-Zonen sind mit anderen Cloud Storage- und Google Cloud-Funktionen kompatibel.

Empfehlungen für die Speicherarchitektur

Wir empfehlen, eine mehrstufige Speicherarchitektur zu verwenden, um Kosten, Langlebigkeit und Leistung in Einklang zu bringen:

  • Kalter Datenspeicher: Verwenden Sie regionale Cloud Storage-Buckets in Standardzonen für die dauerhafte, äußerst robuste Speicherung (die „Source of Truth“) Ihrer Trainings-Datasets und Modellprüfpunkte.

  • Leistungsebene: Verwenden Sie spezielle zonale Speicherdienste als Hochgeschwindigkeitscache oder temporären Scratch-Speicher. Dieser Ansatz eliminiert die latenz zwischen Zonen und maximiert den Durchsatz während aktiver Jobs.

Die folgenden Speicherlösungen werden empfohlen, um die Leistung von KI- und ML-Systemen mit KI-Zonen zu optimieren:

Speicherdienst oder ‑produkt Beschreibung Anwendungsfälle
Rapid Cache Produkt von Cloud Storage

Ein vollständig verwalteter, SSD-gestützter zonaler Lesecache, der häufig gelesene Daten aus einem Bucket in die KI-Zone verschiebt.

Erstellen Sie eine Rapid Cache-Instanz in einer KI-Zone für den regionalen Quell-Bucket, der die Trainingsdatasets oder Modelle enthält, die Sie bereitstellen möchten. Wenn Ihr Trainingsjob eine Datei liest, wird die Datei in den schnellen In-Zone-Cache verschoben. Nachfolgende Lesevorgänge werden direkt aus dem Cache bereitgestellt und umgehen das regionale Netzwerk. Dies ist ideal für die sich wiederholenden Datenzugriffsmuster beim Modelltraining und für die Modellbereitstellung mit niedriger Latenz.

Empfohlen für:

  • Arbeitslasten mit vielen Lesevorgängen
  • Modelltraining und ‑bereitstellung mit niedriger Latenz
Rapid Bucket – Produkt von Cloud Storage

Eine leistungsstarke Funktion, mit der Sie Buckets in Zonen platzieren und die Speicherklasse „Rapid“ verwenden können. Optimiert für E/A-intensive Arbeitslasten, speziell für KI/ML-Anwendungen, die eine Colocation mit den Daten erfordern, auf die sie zugreifen müssen.

Wenn Sie Ihren Datenspeicher für Arbeitslasten optimieren möchten, die eine niedrige Latenz und einen hohen Durchsatz erfordern, erstellen Sie einen zonalen Bucket, der Rapid Storage verwendet, und hängen Sie den Bucket dann mit Cloud Storage FUSE als Verzeichnis auf Ihrer VM ein. Anschließend können Sie Ihre Anwendung so konfigurieren, dass Daten über den Bereitstellungspunkt des Buckets im zonalen Bucket gespeichert oder darauf zugegriffen werden. Wenn Sie beispielsweise Modellprüfpunkte in Ihrem zonalen Bucket speichern möchten, konfigurieren Sie das Prüfpunktverzeichnis im Trainingscode für den Bereitstellungspunkt.

Für regionale Resilienz können Sie Ihre Checkpoints in regionalen, multiregionalen oder dual-regionalen Buckets sichern. Mit dem Storage Transfer Service können Sie Daten aus einem zonalen Bucket in einen Bucket an einem anderen Standort verschieben. Verwenden Sie die Verwaltung des Objektlebenszyklus, um Daten nach einem festgelegten Zeitraum ablaufen zu lassen und zu löschen.

Empfohlen für:

  • Arbeitslasten mit hohem Durchsatz für Lese- und Schreibvorgänge
  • Schnelle Prüfpunkte
  • Modelltraining und ‑bereitstellung mit niedriger Latenz

Best Practices

Beachten Sie bei der Verwendung von KI-Zonen die folgenden Best Practices für den Speicher:

  • Stellen Sie die Leistungsebene in derselben KI-Zone wie Ihre Compute-Ressourcen bereit. Durch die gemeinsame Unterbringung von Rechen- und Speicherressourcen wird sichergestellt, dass GPUs und TPUs vollständig ausgelastet bleiben, wodurch der „Goodput“ (nützlicher Durchsatz) maximiert wird.

  • Führen Sie für Rapid Cache vor Beginn der primären Trainings-Epoche einen Vorlesevorgang für Ihr Dataset aus, um den SSD-gestützten Cache zu füllen oder aufzuwärmen.

Verfügbare KI-Zonen

In der folgenden Tabelle sind die KI-Zonen und ihre übergeordneten Google Cloud-Regionen aufgeführt.

Geografischer Bereich Übergeordnete Region KI-Zone
Europa europe-west4 europe-west4-ai1a
USA us-central1 us-central1-ai1a
USA us-south1 us-south1-ai1b

Hinweise

  • Sie können auf Google Cloud Produkte in einer Google Cloud Region über die KI-Zone der Region zugreifen. Der Zugriff auf Dienste in einer Google Cloud-Region über eine KI-Zone kann jedoch zu einer Netzwerklatenz führen, da sich die KI-Zone möglicherweise physisch von den Standardzonen der Region unterscheidet.

  • Wir empfehlen, Nicht-ML-Arbeitslasten in Standardzonen und nicht in KI-Zonen auszuführen, da KI-Zonen nicht alle Google Cloud Dienste lokal anbieten.

Nächste Schritte