KI-Zonen

Dieses Dokument bietet einen Überblick über KI-Zonen für Cloud Storage. KI-Zonen sind spezielle Google Cloud Zonen, die Rechenkapazität für Arbeitslasten im Bereich künstliche Intelligenz (KI) und maschinelles Lernen (ML) bieten. Sie bieten eine erhebliche ML-Beschleunigerkapazität (GPU und TPU).

KI-Zonen sind für KI- und ML-Arbeitslasten wie die folgenden optimiert:

  • Umfangreiches Training
  • Training im kleinen Maßstab, Feinabstimmung, Bulk-Inferenz und erneutes Training
  • ML-Inferenz in Echtzeit

Hintergrundinformationen zu KI-Zonen finden Sie unter KI-Zonen in der Compute Engine-Dokumentation.

Innerhalb einer Region können KI-Zonen geografisch von Standardzonen (nicht KI) entfernt sein.

KI-Zonen sind mit anderen Cloud Storage-Produkten und Google Cloud ‑Funktionen kompatibel.

Empfehlungen für die Speicherarchitektur

Wir empfehlen, eine mehrstufige Speicherarchitektur zu verwenden, um Kosten, Langlebigkeit und Leistung auszugleichen:

  • Cold-Storage-Ebene: Verwenden Sie regionale Cloud Storage-Buckets in Standardzonen für die persistente, äußerst zuverlässige Speicherung (die „Source of Truth“) Ihrer Trainingsdatasets und Modellprüfpunkte.

  • Leistungsebene: Verwenden Sie spezielle zonale Speicherdienste als Hochgeschwindigkeitscache oder temporären Scratch-Speicher. Dieser Ansatz eliminiert die Latenz zwischen Zonen und maximiert den Durchsatz bei aktiven Jobs.

Die folgenden Speicherlösungen werden empfohlen, um die Leistung von KI- und ML-Systemen mit KI-Zonen zu optimieren:

Speicherdienst oder ‑produkt Beschreibung Anwendungsfälle
Rapid Cache Produkt von Cloud Storage

Ein vollständig verwalteter, SSD-basierter zonaler Lesecache, der häufig gelesene Daten aus einem Bucket in die KI-Zone verschiebt.

Erstellen Sie eine Rapid Cache-Instanz in einer KI-Zone für den regionalen Quell-Bucket, der die Trainingsdatasets oder Modelle enthält, die Sie bereitstellen möchten. Wenn Ihr Trainingsjob eine Datei liest, wird sie in den schnellen Cache in der Zone verschoben. Nachfolgende Lesevorgänge werden direkt aus dem Cache bereitgestellt, wobei das regionale Netzwerk umgangen wird. Dies ist ideal für die sich wiederholenden Datenzugriffsmuster beim Modelltraining und für die Modellbereitstellung mit niedriger Latenz.

Empfohlen für:

  • Leselastige Arbeitslasten
  • Modelltraining und ‑bereitstellung mit niedriger Latenz
Rapid Bucket Produkt von Cloud Storage

Eine leistungsstarke Funktion, mit der Sie Buckets in Zonen platzieren und die Rapid Storage-Speicherklasse verwenden können. Optimiert für E/A-intensive Arbeitslasten und speziell für KI/ML-Anwendungen entwickelt, die eine Colocation mit den Daten erfordern, auf die sie zugreifen müssen.

Wenn Sie die Datenspeicherung für Arbeitslasten optimieren möchten, die eine niedrige Latenz und einen hohen Durchsatz erfordern, erstellen Sie einen zonalen Bucket der Rapid Storage verwendet, und stellen Sie den Bucket dann mit Cloud Storage FUSE als Verzeichnis auf Ihrer virtuellen Maschine bereit. Anschließend können Sie Ihre Anwendung so konfigurieren, dass Daten über den Bereitstellungspunkt des Buckets im zonalen Bucket gespeichert oder darauf zugegriffen werden kann. Wenn Sie beispielsweise Modellprüfpunkte in Ihrem zonalen Bucket speichern möchten, konfigurieren Sie das Verzeichnis für die Prüfpunkte im Bereitstellungspunkt in Ihrem Trainingscode.

Für regionale Ausfallsicherheit können Sie Ihre Prüfpunkte in regionalen, multiregionalen oder biregionalen Buckets sichern. Verwenden Sie Storage Transfer Service, um Daten aus einem zonalen Bucket in einen Bucket an einem anderen Standort zu verschieben. Verwenden Sie die Verwaltung des Objektlebenszyklus, um Daten nach einem bestimmten Zeitraum ablaufen zu lassen und zu löschen.

Empfohlen für:

  • Lese- und Schreibarbeitslasten mit hohem Durchsatz
  • Schnelle Prüfpunkte
  • Modelltraining und ‑bereitstellung mit niedriger Latenz

Best Practices

Beachten Sie beim Verwenden von KI-Zonen die folgenden Best Practices für die Speicherung:

  • Stellen Sie Ihre Leistungsebene in derselben KI-Zone wie Ihre Rechenressourcen bereit. Durch die Colocation von Compute und Speicher wird sichergestellt, dass GPUs und TPUs vollständig ausgelastet bleiben, wodurch der „Goodput“ (nutzbarer Durchsatz) maximiert wird.

  • Führen Sie für Rapid Cache vor Beginn der primären Trainings-Epoche einen Vorlesevorgang für Ihr Dataset aus, um den SSD-basierten Cache zu füllen oder aufzuwärmen.

Verfügbare KI-Zonen

Die folgende Tabelle zeigt die KI-Zonen und ihre übergeordneten Google Cloud Regionen.

Geografischer Bereich Übergeordnete Region KI-Zone
Europa europe-west4 europe-west4-ai1a
USA us-central1 us-central1-ai1a
USA us-south1 us-south1-ai1b

Hinweise

  • Sie können auf Google Cloud Produkte in einer Google Cloud Region über die KI-Zone der Region zugreifen. Der Zugriff auf Dienste in einer Google Cloud Region über eine KI-Zone kann jedoch die Netzwerklatenz erhöhen, da sich der Standort der KI Zone physisch von den Standorten der Standard Zonen der Region unterscheiden kann.

  • Wir empfehlen, Nicht-ML-Arbeitslasten in Standardzonen und nicht in KI Zonen auszuführen, da KI-Zonen nicht alle Google Cloud Dienste lokal anbieten.

Nächste Schritte