KI-Zonen

Dieses Dokument bietet einen Überblick über KI-Zonen für Cloud Storage. KI-Zonen sind spezielle Google Cloud -Zonen, die Rechenkapazität für Arbeitslasten im Bereich künstliche Intelligenz (KI) und maschinelles Lernen (ML) bieten. Sie bieten eine erhebliche ML-Beschleunigerkapazität (GPU und TPU).

KI-Zonen sind für KI- und ML-Arbeitslasten wie die folgenden optimiert:

  • Umfangreiches Training
  • Training in kleinem Maßstab, Feinabstimmung, Bulk-Inferenz und erneutes Training
  • ML-Inferenz in Echtzeit

Hintergrundinformationen zu KI-Zonen finden Sie in der Compute Engine-Dokumentation unter KI-Zonen.

Innerhalb einer Region können KI-Zonen geografisch von Standardzonen (Nicht-KI-Zonen) entfernt sein.

KI-Zonen sind mit anderen Cloud Storage- und Google Cloud-Funktionen kompatibel.

Empfehlungen zur Speicherarchitektur

Wir empfehlen die Verwendung einer mehrstufigen Speicherarchitektur, um Kosten, Langlebigkeit und Leistung in Einklang zu bringen:

  • Cold Storage-Ebene: Verwenden Sie regionale Cloud Storage-Buckets in Standardzonen für die langlebige, hochverfügbare Speicherung (die „Source of Truth“) Ihrer Trainings-Datasets und Modellprüfpunkte.

  • Leistungsebene: Verwenden Sie spezialisierte zonale Speicherdienste als Hochgeschwindigkeits-Cache oder temporären Speicherplatz. Dieser Ansatz eliminiert die Latenz zwischen Zonen und maximiert den Durchsatz während aktiver Jobs.

Die folgenden Speicherlösungen werden empfohlen, um die Leistung von KI- und ML-Systemen mit KI-Zonen zu optimieren:

Speicherdienst oder -produkt Beschreibung Anwendungsfälle
Rapid Cache-Produkt von Cloud Storage

Ein vollständig verwalteter, SSD-gestützter zonaler Lesecache, der häufig gelesene Daten aus einem Bucket in die KI-Zone überträgt.

Erstellen Sie eine Rapid Cache-Instanz in einer KI-Zone für den regionalen Quell-Bucket, der die Trainings-Datasets oder Modelle enthält, die Sie bereitstellen möchten. Wenn Ihr Trainingsjob eine Datei liest, wird die Datei in den schnellen, zonenspezifischen Cache gezogen. Nachfolgende Lesevorgänge werden direkt aus dem Cache bereitgestellt, wobei das regionale Netzwerk umgangen wird. Dies ist ideal für die sich wiederholenden Datenzugriffsmuster beim Modelltraining und für die Modellbereitstellung mit niedriger Latenz.

Empfohlen für:

  • Arbeitslasten mit vielen Lesevorgängen
  • Modelltraining und -bereitstellung mit niedriger Latenz
Rapid Bucket-Produkt von Cloud Storage

Eine leistungsstarke Funktion, mit der Sie Buckets in Zonen finden und die Speicherklasse „Rapid Storage“ verwenden können. Optimiert für E/A-intensive Arbeitslasten, speziell für KI/ML-Anwendungen, die eine Colocation mit den Daten erfordern, auf die sie zugreifen müssen.

Wenn Sie Ihren Datenspeicher für Arbeitslasten optimieren möchten, die eine niedrige Latenz und einen hohen Durchsatz erfordern, erstellen Sie einen zonalen Bucket, der Rapid Storage verwendet, und hängen Sie den Bucket dann mit Cloud Storage FUSE als Verzeichnis auf Ihrer virtuellen Maschine an. Anschließend können Sie Ihre Anwendung so konfigurieren, dass Daten im zonalen Bucket über den Bereitstellungspunkt des Buckets gespeichert oder abgerufen werden. Wenn Sie beispielsweise Modellprüfpunkte in Ihrem zonalen Bucket speichern möchten, konfigurieren Sie das Prüfpunktverzeichnis im Trainingscode auf den Bereitstellungspunkt.

Für regionale Ausfallsicherheit können Sie Ihre Prüfpunkte in regionalen, multiregionalen oder biregionalen Buckets sichern. Verwenden Sie den Storage Transfer Service, um Daten aus einem zonalen Bucket in einen Bucket an einem anderen Standort zu verschieben. Verwenden Sie die Verwaltung des Objektlebenszyklus, um Daten nach einem festgelegten Zeitraum ablaufen zu lassen und zu löschen.

Empfohlen für:

  • Lese- und Schreibarbeitslasten mit hohem Durchsatz
  • Hochgeschwindigkeits-Prüfpunkte
  • Modelltraining und -bereitstellung mit niedriger Latenz

Best Practices

Beachten Sie bei der Verwendung von KI-Zonen die folgenden Best Practices für den Speicher:

  • Stellen Sie Ihre Leistungsebene in derselben KI-Zone wie Ihre Rechenressourcen bereit. Durch die gemeinsame Bereitstellung von Rechen- und Speicherressourcen wird sichergestellt, dass GPUs und TPUs vollständig ausgelastet sind, was den „Goodput“ (nützlichen Durchsatz) maximiert.

  • Führen Sie für Rapid Cache vor Beginn der primären Trainingsepoche einen Vorlesevorgang für Ihr Dataset aus, um den SSD-basierten Cache zu füllen oder zu erwärmen.

Verfügbare KI-Zonen

In der folgenden Tabelle sind die KI-Zonen und die zugehörigen übergeordneten Google Cloud-Regionen aufgeführt.

Geografischer Bereich Übergeordnete Region KI-Zone
Europa europe-west4 europe-west4-ai1a
USA us-central1 us-central1-ai1a
USA us-south1 us-south1-ai1b

Hinweise

  • Sie können über die KI-Zone der Region auf Google Cloud -Produkte in einer Google Cloud -Region zugreifen. Der Zugriff auf Dienste in einer Google Cloud-Region über eine KI-Zone kann jedoch zu Netzwerklatenz führen, da der Standort der KI-Zone physisch von den Standorten der Standardzonen der Region getrennt sein kann.

  • Wir empfehlen, Nicht-ML-Arbeitslasten in Standardzonen und nicht in KI-Zonen auszuführen, da KI-Zonen nicht alle Google Cloud -Dienste lokal anbieten.

Nächste Schritte