Speicherdienste für KI- und ML-Arbeitslasten

Speicherdienste bieten die erforderliche Datenarchitektur, die das leistungsstarke Training, die Inferenzausführung und das Feinabstimmen von Modellen in AI Hypercomputer ermöglicht.

Diese Empfehlungen gelten speziell für Clustered GPUs.

Dieses Dokument soll Architekten, Speicherexperten und Entwicklern helfen, den richtigen Speicherdienst für ihre Arbeitslasten auf AI Hypercomputer zu bewerten und auszuwählen.

Einführung in Speicherdienste

Google Cloud bietet mehrere Speicherlösungen, die für KI- und ML-Anwendungsfälle optimiert sind:

  • Cloud Storage ist ein Objektspeichersystem, das für die Verarbeitung und Speicherung großer Datasets wie der für das Training oder die Bulk-Inferenz erforderlichen Datasets konzipiert ist. Cloud Storage bietet verschiedene Funktionen, mit denen Sie Ihren Datenspeicher für KI- und ML-Aufgaben optimieren können.

  • Google Cloud Managed Lustre ist ein vollständig verwaltetes und POSIX-kompatibles paralleles Dateisystem, das für die spezielle Metadatenleistung mit niedriger Latenz und hoher Parallelität entwickelt wurde, die für Trainings- und Inferenzarbeitslasten erforderlich ist.

  • Hyperdisk-Pools und Hyperdisk Exapools bieten einen aggregierten Block aus Speicherkapazität, Durchsatz und Ein-/Ausgabevorgängen pro Sekunde (IOPS), den Sie für mehrere Compute-Instanzen freigeben können. Sie können Hyperdisk Balanced- oder Hyperdisk Throughput-Volumes in einer Reservierung anfordern.

In den folgenden Abschnitten finden Sie weitere Informationen zu den einzelnen Speicherdiensten.

Cloud Storage

Cloud Storage ist ein grundlegender Objektspeicher, der globale Skalierbarkeit, Langlebigkeit und Kosteneffizienz bietet. Wenn Sie Cloud Storage verwenden, speichern Sie Daten als Objekte in Containern, die als Buckets bezeichnet werden. Cloud Storage bietet mehrere Funktionen für Ihre Buckets, mit denen Sie die Leistung von KI- und ML-Arbeitslasten optimieren können:

  • Produkte der Cloud Storage Rapid-Familie wurden entwickelt, um Datenengpässe für Ihre KI- und ML-Arbeitslasten zu beseitigen, indem Ihre Daten näher an Ihre Rechenressourcen gebracht werden. Mit diesen Produkten können Sie Ihre Daten in denselben Zonen wie Ihre Rechenarbeitslasten speichern und eine leistungsstarke und kostengünstige Skalierung des Datenspeichers für Ihre GPU- oder TPU-Cluster ermöglichen. Cloud Storage Rapid-Produkte umfassen Folgendes:

    • Rapid Bucket bietet die schnellste Lese- und Schreibleistung in Cloud Storage für zonale Buckets. Objekte in zonalen Buckets werden in der Speicherklasse „Rapid Storage“ gespeichert, einer leistungsstarken Speicherklasse, die für E/A-intensive Arbeitslasten optimiert ist. Neben einer geringeren Latenz bietet Rapid Bucket einen deutlich höheren Durchsatz (bis zu 15 TB/s) im Vergleich zu anderen Produkten und Bucket-Standorten in Cloud Storage.

    • Mit Rapid Cache werden Datenlesevorgänge für vorhandene Buckets beschleunigt, ohne dass Codeänderungen erforderlich sind. Rapid Cache ist ein zonenbasierter SSD-Lesecache für Cloud Storage-Buckets, der zum Bereitstellen von Daten für Datenleseanfragen verwendet wird. Das Produkt bietet einen höheren Durchsatz (bis zu 2,5 TB/s) und eine geringere Latenz als Buckets ohne Cache.

      Rapid Cache wird häufig für multiregionale Buckets eingerichtet, bei denen die Accelerator-Kapazität auf Google Cloud Regionen verteilt ist. Für Daten, die aus dem Cache gelesen werden, fallen geringere Gebühren für die Datenübertragung an als für Daten, die direkt aus einem multiregionalen Bucket gelesen werden.

  • Cloud Storage FUSE ist ein Open-Source-FUSE-Adapter, mit dem Sie Buckets als lokale Dateisysteme bereitstellen können. So können Anwendungen mit der Standardsemantik des Dateisystems mit dem Objektspeicher interagieren. So können Sie die globale Skalierbarkeit, Langlebigkeit und Kosteneffizienz von Cloud Storage mit lokalem Dateizugriff nutzen. Cloud Storage FUSE wird von Googleaktiv gewartet und unterstützt.

    Cloud Storage FUSE bietet mehrere clientseitige Caching- und Optimierungsparameter, z. B. parallele Downloads. Diese Funktionen können die Komplexität der Entwicklung abstrahieren und dazu beitragen, die Spitzenleistung durch Sharding oder Parallelisierung von Streams zu erreichen.

  • Der hierarchische Namespace ermöglicht eine echte Dateisystemstruktur in Buckets und bietet effiziente Funktionen für die Datenverwaltung, einschließlich atomarer Ordnerumbenennungen und schnellerer Dateisuchen, wenn der Bucket mit Cloud Storage FUSE bereitgestellt wird. Hierarchische Namespaces bieten achtmal mehr Abfragen pro Sekunde (QPS) für das Lesen und Schreiben von Objekten als Buckets ohne hierarchischen Namespace. Weitere Informationen zu den Vorteilen der Verwendung des hierarchischen Namespaces finden Sie unter Leistungs- und Verwaltungsvorteile.

    Die Aktivierung des hierarchischen Namespace wird dringend empfohlen, wenn Sie Arbeitslasten haben, die das Laden von Daten mit hohem Durchsatz und häufige Modell-Checkpoints erfordern. Wenn Sie zonale Buckets mit Rapid Bucket erstellen, muss der hierarchische Namespace aktiviert sein.

Managed Lustre

Google Cloud Managed Lustre ist ein leistungsstarkes, POSIX-kompatibles, vollständig verwaltetes paralleles Dateisystem, das für KI- und ML-Anwendungen optimiert ist. Die Managed Lustre-Architektur ist ideal für KI/ML-Arbeitslasten mit hohem Durchsatz, niedriger Latenz und hoher Metadaten-Concurrency, z. B. für Prüfpunkte, die schnelle Gewichtspropagierung beim Reinforcement Learning und das Key-Value-Caching (KV).

Weitere Informationen zu häufigen Anwendungsfällen für Managed Lustre finden Sie unter Anwendungsfälle.

Hyperdisk-Pools

Mit Hyperdisk-Pools können Sie Speicherkapazität, Durchsatz und IOPS in einem dedizierten Pool für Compute-Instanzen verwalten und freigeben. So wird sichergestellt, dass Sie über die Speicherressourcen verfügen, die Sie zum Ausführen Ihrer Arbeitslasten benötigen.

Wenn Sie Kapazität für gruppierte GPUs reservieren, können Sie auch einen Hyperdisk-Pool anfordern. Bei dieser Aktion werden Rechen- und Speicherressourcen gleichzeitig bereitgestellt.

Vergleich von Speicherdiensten

In der folgenden Tabelle finden Sie einen allgemeinen Vergleich von Cloud Storage, Managed Lustre und Hyperdisk-Pools anhand wichtiger Merkmale:

Merkmale Cloud Storage Managed Lustre Hyperdisk-Pools
Architektur

Objektspeicher

  • Daten werden standardmäßig in flachen Buckets gespeichert. Alle Bucket-Typen (zonal, regional, dual-regional und multiregional) bieten Optionen für Georedundanz, die mit Cloud Storage Rapid-Funktionen beschleunigt werden können.
  • Optional können Sie den hierarchischen Namespace aktivieren, um Buckets zu erstellen, die das Speichern von Daten in einer Dateisystemstruktur unterstützen.
  • Optional können Sie Cloud Storage FUSE aktivieren, um Buckets als lokale Dateisysteme bereitzustellen.

Paralleles Dateisystem

  • Daten werden als Dateien in verwalteten Lustre-Instanzen gespeichert und als lokale Dateisysteme in Ihren Accelerator-Clustern bereitgestellt. Eine zusätzliche Optimierung ist nicht erforderlich.

Hyperdisk-Pools

  • Wenn Sie Hyperdisk Balanced-Volumes verwenden, unterstützen Speicherpools und Exapools sowohl Boot- als auch Nicht-Boot-Laufwerke. Wenn Sie Hyperdisk Throughput-Volumes verwenden, werden in Speicherpools und Exapools nur Nicht-Bootlaufwerke unterstützt.
Speicherkapazität

Skaliert auf Exabytes an Kapazität.

Je nach Leistungsstufe der Instanz kann die Kapazität auf bis zu 80 PB skaliert werden.

Skaliert von 10 TiB bis zu 5 PiB pro Pool (bis zu 5 EiB mit Exapools).
Leistung

Unterstützt Folgendes:

  • Latenz von weniger als einer Millisekunde für geöffnete Dateien mit Rapid Bucket
  • Zehn Millionen IOPS/TiB mit Rapid Bucket
  • Bis zu 2,5 TiB/s Bandbreite mit Rapid Cache
  • Bis zu 15 TiB/s Bandbreite mit Rapid Bucket
  • Anträge auf Erhöhung der Bandbreite

Unterstützt Folgendes:

  • Latenz von weniger als einer Millisekunde
  • Zehn Millionen IOPs/TiB
  • Bis zu 10 TiB/s Bandbreite

Unterstützt Folgendes:

  • Latenz von weniger als einer Millisekunde
  • Bis zu 4.194.304 bereitgestellte IOPS für Hyperdisk Balanced-Speicherpools
  • Bis zu 1 TiB/s bereitgestellter Durchsatz für Speicherpools
  • Bei Exapools skaliert die Leistung mit den Kapazitätseinheiten (lese-, schreib- oder kapazitätsoptimiert) auf Millionen von IOPS und mehrere TiB/s Durchsatz.
  • Standard- oder erweiterte Bereitstellung für Kapazität und Leistung
Preise

Weitere Informationen finden Sie unter Cloud Storage – Preise.

Weitere Informationen finden Sie unter Managed Lustre-Preise.

Weitere Informationen finden Sie unter Preise für Persistent Disk und Hyperdisk.
Empfehlungen nach Anforderungen

Empfohlen für Anwendungen, die einen skalierbaren Objektspeicher und allgemeine Kosteneffizienz für Trainingsdatasets, asynchrones mehrstufiges Checkpointing und die Speicherung von Modellgewichten benötigen. Cloud Storage Rapid ist insbesondere für die leistungsstarke und kostengünstige Datenskalierung zu empfehlen.

Empfohlen für Anwendungen, die ein vollständig POSIX-konformes paralleles Dateisystem oder Home-Verzeichnisse benötigen. Auch für latenzempfindliche oder Arbeitslasten mit hoher Metadaten-Parallelität wie KV-Caching-Offloads, synchrones Checkpointing und schnelle Gewichtspropagierung für Reinforcement Learning empfohlen.

Empfohlen für Knoten-Bootlaufwerke, lokale Hochleistungsdateisysteme und dedizierte Scratch-Laufwerke, die eine gleichbleibende Leistung und ein hohes Maß an Kapazitätsgarantie erfordern.

Empfehlungen für Speicherdienste nach Anwendungsfall

Anwendungsfall Empfehlung für Speicherdienst Grund für die Empfehlung
Datasets trainieren und vorbereiten Empfehlung für Objektspeicher: Cloud Storage Rapid Bucket Cloud Storage-Buckets bieten die Kapazität, den Durchsatz, die Kosteneffizienz und die Langlebigkeit, die oft für große Mengen an Trainings- und Inferenz-Datasets erforderlich sind. Wenn Sie mit Rapid Bucket einen zonalen Bucket erstellen, profitiert dieser von einem sehr hohen Durchsatz (bis zu 15 TB/s) und einer Latenz im Submillisekundenbereich für offene Dateien zu optimalen Kosten.
Empfehlung für Dateispeicher: Managed Lustre Managed Lustre bietet eine Latenz von weniger als einer Millisekunde. Sie ist hilfreich als dedizierter, ultraschneller Arbeitsbereich für Ihre rechenintensivsten Trainings- und Dataset-Vorbereitungsaufgaben, bei denen niedrige Latenz und Metadaten-Concurrency-Leistung eine hohe Priorität haben.
Modellgewichte für Prüfpunkte oder Gewichtsübertragungen verschieben oder speichern Empfehlung für Objektspeicher: Cloud Storage Rapid Bucket Rapid Bucket eignet sich gut für asynchrones mehrstufiges oder verteiltes Checkpointing, wenn es mit GCSFS über fsspec oder Cloud Storage FUSE mit clientseitiger Leistungsoptimierung verwendet wird.
Empfehlung für Dateispeicher: Managed Lustre Managed Lustre bietet eine Latenz von weniger als einer Millisekunde und parallelen Datenzugriff, sodass Tausende von Rollout-Workern gleichzeitig dieselbe Gewichtsdatei abrufen können.
Modelle für die Inferenz speichern und herunterladen Empfehlung für Objektspeicher: Cloud Storage Rapid Cache oder Rapid Bucket

Rapid Cache fungiert als Booster, der den Kaltstart der Inferenz reduziert. Mit Rapid Cache können die Modellgewichte in derselben Zone wie Ihre Inferenzknoten vorab geladen werden. So kann eine neue Inferenzinstanz die Modellgewichte schnell herunterladen und die erste Anfrage verarbeiten.

Rapid Bucket dient als leistungsstarke, beschleunigte zonale Speicher-Engine, mit der Sie Modellgewichte in derselben Zone wie Ihre Inferenzflotte speichern können.

Für die Modellbereitstellung empfehlen wir die Verwendung von Run:ai Model Streamer for vLLM für maximale Downloadleistung. Bei anderen Inferenzstacks kann die Optimierung der Parameter für den parallelen Download von Cloud Storage FUSE die Kaltstartlatenz beim Herunterladen von Modellgewichten erheblich reduzieren.

Empfehlung für Dateispeicher: Managed Lustre Managed Lustre bietet Latenzen von unter einer Millisekunde und parallelen Datenzugriff, was sich positiv auf leistungssensitive Modelle und die Skalierung gleichzeitiger GPUs auswirkt, die dasselbe Modell gleichzeitig herunterladen.
KV-Cache-Auslagerung Empfehlung für Dateispeicher: Managed Lustre Managed Lustre bietet eine Latenz von weniger als einer Millisekunde und parallelen Datenzugriff. So können verschiedene Knoten den KV-Cache abrufen und Chats fortsetzen, ohne den gesamten Chatverlauf neu zu verarbeiten.
Knoten-Bootlaufwerke und lokaler Hochleistungsspeicher Primäre Empfehlung: Hyperdisk-Pools In Hyperdisk-Pools werden Speicherkapazität, IOPS und Durchsatz über Compute-Instanzen hinweg zusammengefasst. So wird eine vorhersehbare Leistung für Boot- und Nicht-Boot-Laufwerke erreicht.

Nächste Schritte