Speicher für KI/ML und Datenanalyse mit Cloud Storage Rapid optimieren

Cloud Storage bietet eine Vielzahl von Optionen, mit denen Sie Ihren Datenspeicher für Anwendungsfälle optimieren können, die eine hohe Leistung erfordern, z. B. künstliche Intelligenz (KI), maschinelles Lernen (ML) und datenintensive Analysen. Auf dieser Seite werden diese Optionen vorgestellt und Sie werden durch die Auswahl einer Option geführt, die den Anforderungen Ihrer Arbeitslasten entspricht.

Die Cloud Storage Rapid-Produktfamilie

Cloud Storage Rapid ist eine Familie von leistungsstarken Produkten in Cloud Storage, die entwickelt wurden, um Datenengpässe für Ihre KI/ML- und Datenanalyse-Arbeitslasten zu beseitigen. Da KI/ML-Modelle immer komplexer werden und Datasets Petabyte-Größen erreichen, wird die Speicherleistung oft zum primären Engpass für teure GPU- und TPU-Cluster. Cloud Storage Rapid nutzt zonale Architekturen, um Ihre Daten näher an Ihre Rechenressourcen zu bringen. So bleiben Ihre Beschleuniger ausgelastet, die Trainingszeiten werden verkürzt und die Gesamtbetriebskosten (TCO) für Ihre anspruchsvollsten Arbeitslasten werden gesenkt.

Cloud Storage Rapid umfasst Rapid Bucket und Rapid Cache.

Daten mit Rapid Bucket in der Speicherklasse Rapid Storage speichern

Rapid Bucket ist eine leistungsstarke, zonale Objektspeicherlösung, mit der Sie Daten in der Rapid Storage-Klasse speichern können, indem Sie eine Zone als Standort eines Buckets definieren. Mit Rapid-Buckets können Sie Ihre Daten in derselben physischen Zone wie Ihre KI-Beschleuniger platzieren und so die niedrigste Latenz und den höchsten Durchsatz unter den Cloud Storage-Produktangeboten erzielen. Rapid Bucket bietet eine Latenz von weniger als einer Millisekunde, einen Gesamtdurchsatz von bis zu 15 TB/s und unterstützt bis zu 20 Millionen Abfragen pro Sekunde (QPS).

Rapid Bucket unterstützt zustandsorientierte, gestreamte Objektanhänge, sodass Anwendungen Daten in Echtzeit in vorhandene Objekte schreiben können. Mit dieser Funktion können Sie teure Objektumschreibungen vermeiden und Daten sofort sichtbar machen, sodass Nutzeranwendungen Daten lesen können, während sie geschrieben werden.

Am besten geeignet für: Training, Prüfpunkte und Bereitstellung von KI-Modellen, die eine extrem niedrige Latenz und eine hohe deterministische Leistung erfordern

Verwenden Sie diese Option, wenn Sie eine dedizierte hohe Leistung für Lese- und Schreibvorgänge benötigen.

Informationen zum Erstellen zonaler Buckets mit Rapid Bucket finden Sie unter Zonale Buckets erstellen.

Zonale Caches mit Rapid Cache erstellen

Rapid Cache ist ein vollständig verwalteter, SSD-gestützter zonaler Lesecache, der mit Ihren vorhandenen regionalen, biregionalen oder multiregionalen Buckets funktioniert, ohne dass API-Änderungen erforderlich sind. Ein Cache bietet Ihnen temporäre Speicherkapazität und Bandbreite, die je nach den Anforderungen Ihrer Arbeitslasten automatisch hoch- oder herunterskaliert werden. Daten werden automatisch von Ihrem Bucket in den Cache aufgenommen, wenn sie von einer VM gelesen werden, die sich in derselben Zone wie der Cache befindet.

Rapid Cache bietet einen Gesamtdurchsatz von 2,5 TB/s und reduziert die Latenz für schnellere Lesevorgänge, indem Ihre Daten in denselben Zonen wie Ihre VMs platziert werden. Daten, die aus einem Cache bereitgestellt werden, werden nicht nur schneller bereitgestellt, sondern können auch niedrigere Gebühren für die Datenübertragung, den Datenabruf und den Betrieb verursachen als Daten, die direkt aus einem Bucket bereitgestellt werden. Weitere Informationen finden Sie unter Vorteile von Rapid Cache.

Am besten geeignet für: Training, Wiederherstellung von Prüfpunkten und Bereitstellung von KI-Modellen, die eine hohe Lesebandbreite aus einem vorhandenen Cloud Storage-Bucket erfordern

Verwenden Sie diese Option, wenn Sie einen vorhandenen Datenspeicher in einem Cloud Storage-Bucket haben, den Sie beschleunigen möchten.

Informationen zur Verwendung von Rapid Cache finden Sie unter Caches erstellen und verwalten.