Cloud Storage bietet eine Vielzahl von Optionen, mit denen Sie Ihre Datenspeicherung für Anwendungsfälle optimieren können, die eine hohe Leistung erfordern, z. B. künstliche Intelligenz (KI), maschinelles Lernen (ML) und datenintensive Analysen. Auf dieser Seite werden diese Optionen vorgestellt und Sie erhalten eine Anleitung zur Auswahl einer Option, die für die Anforderungen Ihrer Arbeitslasten geeignet ist.
Die Cloud Storage Rapid-Produktfamilie
Cloud Storage Rapid ist eine Familie von Hochleistungsprodukten in Cloud Storage, die entwickelt wurden, um Datenengpässe für Ihre KI/ML- und Datenanalyse-Arbeitslasten zu beseitigen. Da KI/ML-Modelle immer komplexer werden und Datensätze Petabyte-Größen erreichen, wird die Speicherleistung oft zum primären Engpass für teure GPU- und TPU-Cluster. Cloud Storage Rapid nutzt zonale Architekturen, um Ihre Daten näher an Ihre Rechenressourcen zu bringen. So können Sie die Auslastung Ihrer Beschleuniger maximieren, die Trainingszeiten verkürzen und die Gesamtbetriebskosten für Ihre anspruchsvollsten Arbeitslasten senken.
Cloud Storage Rapid umfasst Rapid Bucket und Rapid Cache.
Daten in der Speicherklasse „Rapid“ mit Rapid Bucket speichern
Rapid Bucket ist eine zonale Hochleistungs-Objektspeicherlösung, mit der Sie Daten in der Speicherklasse „Rapid“ speichern können, indem Sie eine Zone als Standort eines Buckets definieren. Mit Rapid Bucket können Sie Ihre Daten in derselben physischen Zone wie Ihre KI-Beschleuniger platzieren und so die niedrigste Latenz und den höchsten Durchsatz unter den anderen Cloud Storage-Produktangeboten erzielen. Rapid Bucket bietet eine Latenz von weniger als einer Millisekunde, einen aggregierten Durchsatz von bis zu 15 TB/s und unterstützt bis zu 20 Millionen Abfragen pro Sekunde.
Rapid Bucket unterstützt zustandsbehaftete Streaming-Objektanhänge, sodass Anwendungen Daten in Echtzeit in vorhandene Objekte schreiben können. Mit dieser Funktion können Sie teure Objektneuschreibungen vermeiden und Daten sind sofort sichtbar, sodass Nutzeranwendungen Daten lesen können, während sie geschrieben werden.
Am besten geeignet für: Training, Checkpointing und Bereitstellung von KI-Modellen, die eine extrem niedrige Latenz und eine hohe deterministische Leistung erfordern
Verwenden Sie diese Option, wenn: Sie eine dedizierte hohe Leistung für Lese- und Schreibvorgänge benötigen
Informationen zum Erstellen von zonalen Buckets mit Rapid Bucket finden Sie unter Zonale Buckets erstellen.
Zonale Caches mit Rapid Cache erstellen
Rapid Cache ist ein vollständig verwalteter, SSD-gestützter zonaler Lesecache, der mit Ihren vorhandenen regionalen, dualregionalen oder multiregionalen Buckets funktioniert, ohne dass API-Änderungen erforderlich sind. Ein Cache bietet temporäre Speicherkapazität und Bandbreite, die je nach Bedarf Ihrer Arbeitslasten automatisch hoch- oder herunterskaliert werden. Daten werden automatisch von Ihrem Bucket in den Cache aufgenommen, wenn sie von einer VM gelesen werden, die sich in derselben Zone wie der Cache befindet.
Rapid Cache bietet einen aggregierten Durchsatz von 2,5 TB/s und reduziert die Latenz für schnellere Lesevorgänge, indem Ihre Daten in denselben Zonen wie Ihre VMs platziert werden. Daten, die aus einem Cache bereitgestellt werden, können nicht nur schneller bereitgestellt werden, sondern auch niedrigere Gebühren für die Datenübertragung, den Datenabruf und den Betrieb verursachen als Daten, die direkt aus einem Bucket bereitgestellt werden. Weitere Informationen finden Sie unter Vorteile von Rapid Cache.
Am besten geeignet für: Training, Checkpointing-Wiederherstellungen und Bereitstellung von KI-Modellen, die eine hohe Lesebandbreite aus einem vorhandenen Cloud Storage-Bucket erfordern
Verwenden Sie diese Option, wenn: Sie vorhandene Datenspeicher in einem Cloud Storage Bucket haben, die Sie beschleunigen möchten
Informationen zur Verwendung von Rapid Cache finden Sie unter Caches erstellen und verwalten.