使用 Cloud Storage Rapid 优化 AI/机器学习和数据分析的存储

Cloud Storage 提供多种选项,可帮助您针对需要高性能的用例(例如人工智能 (AI)、机器学习 (ML) 和数据密集型分析)优化数据存储。本页将向您介绍这些选项,并指导您选择适合工作负载需求的选项。

Cloud Storage Rapid 产品系列

Cloud Storage Rapid 是 Cloud Storage 中的一系列高性能产品,旨在消除 AI/机器学习和数据分析工作负载的数据瓶颈。随着 AI/机器学习模型的复杂性不断提高,数据集达到 PB 级,存储性能通常会成为昂贵的 GPU 和 TPU 集群的主要瓶颈。Cloud Storage Rapid 利用可用区架构,让数据更靠近计算资源,有助于加速器保持饱和状态,缩短训练时间,并降低最严苛工作负载的总拥有成本 (TCO)。

Cloud Storage Rapid 包括 Rapid Bucket 和 Rapid Cache。

使用 Rapid Bucket 将数据存储在 Rapid Storage 存储类别中

Rapid Bucket 是一种高性能的可用区级对象存储解决方案,可让您通过将可用区定义为存储桶的位置,将数据存储在 Rapid 存储类别中。借助 Rapid Bucket,您可以将数据与 AI 加速器放置在同一物理可用区中,并帮助您在其他 Cloud Storage 产品中实现最低的延迟和最高的吞吐量。 Rapid Bucket 可提供亚毫秒级延迟、高达 15 TB/秒 的总吞吐量,并支持高达 2,000 万次每秒查询次数 (QPS)。

Rapid Bucket 支持有状态的流式对象追加,允许应用实时将数据写入现有对象。借助此功能,您可以避免昂贵的对象重写,并实现即时数据可见性,从而允许消费者应用在写入数据时读取数据。

最适合用于:训练、检查点和部署需要 超低延迟和高确定性性能的 AI 模型

如果需要:为读取和 写入提供专用高性能,请使用此选项

如需了解如何使用 Rapid Bucket 创建可用区级存储分区,请参阅 创建可用区级存储分区

使用 Rapid Cache 创建可用区级缓存

Rapid Cache 是一种全代管式、由固态硬盘提供支持的可用区级读取缓存,可与现有的区域级、双区域或多区域存储分区搭配使用,而无需更改 API。缓存可提供临时存储容量和带宽,这些容量和带宽会根据工作负载的需求自动扩缩。当数据由缓存所在可用区中的虚拟机读取时,系统会自动将数据从存储桶注入到缓存中。

Rapid Cache 可提供 2.5 TB/秒 的总吞吐量,并通过将数据与虚拟机放置在同一可用区中来缩短延迟,从而加快读取速度。 除了更快地提供数据之外,与直接从存储桶提供的数据相比,从缓存提供的数据可能会产生更低的数据传输费用、数据检索费用和运营费用。如需了解详情,请参阅 Rapid Cache 的优势。

最适合用于:训练、检查点恢复和部署需要从现有 Cloud Storage 存储桶中获取高读取带宽的 AI 模型

如果需要:加速 Cloud Storage 存储桶中的现有数据存储,请使用此选项

如需了解如何使用 Rapid Cache,请参阅创建和管理缓存