Google Cloud Managed Lustre 提供不同的性能层级,以满足您的特定工作负载要求和预算。您可以选择为整个文件系统提供持续、可预测性能的层级,也可以选择自动优化大型部分活跃数据集的存储费用的动态层级。
可用层级
下表汇总了 Managed Lustre 可用的性能层级。
| 层级 | 最小容量 | 最大容量 | 步长 |
|---|---|---|---|
| 每 TiB 1000 MBps | 9,000 GiB | 10,008,000 GiB (9.5 PiB) | 对于不超过 2,556,000 GiB 的存储容量:9,000 GiB 对于更大的存储容量:72,000 GiB |
| 每 TiB 500 MBps | 18,000 GiB | 20,016,000 GiB (19.1 PiB) | 对于不超过 5,112,000 GiB 的存储容量:18,000 GiB 对于更大的存储容量:144,000 GiB |
| 每 TiB 250 MBps | 36,000 GiB | 40,032,000 GiB (38.2 PiB) | 对于不超过 10,224,000 GiB 的存储容量:36,000 GiB 对于更大的存储容量:288,000 GiB |
| 每 TiB 125 MBps | 72,000 GiB | 20,448,000 GiB (19.5 PiB) | 72,000 GiB |
| 动态(每 TiB 25 MBps) | 472,000 GiB | 84,016,000 GiB (80.1 PiB) | 472,000 GiB |
实例大小达到特定阈值后,步长会发生变化。
创建实例后,您可以增加实例的存储容量,但不能超过其性能层级和步长允许的最大值。如果您在实例层级的较小步长范围内创建实例,则以后无法将其增加到超出步长阈值。如需了解详情,请参阅 增加容量的限制。
编号层级
编号层级提供一致的高速性能。这些层级非常适合需要为每次数据访问提供高吞吐量和低延迟的工作负载。
您可以在创建实例时选择特定的性能级别,并且整个文件系统将始终提供该吞吐量。性能会随着您预配的存储量而线性扩缩。除了原始吞吐量之外,IOPS 和元数据性能也会随着实例的预配容量和吞吐量而扩缩。
- 每 TiB 1,000 MBps:建议用于吞吐量至关重要的高性能工作负载和 AI/机器学习 训练。
- 每 TiB 500 MBps:适用于要求严苛的 AI/机器学习工作负载、复杂的 HPC 应用和数据密集型分析,这些工作负载需要相当大的吞吐量,但可以从更均衡的性价比中获益。
- 每 TiB 250 MBps:适合广泛的 HPC 工作负载、AI/机器学习 推理、数据预处理,以及需要比传统 NFS 性能好得多且价格经济实惠的应用。
- 每 TiB 125 MBps:专为需要大容量和 并行文件系统访问的场景而设计。适合较少受 I/O 限制的并行任务。
动态层级
动态层级是一种经济高效的解决方案,旨在通过根据数据访问模式自动优化性能来处理不断增长的 AI 和 HPC 数据集。它提供了一个 PB 级统一命名空间,可为存储在高性能缓存中的活跃数据提供高速访问,同时降低大型数据集的总拥有成本。实例可用的总吞吐量以每 TiB 25 MBps 的速度扩缩。
该系统使用自动化政策智能地管理数据放置,有助于确保常用数据保持高性能。此过程对用户和应用是透明的,他们可以作为单个装载点与文件系统进行交互,而无需手动迁移数据或管理开销。
主要优势
- 降低存储费用:通过将大部分数据存储在经济高效的卷存储空间中,降低大型数据集的每字节价格。
- PB 级统一命名空间:将大量不断增长的数据集整合到单个装载点中,而无需在不同的存储系统之间手动迁移数据或对数据进行分层。
- 智能且自动化:透明的块级缓存系统有助于确保高性能存储空间用于最关键的数据。
- 混合性能:为活跃数据提供亚毫秒级延迟,为数据集的非频繁访问部分提供一致的数十毫秒级延迟。
详细的性能规范
请遵循 性能注意事项中的最佳实践,以帮助您的 实例实现这些 IOPS 和元数据性能指标。
IOPS
每 TiB 预配实例容量的最大 IOPS 呈线性扩缩。
| 吞吐量层级 | 读取 IOPS(每 TiB) | 写入 IOPS(每 TiB) |
|---|---|---|
125 MBps per TiB |
725 | 700 |
250 MBps per TiB |
1,450 | 1,400 |
500 MBps per TiB |
2,900 | 2,800 |
1000 MBps per TiB |
5,800 | 5,600 |
Dynamic |
145 | 140 |
元数据操作
最大元数据操作数会根据容量按步长增加。
每个实例都会在最小实例大小(小于标准容量步长)时获得其第一个元数据性能步长。
对于较大的实例,每次总容量超过步长的倍数时,性能都会增加。
| 性能层级 | 容量步长 (GiB) | 每个步长添加的文件统计信息 | 每个步长添加的文件创建数 | 每个步长添加的文件删除数 |
|---|---|---|---|---|
| 每 TiB 1000 MBps | 72,000 | 每秒 410,000 个 | 每秒 115,000 个 | 每秒 95,000 个 |
| 每 TiB 500 MBps | 144,000 | |||
| 每 TiB 250 MBps | 288,000 | |||
| 每 TiB 125 MBps | 576,000 | |||
| 动态 | 3,776,000 | 每秒 275,000 个 | 每秒 115,000 个 | 每秒 130,000 个 |
示例:对于每 TiB 1000 MBps 层级,容量步长为 72,000 GiB。 如果您创建了一个 153,000 GiB 的实例,您将获得 3 个步长的元数据性能:
- 步长 1:在最小实例大小下授予。
- 步长 2:在容量超过 72,000 GiB 时授予。
- 步长 3:在容量超过 144,000 GiB 时授予。
- 步长 4:未达到 。在容量超过 216,000 GiB 时授予。
由于 153,000 GiB 介于 144,000 GiB 和 216,000 GiB 阈值之间,因此该实例获得 3 个步长的性能:每秒最多 1,230,000 个文件统计信息 (3 * 410,000)。