Google Cloud Managed Lustre 提供不同的性能层级,以满足您的特定工作负载要求和预算。您可以选择为整个文件系统提供持续、可预测性能的层级,也可以选择动态层级,该层级可自动优化大型部分活跃数据集的存储费用。
可用的层级
下表总结了适用于 Managed Lustre 的性能层级。
| 层级 | 最小容量 | 最大容量 | 步长 |
|---|---|---|---|
| 1,000 MBps/TiB | 9,000 GiB | 10,008,000 GiB (9.5 PiB) | 对于最高 2,556,000 GiB 的存储容量:9,000 GiB 对于更大的存储容量:72,000 GiB |
| 500 MBps/TiB | 18,000 GiB | 20,016,000 GiB (19.1 PiB) | 对于最高 5,112,000 GiB 的存储容量:18,000 GiB 对于更大的存储容量:144,000 GiB |
| 250 MBps/TiB | 36,000 GiB | 40,032,000 GiB (38.2 PiB) | 对于最高 10,224,000 GiB 的存储容量:36,000 GiB 对于更大的存储容量:288,000 GiB |
| 125 MBps/TiB | 72,000 GiB | 20,448,000 GiB (19.5 PiB) | 72,000 GiB |
| 动态(每 TiB 25 MBps) | 472,000 GiB | 84,016,000 GiB (80.1 PiB) | 472,000 GiB |
当实例大小达到特定阈值时,步长会发生变化。
创建实例后,您可以增加其存储容量,但不得超过其性能层级和步长所允许的最大值。如果您创建的实例的大小在其所属层级的较小步长范围内,则以后无法将其增加到超出步长阈值。如需了解详情,请参阅增加容量的限制。
编号层级
编号层级可提供始终如一的高速性能。这些层级非常适合需要高吞吐量和低延迟数据访问的工作负载。
您可以在创建实例时选择特定的性能级别,并且系统会为整个文件系统持续提供该吞吐量。性能随您预配的存储量呈线性比例关系。除了原始吞吐量之外,IOPS 和元数据性能也会随着实例的预配容量和吞吐量而扩缩。
- 每 TiB 1,000 MBps:建议用于吞吐量至关重要的高性能工作负载和 AI/机器学习训练。
- 每 TiB 500 MB/秒:适合要求严苛的 AI/机器学习工作负载、复杂的 HPC 应用和数据密集型分析,这些工作负载需要相当大的吞吐量,但可以从更均衡的性价比中获益。
- 每 TiB 250 MBps:适合广泛的 HPC 工作负载、AI/机器学习推理、数据预处理,以及需要比传统 NFS 性能好得多且价格经济实惠的应用。
- 每 TiB 125 MBps:专为需要大容量和并行文件系统访问的场景而设计。适合较少受 I/O 限制的并行任务。
动态层级
动态层是一种经济高效的解决方案,旨在通过根据数据访问模式自动优化性能来处理不断增长的 AI 和 HPC 数据集。它提供 PB 级单一统一的命名空间,可为存储在高性能缓存中的活跃数据提供高速访问,同时降低大型数据集的总拥有成本。实例可用的总吞吐量会以每 TiB 25 MBps 的速率进行扩缩。
系统会使用自动化政策智能管理数据放置,以确保常用数据保持高性能。此过程对用户和应用是透明的,用户和应用会与文件系统进行交互,就像文件系统是一个装载点一样,无需手动迁移数据或管理开销。
主要优势
- 降低存储费用:通过将大部分数据存储在经济实惠的卷存储空间中,降低大型数据集的每字节价格。
- PB 级单命名空间:将不断增长的海量数据集整合到单个装载点,无需在不同存储系统之间手动迁移或分层数据。
- 智能且自动化:透明的块级缓存系统有助于确保高性能存储空间用于最关键的数据。
- 混合性能:对于活跃数据,可实现亚毫秒级延迟时间;对于数据集中访问频率较低的部分,可实现数十毫秒的稳定延迟时间。
详细的性能规格
请遵循性能注意事项中的最佳实践,帮助您的实例实现这些 IOPS 和元数据性能指标。
IOPS
IOPS 上限随预配的实例容量线性扩缩(以 TiB 为单位)。
| 吞吐量层级 | 读取 IOPS(每 TiB) | 写入 IOPS(每 TiB) |
|---|---|---|
125 MBps per TiB |
725 | 700 |
250 MBps per TiB |
1,450 | 1400 |
500 MBps per TiB |
2,900 | 2,800 |
1000 MBps per TiB |
5,800 | 5,600 |
Dynamic |
145 | 140 |
元数据操作
元数据操作上限会根据容量逐步增加。
每个实例都会在最小实例大小(小于标准容量步长)下获得其第一个元数据性能步长。
对于较大的实例,每次总容量超过步长的倍数时,性能都会有所提升。
| 性能层 | 容量步长(GiB) | 添加了每个步骤的文件统计信息 | 添加了每个步骤的文件创建 | 按步骤添加了文件删除操作 |
|---|---|---|---|---|
| 每 TiB 1000 MBps | 72,000 | 每秒 41 万次 | 每秒 115,000 次 | 每秒 95,000 次 |
| 每 TiB 500 MBps | 144,000 | |||
| 每 TiB 250 MBps | 288,000 | |||
| 每 TiB 125 MBps | 576,000 | |||
| 动态 | 3,776,000 | 每秒 275,000 次 | 每秒 115,000 次 | 每秒 13 万次 |
示例:对于每 TiB 1, 000 MBps 的层级,容量步长为 72,000 GiB。 如果您创建 153,000 GiB 的实例,则会获得 3 个步长的元数据性能:
- 第 1 步:以最小实例大小授予。
- 第 2 步:当容量超过 72,000 GiB 时授予。
- 第 3 步:当容量超过 144,000 GiB 时授予。
- 第 4 步:未达到。当容量超过 216,000 GiB 时授予。
由于 153,000 GiB 介于 144,000 GiB 和 216,000 GiB 阈值之间,因此实例可获得三个级别的性能:每秒最多 1,230,000 个文件统计信息(3 * 410,000)。