性能层级

Google Cloud Managed Lustre 提供不同的性能层级,以满足您的特定工作负载要求和预算。您可以选择为整个文件系统提供持续、可预测性能的层级,也可以选择动态层级,该层级可自动优化大型部分活跃数据集的存储费用。

可用的层级

下表总结了适用于 Managed Lustre 的性能层级。

层级 最小容量 最大容量 步长
1,000 MBps/TiB 9,000 GiB 10,008,000 GiB (9.5 PiB) 对于最高 2,556,000 GiB 的存储容量:9,000 GiB
对于更大的存储容量:72,000 GiB
500 MBps/TiB 18,000 GiB 20,016,000 GiB (19.1 PiB) 对于最高 5,112,000 GiB 的存储容量:18,000 GiB
对于更大的存储容量:144,000 GiB
250 MBps/TiB 36,000 GiB 40,032,000 GiB (38.2 PiB) 对于最高 10,224,000 GiB 的存储容量:36,000 GiB
对于更大的存储容量:288,000 GiB
125 MBps/TiB 72,000 GiB 20,448,000 GiB (19.5 PiB) 72,000 GiB
动态(每 TiB 25 MBps) 472,000 GiB 84,016,000 GiB (80.1 PiB) 472,000 GiB

当实例大小达到特定阈值时,步长会发生变化。

创建实例后,您可以增加其存储容量,但不得超过其性能层级和步长所允许的最大值。如果您创建的实例的大小在其所属层级的较小步长范围内,则以后无法将其增加到超出步长阈值。如需了解详情,请参阅增加容量的限制

编号层级

编号层级可提供始终如一的高速性能。这些层级非常适合需要高吞吐量和低延迟数据访问的工作负载。

您可以在创建实例时选择特定的性能级别,并且系统会为整个文件系统持续提供该吞吐量。性能随您预配的存储量呈线性比例关系。除了原始吞吐量之外,IOPS 和元数据性能也会随着实例的预配容量和吞吐量而扩缩。

  • 每 TiB 1,000 MBps:建议用于吞吐量至关重要的高性能工作负载和 AI/机器学习训练。
  • 每 TiB 500 MB/秒:适合要求严苛的 AI/机器学习工作负载、复杂的 HPC 应用和数据密集型分析,这些工作负载需要相当大的吞吐量,但可以从更均衡的性价比中获益。
  • 每 TiB 250 MBps:适合广泛的 HPC 工作负载、AI/机器学习推理、数据预处理,以及需要比传统 NFS 性能好得多且价格经济实惠的应用。
  • 每 TiB 125 MBps:专为需要大容量和并行文件系统访问的场景而设计。适合较少受 I/O 限制的并行任务。

动态层级

动态层是一种经济高效的解决方案,旨在通过根据数据访问模式自动优化性能来处理不断增长的 AI 和 HPC 数据集。它提供 PB 级单一统一的命名空间,可为存储在高性能缓存中的活跃数据提供高速访问,同时降低大型数据集的总拥有成本。实例可用的总吞吐量会以每 TiB 25 MBps 的速率进行扩缩。

系统会使用自动化政策智能管理数据放置,以确保常用数据保持高性能。此过程对用户和应用是透明的,用户和应用会与文件系统进行交互,就像文件系统是一个装载点一样,无需手动迁移数据或管理开销。

主要优势

  • 降低存储费用:通过将大部分数据存储在经济实惠的卷存储空间中,降低大型数据集的每字节价格。
  • PB 级单命名空间:将不断增长的海量数据集整合到单个装载点,无需在不同存储系统之间手动迁移或分层数据。
  • 智能且自动化:透明的块级缓存系统有助于确保高性能存储空间用于最关键的数据。
  • 混合性能:对于活跃数据,可实现亚毫秒级延迟时间;对于数据集中访问频率较低的部分,可实现数十毫秒的稳定延迟时间。

详细的性能规格

请遵循性能注意事项中的最佳实践,帮助您的实例实现这些 IOPS 和元数据性能指标。

IOPS

IOPS 上限随预配的实例容量线性扩缩(以 TiB 为单位)。

吞吐量层级 读取 IOPS(每 TiB) 写入 IOPS(每 TiB)
125 MBps per TiB 725 700
250 MBps per TiB 1,450 1400
500 MBps per TiB 2,900 2,800
1000 MBps per TiB 5,800 5,600
Dynamic 145 140

元数据操作

元数据操作上限会根据容量逐步增加。

每个实例都会在最小实例大小(小于标准容量步长)下获得其第一个元数据性能步长。

对于较大的实例,每次总容量超过步长的倍数时,性能都会有所提升。

性能层 容量步长(GiB) 添加了每个步骤的文件统计信息 添加了每个步骤的文件创建 按步骤添加了文件删除操作
每 TiB 1000 MBps 72,000 每秒 41 万次 每秒 115,000 次 每秒 95,000 次
每 TiB 500 MBps 144,000
每 TiB 250 MBps 288,000
每 TiB 125 MBps 576,000
动态 3,776,000 每秒 275,000 次 每秒 115,000 次 每秒 13 万次

示例:对于每 TiB 1, 000 MBps 的层级,容量步长为 72,000 GiB。 如果您创建 153,000 GiB 的实例,则会获得 3 个步长的元数据性能:

  • 第 1 步:以最小实例大小授予。
  • 第 2 步:当容量超过 72,000 GiB 时授予。
  • 第 3 步:当容量超过 144,000 GiB 时授予。
  • 第 4 步:未达到。当容量超过 216,000 GiB 时授予。

由于 153,000 GiB 介于 144,000 GiB 和 216,000 GiB 阈值之间,因此实例可获得三个级别的性能:每秒最多 1,230,000 个文件统计信息(3 * 410,000)。

后续步骤