本文档简要介绍了 Cloud Storage 的 AI 区域。AI 可用区是专门的 Google Cloud 可用区,旨在为人工智能 (AI) 和机器学习 (ML) 工作负载提供计算容量。它们提供大量的机器学习加速器(GPU 和 TPU)容量。
AI 可用区针对 AI 和机器学习工作负载进行了优化,例如:
- 大规模训练
- 小规模训练、微调、批量推理和重新训练
- 实时机器学习推理
如需了解 AI 可用区的背景信息,请参阅 Compute Engine 文档中的 AI 可用区。
在某个区域内,AI 可用区可能在地理位置上远离标准(非 AI)可用区。
AI 可用区与其他 Cloud Storage 和 Google Cloud功能兼容。
存储架构建议
我们建议您使用分层存储架构来平衡费用、耐用性和性能:
冷存储层:在标准可用区中使用区域级 Cloud Storage 存储桶,为训练数据集和模型检查点提供持久性存储(“可信来源”)。
性能层:使用专用可用区级存储服务作为高速缓存或临时暂存空间。此方法可消除可用区之间的延迟时间,并在作业处于活跃状态时最大限度地提高吞吐量。
建议使用以下存储解决方案,以通过 AI 可用区优化 AI 和机器学习系统性能:
| 存储服务或产品 | 说明 | 使用场景 |
|---|---|---|
| Cloud Storage 的 Rapid Cache 产品 |
一种全代管式、由 SSD 提供支持的可用区级读取缓存,可将存储桶中频繁读取的数据引入 AI 可用区。 在 AI 可用区中为包含您要提供服务的训练数据集或模型的区域级源存储桶创建 Rapid Cache 实例。当训练作业读取文件时,该文件会被拉取到可用区内的快速缓存中。后续读取操作直接从缓存中提供,绕过区域网络。这非常适合模型训练中的重复数据访问模式以及低延迟模型部署。 |
建议用于:
|
| Cloud Storage 的 Rapid Bucket 产品 |
一项高性能功能,可让您将存储桶置于可用区中,并使用 Rapid Storage 存储类别。针对 I/O 密集型工作负载进行了优化,专为需要与要访问的数据共置的 AI/机器学习应用而设计。 如需针对需要低延迟和高吞吐量的工作负载优化数据存储区,请创建使用 Rapid Storage 的可用区级存储桶,然后使用 Cloud Storage FUSE 将该存储桶作为目录装载到虚拟机上。然后,您可以将应用配置为通过存储桶的装载点在可用区级存储桶中存储或访问数据。例如,如需将模型检查点存储在可用区级存储桶中,请在训练代码中将检查点目录配置为装载点。 为了实现区域级弹性,您可以将检查点备份到单区域、多区域或双区域存储桶。使用 Storage Transfer Service 将数据从可用区级存储桶移至其他位置的存储桶。使用对象生命周期管理在设定的时间段后使数据过期并删除数据。 |
建议用于:
|
最佳做法
使用 AI 专区时,请遵循以下存储最佳实践:
在计算资源所在的 AI 可用区中预配性能层。将计算和存储放在同一位置有助于确保 GPU 和 TPU 保持满负荷运行,从而最大限度地提高“有效吞吐量”(有用的吞吐量)。
对于 Rapid Cache,在开始主要训练周期之前,请先预读数据集,以填充或预热 SSD 支持的缓存。
可用的 AI 专区
下表显示了 AI 可用区及其父级 Google Cloud区域。
| 地理区域 | 父级区域 | AI 可用区 |
|---|---|---|
| 欧洲 | europe-west4 |
europe-west4-ai1a |
| 美国 | us-central1 |
us-central1-ai1a |
| 美国 | us-south1 |
us-south1-ai1b |
注意事项
您可以从 Google Cloud 区域的 AI 可用区访问该区域中的 Google Cloud 产品。不过,从 AI 可用区访问 Google Cloud区域中的服务可能会增加网络延迟时间,因为 AI 可用区的位置可能与该区域的标准可用区的位置在物理上是分开的。
我们建议您在标准可用区(而非 AI 可用区)中运行非机器学习工作负载,因为 AI 可用区不提供所有本地 Google Cloud 服务。
后续步骤
- 创建存储桶。
- 详细了解 Rapid Cache。
- 了解 Cloud Storage 存储桶位置。
- 阅读针对 AI 和机器学习工作负载的架构中心设计指南。