本文档针对不同的人工智能 (AI)、机器学习 (ML) 和高性能计算 (HPC) 工作负载，提供了有关最适合的加速器、消费类型和部署工具的建议。本文档可帮助您确定最适合工作负载的部署。
如需了解有关 AI、机器学习和 HPC 工作负载的基础设施支柱的信息和建议，请参阅以下文档：
工作负载概览
AI Hypercomputer 架构支持以下用例：
| 工作负载 | 说明 | 建议 |
|---|---|---|
| 预训练基础模型 | 这涉及使用大型数据集构建语言模型。预训练基础模型的结果是获得一个擅长执行通用任务的新模型。 模型按大小分为以下几类：
|
请参阅 预训练模型的建议 |
| 微调 | 这涉及使用专门的数据集或其他技术，将训练好的模型调整为执行特定任务。 微调通常针对大型模型进行。 | 请参阅 有关微调模型的建议 |
| 推理或部署 | 这涉及将训练好的模型或微调后的模型提供给用户或应用使用。 推理工作负载根据模型大小分为以下几类：
|
请参阅 推理建议 |
| 中小型模型机器学习 | 这涉及训练和部署规模和复杂性较小的机器学习模型，通常用于更专业的任务。 | 请参阅 针对中小型模型机器学习的建议 |
| HPC | 这种做法用于聚合计算资源，获得的性能要优于单个工作站、服务器或计算机的性能。HPC 用于解决学术研究、科学、设计、模拟和商业智能方面的问题。 | 请参阅 HPC 建议 |
预训练模型的建议
预训练基础模型需要使用大型加速器集群，持续读取大量数据，并通过前向和后向传递调整权重，以便从数据中学习。这些训练作业一次运行数周甚至数月。
以下部分概述了预训练模型时使用的加速器和推荐的使用类型。
推荐的加速器
如需在 Google Cloud上对基础模型进行预训练，我们建议您使用A4X Max、A4 或 A3 加速器优化型机器类型，并使用编排器来部署集群。如需部署这些大型加速器集群，我们建议您使用 Cluster Director 或 Cluster Toolkit。如需了解详情，请参阅下表中您选择的集群的相应部署指南。
| 工作负载 | 建议 | 集群部署指南 | |
|---|---|---|---|
| 机器类型 | 编排器 | ||
|
|
GKE | 创建具有默认配置的 AI 优化型 GKE 集群 |
| Slurm | |||
|
A3 Mega | GKE | 在 Standard 模式集群中最大限度地提高 GPU 网络带宽 |
| Slurm | |||
|
A3 High | GKE | 在 Standard 模式集群中最大限度地提高 GPU 网络带宽 |
| Slurm | 部署 A3 High Slurm 集群 | ||
建议的消费类型
为了确保获得大型加速器集群，我们建议您使用预留。具体而言，为了尽可能降低预留资源的费用，我们建议您请求的预留时长应足以获得承诺使用折扣。如需详细了解消费类型，请参阅选择消费选项。
微调模型的建议
对大型基础模型进行微调涉及使用较小的加速器集群、读取适量的数据，并调整模型以执行特定任务。这些微调作业会运行数天甚至数周。
以下部分概述了微调模型时建议使用的加速器和消费类型。
推荐的加速器
如需在 Google Cloud上对模型进行微调，建议您使用A4X Max、A4X、A4 或 A3 加速器优化型机器类型，并使用编排器来部署集群。
如需部署这些加速器集群，我们还建议您使用 Cluster Director 或 Cluster Toolkit。如需了解详情，请参阅下表中您选择的机器类型对应的集群部署指南。
| 工作负载 | 建议 | 集群部署指南 | |
|---|---|---|---|
| 机器类型 | 编排器 | ||
| 微调大型模型 |
|
GKE | 创建具有默认配置的 AI 优化型 GKE 集群 |
| Slurm | |||
| 微调大型模型 | A3 Mega | GKE | 在 Standard 模式集群中最大限度地提高 GPU 网络带宽 |
| Slurm | |||
| 微调大型模型 | A3 High | GKE | 在 Standard 模式集群中最大限度地提高 GPU 网络带宽 |
| Slurm | 部署 A3 High Slurm 集群 | ||
建议的消费类型
对于微调工作负载，我们建议使用日历模式下的未来预留来预配资源。如需详细了解使用选项，请参阅选择使用选项。
关于推理建议
以下部分概述了在执行推理时建议使用的加速器和消耗类型。
推荐的加速器
建议用于推理的加速器取决于您是执行多主机前沿模型推理/大型模型推理，还是单主机前沿模型推理。
推荐的加速器（多主机）
若要在 Google Cloud上执行多主机前沿模型或大型模型推理，建议您使用A4X Max、A4X、A4 或 A3 加速器优化的机器类型，并使用编排器部署机器。为了部署这些加速器集群，我们还建议您使用 Cluster Director 或 Cluster Toolkit。为了帮助您开始使用这些集群，我们提供了指向每种推荐机器类型的集群部署指南的链接。
| 工作负载 | 建议 | 集群部署指南 | |
|---|---|---|---|
| 机器类型 | 编排器 | ||
| 多主机前沿推理 |
|
GKE | 创建具有默认配置的 AI 优化型 GKE 集群 |
| Slurm | |||
| 多主机前沿推理 | A3 Mega | GKE | 在 Standard 模式集群中最大限度地提高 GPU 网络带宽 |
| Slurm | |||
| 大型模型推理 | A3 High | GKE | 在 Standard 模式集群中最大限度地提高 GPU 网络带宽 |
| Slurm | 部署 A3 High Slurm 集群 | ||
推荐的加速器（单个主机）
下表列出了执行单主机前沿推理时建议使用的加速器。为了帮助您开始使用这些虚拟机，我们提供了指向每种推荐机器类型的虚拟机部署指南的链接。
| 工作负载 | 建议 | 虚拟机部署指南 | |
|---|---|---|---|
| 机器类型 | 编排器 | ||
| 单主机前沿推理 |
|
不适用 | 创建经过 AI 优化的实例 |
| 单主机前沿推理 | A3 High | 不适用 | 创建启用了 GPUDirect-TCPX 的 A3 虚拟机 |
建议的消费类型
对于推理，我们建议使用长期预留或日历模式下的未来预留。如需详细了解消费选项，请参阅选择消费选项。
针对中小型模型机器学习的建议
对于涉及中小型模型的机器学习工作负载，在价格和性能之间实现最佳平衡是主要考虑因素。
推荐的加速器
下表概述了建议用于中小型模型机器学习工作负载的加速器。
| 工作负载 | 建议 | 虚拟机部署指南 | |
|---|---|---|---|
| 机器类型 | 编排器 | ||
| 中小型模型机器学习 |
|
不适用 | 创建 G2 或 G4 实例 |
HPC 建议
对于 HPC 工作负载，任何加速器优化机器系列或计算优化机器系列都适合。 如果使用加速器优化机器系列，最佳选择取决于必须分流到 GPU 的计算量。如需详细了解针对 HPC 工作负载的建议，请参阅运行 HPC 工作负载的最佳实践。
建议摘要
下表总结了针对不同工作负载，我们建议使用哪种加速器和消费类型。
资源 |
建议 |
|---|---|
| 模型预训练 | |
| 机器家族 | 使用以下任一加速器优化型机器类型：A4X Max、A4X、A4、A3 Ultra、A3 Mega 或 A3 High |
| 消费类型 | 使用预留 |
| 模型微调 | |
| 机器家族 | 使用 A4X Max、A4X、A4 或 A3 加速器优化型机器类型 |
| 消费类型 | 使用预留 |
| 推理 | |
| 机器家族 | 使用以下任一加速器优化型机器类型：A4X Max、A4X、A4、A3 Ultra、A3 Mega 或 A3 High |
| 消费类型 | 使用预留 |
| HPC | |
| 请参阅运行 HPC 工作负载的最佳实践的摘要部分 | |