基准化分析方案

为了帮助您运行工作负载，我们精心挑选了一组可重现的基准测试配方，这些配方使用了一些最常见的机器学习 (ML) 框架和模型。这些配方存储在 GitHub 代码库中。如需访问 这些代码库，请参阅 AI Hypercomputer GitHub 组织。 这些基准测试配方已在通过 Cluster Toolkit 创建的集群上进行过测试。

重要提示： 基准测试配方仅适用于使用 未来预留的虚拟机。

概览

在开始使用这些配方之前，请确保您已完成以下步骤：

1. 选择最适合您工作负载的加速器。请参阅 选择部署策略。
2. 根据您选择的加速器选择使用方法，请参阅 使用选项。
3. 根据所选加速器的类型创建集群。请参阅 集群部署指南。

配方

以下可重现的基准测试配方可用于在 GKE 集群上进行预训练和推理。

如需搜索目录，您可以按框架、模型和加速器的组合进行过滤。

NeMo MaxText SGLang TensorRT-LLM vLLM DeepSeek R1 671B GPT3-175B Llama3 70B Llama3.1 70B Llama-3.1-405B Mixtral-8-7B A3 Ultra A3 Mega 推理 预训练

全部清除

配方名称	加速器	模型	框架	工作负载类型
Llama3.1 70B - A3 Ultra	A3 Ultra	Llama3.1 70B	MaxText	GKE 上的预训练
Llama3.1 70B - A3 Ultra	A3 Ultra	Llama3.1 70B	NeMo	GKE 上的预训练
Mixtral-8-7B - A3 Ultra	A3 Ultra	Mixtral-8-7B	NeMo	GKE 上的预训练
GPT3-175B - A3 Mega	A3 Mega	GPT3-175B	NeMo	GKE 上的预训练
Mixtral 8x7B - A3 Mega	A3 Mega	Mixtral 8x7B	NeMo	GKE 上的预训练
Llama3 70B - A3 Mega	A3 Mega	Llama3 70B	NeMo	GKE 上的预训练
Llama3.1 70B A3 Mega	A3 Mega	Llama3.1 70B	NeMo	GKE 上的预训练
DeepSeek R1 671B	A3 Mega	DeepSeek R1 671B	SGLang	GKE 上的推理
DeepSeek R1 671B	A3 Mega	DeepSeek R1 671B	vLLM	GKE 上的推理
Llama-3.1-405B - A3 Ultra	A3 Ultra	Llama-3.1-405B	MaxText	GKE 上的预训练
Llama-3.1-405B - A3 Ultra（弹性）	A3 Ultra	Llama-3.1-405B	NeMo	GKE 上的预训练
Llama-3.1-405B - A3 Ultra	A3 Ultra	Llama-3.1-405B	NeMo	GKE 上的预训练
DeepSeek R1 671B	A3 Ultra	DeepSeek R1 671B	SGLang	GKE 上的推理
DeepSeek R1 671B	A3 Ultra	DeepSeek R1 671B	vLLM	GKE 上的推理