벤치마킹 레시피

워크로드 실행을 지원하기 위해 가장 일반적인 머신러닝(ML) 프레임워크와 모델을 사용하는 재현 가능한 벤치마크 레시피를 선별했습니다. 이러한 파일은 GitHub 저장소에 저장됩니다. 이러한 저장소에 액세스하려면 AI 하이퍼컴퓨터 GitHub 조직을 참고하세요. 이러한 벤치마크 레시피는 Cluster Toolkit을 사용하여 생성된 클러스터에서 테스트했습니다.

중요: 벤치마크 레시피는 미래 예약을 사용하는 VM에서만 지원됩니다.

개요

이 레시피를 시작하기 전에 다음 단계를 완료했는지 확인하세요.

1. 워크로드에 가장 적합한 액셀러레이터를 선택합니다. 배포 전략 선택을 참고하세요.
2. 선택한 가속기를 기반으로 소비 방법을 선택합니다(소비 옵션 참고).
3. 선택한 가속기 유형에 따라 클러스터를 만듭니다. 클러스터 배포 가이드를 참고하세요.

레시피

다음 재현 가능한 벤치마크 레시피는 GKE 클러스터의 사전 학습 및 추론에 사용할 수 있습니다.

카탈로그를 검색하려면 프레임워크, 모델, 가속기를 조합하여 필터링하면 됩니다.

NeMo MaxText SGLang TensorRT-LLM vLLM DeepSeek R1 671B GPT3-175B Llama3 70B Llama3.1 70B Llama-3.1-405B Mixtral-8-7B A3 Ultra A3 Mega 추론 사전 학습

모두 지우기

레시피 이름	가속기	모델	Framework	워크로드 유형
Llama3.1 70B - A3 Ultra	A3 Ultra	Llama3.1 70B	MaxText	GKE에서 사전 학습
Llama3.1 70B - A3 Ultra	A3 Ultra	Llama3.1 70B	NeMo	GKE에서 사전 학습
Mixtral-8-7B - A3 Ultra	A3 Ultra	Mixtral-8-7B	NeMo	GKE에서 사전 학습
GPT3-175B - A3 Mega	A3 Mega	GPT3-175B	NeMo	GKE에서 사전 학습
Mixtral 8x7B - A3 Mega	A3 Mega	Mixtral 8x7B	NeMo	GKE에서 사전 학습
Llama3 70B - A3 Mega	A3 Mega	Llama3 70B	NeMo	GKE에서 사전 학습
Llama3.1 70B A3 Mega	A3 Mega	Llama3.1 70B	NeMo	GKE에서 사전 학습
DeepSeek R1 671B	A3 Mega	DeepSeek R1 671B	SGLang	GKE에서의 추론
DeepSeek R1 671B	A3 Mega	DeepSeek R1 671B	vLLM	GKE에서의 추론
Llama-3.1-405B - A3 Ultra	A3 Ultra	Llama-3.1-405B	MaxText	GKE에서 사전 학습
Llama-3.1-405B - A3 Ultra (복원력)	A3 Ultra	Llama-3.1-405B	NeMo	GKE에서 사전 학습
Llama-3.1-405B - A3 Ultra	A3 Ultra	Llama-3.1-405B	NeMo	GKE에서 사전 학습
DeepSeek R1 671B	A3 Ultra	DeepSeek R1 671B	SGLang	GKE에서의 추론
DeepSeek R1 671B	A3 Ultra	DeepSeek R1 671B	vLLM	GKE에서의 추론