이 문서에서는 다양한 인공지능 (AI), 머신러닝 (ML), 고성능 컴퓨팅 (HPC) 워크로드에 가장 적합한 가속기, 소비 옵션, 배포 도구를 추천합니다. 이 문서를 사용하여 워크로드에 가장 적합한 배포를 식별하세요.
AI, ML, HPC 워크로드의 인프라 핵심 요소에 관한 정보와 권장사항은 다음 문서를 참고하세요.
워크로드 개요
AI 하이퍼컴퓨터 아키텍처는 다음 사용 사례를 지원합니다.
| 워크로드 | 설명 | 추천 |
|---|---|---|
| 파운데이션 모델 사전 학습 | 여기에는 대규모 데이터 세트를 사용하여 언어 모델을 빌드하는 작업이 포함됩니다. 파운데이션 모델을 사전 학습한 결과는 일반 작업을 잘 수행하는 새로운 모델입니다. 모델은 크기에 따라 다음과 같이 분류됩니다.
|
모델 사전 학습에 대한 권장사항을 참고하세요. |
| 세부 조정 | 여기에는 학습된 모델을 가져와 전문 데이터 세트나 기타 기법을 사용하여 특정 작업을 수행하도록 조정하는 것이 포함됩니다. 일반적으로 대규모 모델에서 미세 조정이 실행됩니다. | 모델 미세 조정 권장사항을 참고하세요. |
| 추론 또는 서빙 | 여기에는 학습되거나 미세 조정된 모델을 가져와서 사용자나 애플리케이션이 사용할 수 있도록 만드는 작업이 포함됩니다. 추론 워크로드는 모델 크기에 따라 다음과 같이 분류됩니다.
|
추론을 위한 권장사항을 참고하세요. |
| 소규모 또는 중간 규모 모델을 위한 ML | 여기에는 일반적으로 더 전문화된 작업을 위해 크기와 복잡성이 더 작은 ML 모델을 학습시키고 제공하는 것이 포함됩니다. | 소형 또는 중형 모델의 ML 권장사항을 참고하세요. |
| HPC | 단일 워크스테이션, 서버 또는 컴퓨터보다 높은 성능을 얻기 위해 컴퓨팅 리소스를 집계하는 방식입니다. HPC는 학술 연구, 과학, 설계, 시뮬레이션, 비즈니스 인텔리전스 분야의 문제를 해결하는 데 사용됩니다. | HPC 권장사항을 참고하세요. |
모델 사전 학습에 대한 권장사항
파운데이션 모델을 사전 학습하려면 대규모 액셀러레이터 클러스터가 지속적으로 대량의 데이터를 읽어야 합니다. 이러한 가속기는 순방향 및 역방향 패스를 통해 가중치를 조정하여 데이터에서 학습합니다. 이러한 학습 작업은 한 번에 몇 주 또는 몇 달 동안 실행됩니다.
다음 섹션에서는 기반 모델을 사전 학습하는 데 사용할 것을 권장하는 가속기 및 소비 옵션을 간략히 설명합니다.
추천 가속기
Google Cloud에서 파운데이션 모델을 사전 학습하려면 A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141GB), A3 Mega (NVIDIA H100 80GB) 또는 A3 High (NVIDIA H100 80GB) 가속기 최적화 머신 유형을 사용하고 오케스트레이터를 사용하여 클러스터를 배포하는 것이 좋습니다.
이러한 가속기 클러스터를 배포하려면 Cluster Director 또는 Cluster Toolkit을 사용하는 것이 좋습니다. 자세한 내용은 다음 표에서 선택한 머신 유형에 해당하는 클러스터 배포 가이드를 참고하세요.
| 워크로드 | 추천 | 클러스터 배포 가이드 | |
|---|---|---|---|
| 머신 유형 | 조정자 | ||
| 파운데이션 모델 사전 학습 |
|
GKE | 기본 구성으로 AI에 최적화된 GKE 클러스터 만들기 |
| Slurm | |||
| 대규모 모델 학습 | A3 Ultra (NVIDIA H200 141GB) | GKE | 기본 구성으로 AI에 최적화된 GKE 클러스터 만들기 |
| Slurm | |||
| 대규모 모델 학습 |
|
GKE | 일반 모드 클러스터에서 GPU 네트워크 대역폭 극대화 |
| Slurm | |||
권장 소비 옵션
대규모 액셀러레이터 클러스터를 확보하는 데 높은 수준의 확신을 가지려면 예약을 사용하는 것이 좋습니다. 특히 예약된 리소스의 비용을 최소화하려면 약정 사용 할인을 받을 수 있을 만큼 충분히 긴 예약 기간을 요청하는 것이 좋습니다. 소비 옵션에 대한 자세한 내용은 소비 옵션 선택을 참고하세요.
모델 미세 조정 권장사항
대규모 파운데이션 모델을 미세 조정하려면 소규모 가속기 클러스터가 적당한 양의 데이터를 읽습니다. 이러한 가속기는 특정 작업을 수행하도록 모델을 조정합니다. 이러한 미세 조정 작업은 며칠 또는 몇 주 동안 실행됩니다.
다음 섹션에서는 모델을 미세 조정할 때 사용할 권장 가속기 및 소비 옵션을 간략히 설명합니다.
추천 가속기
Google Cloud에서 모델을 미세 조정하려면 A3 Ultra (NVIDIA H200 141GB), A3 Mega (NVIDIA H100 80GB) 또는 A3 High (NVIDIA H100 80GB) 가속기 최적화 머신 유형을 사용하고 오케스트레이터를 사용하여 클러스터를 배포하는 것이 좋습니다.
이러한 가속기 클러스터를 배포하려면 Cluster Director 또는 Cluster Toolkit을 사용하는 것이 좋습니다. 자세한 내용은 다음 표에서 선택한 머신 유형에 해당하는 클러스터 배포 가이드를 참고하세요.
| 워크로드 | 추천 | 클러스터 배포 가이드 | |
|---|---|---|---|
| 머신 유형 | 조정자 | ||
| 대규모 모델 미세 조정 | A3 Ultra (NVIDIA H200 141GB) | GKE | 기본 구성으로 AI에 최적화된 GKE 클러스터 만들기 |
| Slurm | |||
| 대규모 모델 미세 조정 |
|
GKE | 일반 모드 클러스터에서 GPU 네트워크 대역폭 극대화 |
| Slurm | |||
권장 소비 옵션
미세 조정 워크로드의 경우 캘린더 모드에서 미래용 예약을 사용하여 리소스를 프로비저닝합니다. 사용 옵션에 관한 자세한 내용은 사용 옵션 선택을 참고하세요.
추론을 위한 권장사항
다음 섹션에서는 추론을 실행할 때 사용할 수 있는 권장 가속기 및 소비 옵션을 간략하게 설명합니다.
추천 가속기
추론에 권장되는 가속기는 멀티 호스트 프런티어 또는 대규모 모델 추론을 실행하는지 아니면 싱글 호스트 프런티어 추론을 실행하는지에 따라 다릅니다.
권장 가속기 (다중 호스트)
Google Cloud에서 멀티 호스트 프런티어 또는 대규모 모델 추론을 실행하려면 A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141GB), A3 Mega (NVIDIA H100 80GB) 또는 A3 High (NVIDIA H100 80GB) 가속기 최적화 머신 유형을 사용하고 오케스트레이터를 사용하여 머신을 배포합니다. 이러한 가속기 클러스터를 배포하려면 Cluster Director 또는 Cluster Toolkit을 사용하는 것이 좋습니다. 이 표에서는 권장되는 각 머신 유형의 클러스터 배포 가이드 링크를 제공합니다.
| 워크로드 | 추천 | 클러스터 배포 가이드 | |
|---|---|---|---|
| 머신 유형 | 조정자 | ||
| 멀티 호스트 프런티어 추론 |
|
GKE | 기본 구성으로 AI에 최적화된 GKE 클러스터 만들기 |
| Slurm | |||
| 대규모 모델 추론 | A3 Ultra (NVIDIA H200 141GB) | GKE | 기본 구성으로 AI에 최적화된 GKE 클러스터 만들기 |
| Slurm | |||
| 대규모 모델 추론 |
|
GKE | 일반 모드 클러스터에서 GPU 네트워크 대역폭 극대화 |
| Slurm | |||
권장 가속기 (단일 호스트)
다음 표에는 단일 호스트 프런티어 추론을 실행하는 데 사용할 것을 권장하는 액셀러레이터가 나와 있습니다. 표에는 권장 머신 유형별 VM 배포 가이드 링크가 나와 있습니다.
| 워크로드 | 추천 | VM 배포 가이드 | |
|---|---|---|---|
| 머신 유형 | 조정자 | ||
| 단일 호스트 최첨단 및 주류 추론 |
|
해당 사항 없음 | A4 또는 A3 Ultra 인스턴스 만들기 |
|
A3 High 또는 A3 Edge 인스턴스 만들기 | ||
| G4 (NVIDIA RTX PRO 6000) | G4 인스턴스 만들기 | ||
| A2 (NVIDIA A100) | A2 인스턴스 만들기 | ||
| G2 (NVIDIA L4) | G2 인스턴스 만들기 | ||
| N1 (NVIDIA T4 또는 V100) | N1 인스턴스 만들기 | ||
권장 소비 옵션
추론의 경우 장기 예약 또는 캘린더 모드의 미래용 예약을 사용하세요. 소비 옵션에 대한 자세한 내용은 소비 옵션 선택을 참고하세요.
소규모 또는 중규모 모델 권장사항
중소 규모 모델이 포함된 ML 워크로드의 경우 가격과 성능 간의 최적의 균형을 달성하는 것이 주요 고려사항입니다.
추천 가속기
다음 표에는 소규모에서 중간 규모 모델 ML 워크로드에 사용할 권장 가속기가 나와 있습니다.
| 워크로드 | 추천 | VM 배포 가이드 | |
|---|---|---|---|
| 머신 유형 | 조정자 | ||
| 소형 또는 중형 모델용 ML | G4 (NVIDIA RTX PRO 6000) | 해당 사항 없음 | G4 인스턴스 만들기 |
| G2 (NVIDIA L4) | G2 인스턴스 만들기 | ||
| A2 (NVIDIA A100) | A2 인스턴스 만들기 | ||
| A3 Edge (NVIDIA H100 80GB) | A3 Edge 인스턴스 만들기 | ||
| N1 (NVIDIA T4 또는 V100) | N1 인스턴스 만들기 | ||
HPC 권장사항
HPC 워크로드의 경우 가속기 최적화 머신 시리즈 또는 컴퓨팅 최적화 머신 시리즈가 적합합니다. 가속기 최적화 머신 시리즈를 사용하는 경우 가장 적합한 항목은 GPU로 오프로드해야 하는 컴퓨팅 부하에 따라 달라집니다. HPC 워크로드 권장사항의 자세한 목록은 HPC 워크로드 실행을 위한 권장사항을 참고하세요.
권장사항 요약
다음 표에는 워크로드별 권장 가속기 및 소비 옵션이 요약되어 있습니다.
| 리소스 | 추천 |
|---|---|
| 모델 사전 학습 | |
| 머신 계열 | A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141GB), A3 Mega (NVIDIA H100 80GB) 또는 A3 High (NVIDIA H100 80GB)과 같은 가속기 최적화 머신 유형 중 하나를 사용합니다. |
| 소비 옵션 | '표준 미래용 예약 사용 |
| 모델 미세 조정 | |
| 머신 계열 | A3 Ultra (NVIDIA H200 141GB), A3 Mega (NVIDIA H100 80GB) 또는 A3 High (NVIDIA H100 80GB) 가속기 최적화 머신 유형 사용 |
| 소비 옵션 | '표준 미래용 예약 사용 |
| 추론 | |
| 머신 계열 | A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141GB), A3 Mega (NVIDIA H100 80GB), A3 High (NVIDIA H100 80GB), G2 (NVIDIA L4), G4 (NVIDIA RTX PRO 6000), A2 (NVIDIA A100), A3 Edge (NVIDIA H100 80GB), N1 (NVIDIA T4 또는 V100) 머신 유형 중 하나를 사용합니다. |
| 소비 옵션 | 예약, 온디맨드 또는 스팟 사용 |
| 소형 또는 중형 모델용 ML | |
| 머신 계열 | G2 (NVIDIA L4), G4 (NVIDIA RTX PRO 6000), A2 (NVIDIA A100), A3 Edge (NVIDIA H100 80GB), N1 (NVIDIA T4 또는 V100) 머신 유형 중 하나를 사용합니다. |
| 소비 옵션 | 온디맨드, 스팟 또는 표준 예약 사용 |
| 스토리지 | Cloud Storage FUSE 사용 |
| HPC | |
| HPC 워크로드 실행을 위한 권장사항의 요약 섹션을 참고하세요. | |
다음 단계
- AI 최적화 GKE 클러스터를 만드는 방법을 알아봅니다.
- 완전 관리형 Slurm 클러스터를 만드는 방법을 알아봅니다.
- AI에 최적화된 인스턴스를 만드는 방법을 알아보세요.