이 문서에서는 Cloud Storage의 AI 영역을 간략히 설명합니다. AI 영역 은 인공지능 (AI) 및 머신러닝 (ML) 워크로드에 컴퓨팅 용량 을 제공하도록 설계된 특수 Google Cloud 영역입니다. 상당한 ML 가속기 (GPU 및 TPU) 용량을 제공합니다.
AI 영역은 다음과 같은 AI 및 ML 워크로드에 최적화되어 있습니다.
- 대규모 학습
- 소규모 학습, 미세 조정, 대량 추론, 재학습
- 실시간 ML 추론
AI 영역에 관한 배경 정보는 Compute Engine 문서의 AI 영역을 참조하세요.
리전 내에서 AI 영역은 표준(비 AI) 영역과 지리적으로 떨어져 있을 수 있습니다.
AI 영역은 다른 Cloud Storage 및 Google Cloud 기능과 호환됩니다.
스토리지 아키텍처 권장사항
비용, 내구성, 성능의 균형을 맞추려면 계층화된 스토리지 아키텍처를 사용하는 것이 좋습니다.
콜드 스토리지 레이어: 학습 데이터 세트 및 모델 체크포인트의 지속적이고 내구성이 뛰어난 스토리지('정보 소스')를 위해 표준 영역의 리전 Cloud Storage 버킷을 사용합니다.
성능 레이어: 특수 영역 스토리지 서비스를 사용하여 고속 캐시 또는 임시 스크래치 공간으로 작동합니다. 이 접근 방식은 영역 간 지연 시간을 없애고 활성 작업 중에 처리량을 극대화합니다.
AI 영역으로 AI 및 ML 시스템 성능을 최적화하려면 다음 스토리지 솔루션을 사용하는 것이 좋습니다.
| 스토리지 서비스 또는 제품 | 설명 | 사용 사례 |
|---|---|---|
| Rapid Cache Cloud Storage의 제품 |
버킷에서 자주 읽는 데이터를 AI 영역으로 가져오는 완전 관리형 SSD 지원 영역 읽기 캐시입니다. 제공하려는 학습 데이터 세트 또는 모델이 포함된 리전 소스 버킷의 AI 영역에 Rapid Cache 인스턴스를 만듭니다. 학습 작업에서 파일을 읽으면 파일이 빠른 영역 내 캐시로 가져옵니다. 후속 읽기는 캐시에서 직접 제공됩니다 리전 네트워크를 우회하여. 모델 학습의 반복적인 데이터 액세스 패턴과 지연 시간이 짧은 모델 서빙에 적합합니다. |
추천 대상:
|
| Rapid Bucket Cloud Storage 제품 |
영역에서 버킷을 찾고 Rapid Storage 스토리지 클래스를 사용할 수 있는 고성능 기능입니다. I/O 집약적인 워크로드에 최적화되어 있으며, 특히 액세스해야 하는 데이터와 동일한 위치에 배치해야 하는 AI/ML 애플리케이션을 위해 설계되었습니다. 지연 시간이 짧고 높은 처리량의 워크로드에 맞게 데이터 스토리지를 최적화하려면 Rapid Storage를 사용하는 영역 버킷을 만든 다음 Cloud Storage FUSE를 사용하여 버킷을 가상 머신의 디렉터리로 마운트합니다. 그런 다음 버킷의 마운트 지점을 통해 영역 버킷에 데이터를 저장하거나 액세스하도록 애플리케이션을 구성할 수 있습니다. 예를 들어 영역 버킷에 모델 체크포인트를 저장하려면 학습 코드의 마운트 지점에 체크포인트 디렉터리를 구성합니다. 리전 복원력을 위해 체크포인트를 리전, 멀티 리전 또는 이중 리전 버킷에 백업할 수 있습니다. Storage Transfer Service를 사용하여 영역 버킷에서 다른 위치의 버킷으로 데이터를 이동합니다. 객체 수명 주기 관리를 사용하여 일정 기간이 지난 후 데이터를 만료시키고 삭제합니다. |
추천 대상:
|
권장사항
AI 영역을 사용할 때는 스토리지에 관한 다음 권장사항을 따르세요.
컴퓨팅 리소스와 동일한 AI 영역에 성능 레이어를 프로비저닝합니다. 컴퓨팅과 스토리지를 동일한 위치에 배치하면 GPU와 TPU가 완전히 포화 상태를 유지하여 'goodput'(유용한 처리량)을 극대화할 수 있습니다.
Rapid Cache의 경우 기본 학습 에포크를 시작하기 전에 데이터 세트를 미리 읽어 SSD 지원 캐시를 채우거나 워밍합니다.
사용 가능한 AI 영역
다음 표는 AI 영역과 상위 Google Cloud 리전을 보여줍니다.
| 지리적 영역 | 상위 리전 | AI 영역 |
|---|---|---|
| 유럽 | europe-west4 |
europe-west4-ai1a |
| 미국 | us-central1 |
us-central1-ai1a |
| 미국 | us-south1 |
us-south1-ai1b |
고려사항
리전의 AI 영역에서리전의 제품에 액세스할 수 있습니다. Google Cloud Google Cloud 하지만 AI 영역의 위치가 리전의 표준 영역 위치와 물리적으로 분리되어 있을 수 있으므로 AI 영역에서 리전 Google Cloud의 서비스에 액세스하면 네트워크 지연 시간이 추가될 수 있습니다.
AI 영역은 모든 Google Cloud 서비스를 로컬로 제공하지 않으므로 AI 영역이 아닌 표준 영역에서 비 ML 워크로드를 실행하는 것이 좋습니다.
다음 단계
- 버킷 만들기
- Rapid Cache 자세히 알아보기
- Cloud Storage 버킷 위치에 대해 알아보기
- AI 및 ML 워크로드에 관한 아키텍처 센터 설계 안내 읽어보기