Cloud Storage는 인공지능 (AI), 머신러닝 (ML), 데이터 집약적인 분석과 같이 고성능이 필요한 사용 사례를 위해 데이터 스토리지를 최적화하는 데 도움이 되는 다양한 옵션을 제공합니다. 이 페이지에서는 이러한 옵션을 소개하고 워크로드의 요구사항에 적합한 옵션을 선택하는 방법을 안내합니다.
Cloud Storage Rapid 제품군
Cloud Storage Rapid는 AI/ML 및 데이터 분석 워크로드의 데이터 병목 현상을 해결하도록 설계된 Cloud Storage의 고성능 제품군입니다. AI/ML 모델의 복잡성이 증가하고 데이터 세트가 페타바이트 규모에 도달함에 따라 스토리지 성능이 비싼 GPU 및 TPU 클러스터의 주요 병목 현상이 되는 경우가 많습니다. Cloud Storage Rapid는 영역별 아키텍처를 활용하여 데이터를 컴퓨팅 리소스에 더 가깝게 배치하므로 가속기가 포화 상태를 유지하고 학습 시간을 단축하며 가장 까다로운 워크로드의 총 소유 비용(TCO)을 절감할 수 있습니다.
Cloud Storage Rapid에는 Rapid Bucket과 Rapid Cache가 포함됩니다.
Rapid Bucket을 사용하여 Rapid 스토리지 클래스에 데이터 저장
Rapid Bucket은 영역을 버킷의 위치로 정의하여 Rapid 스토리지 클래스에 데이터를 저장할 수 있는 고성능 영역별 객체 스토리지 솔루션입니다. Rapid Bucket을 사용하면 AI 가속기와 동일한 물리적 영역에 데이터를 배치할 수 있으며 다른 Cloud Storage 제품 제공 중에서 가장 짧은 지연 시간과 가장 높은 처리량을 달성할 수 있습니다. Rapid Bucket은 1밀리초 미만의 지연 시간, 최대 15TB/s의 집계 처리량을 제공하며 초당 최대 2, 000만 개의 쿼리 (QPS)를 지원합니다.
Rapid Bucket은 상태 저장 스트리밍 객체 추가를 지원하므로 애플리케이션이 기존 객체에 데이터를 실시간으로 쓸 수 있습니다. 이 기능을 사용하면 비용이 많이 드는 객체 재작성을 방지하고 즉각적인 데이터 가시성을 지원하여 소비자 애플리케이션이 데이터가 작성되는 동안 데이터를 읽을 수 있습니다.
다음과 같은 경우에 가장 적합: 지연 시간이 매우 짧고 결정적 성능이 높은 AI 모델 학습, 체크포인트, 제공
다음과 같은 경우에 이 옵션 사용: 읽기 및 쓰기 모두에 전용 고성능을 원하는 경우
Rapid Bucket으로 영역별 버킷을 만드는 방법을 알아보려면 영역별 버킷 만들기를 참고하세요.
Rapid Cache로 영역별 캐시 만들기
Rapid Cache는 API 변경 없이 기존 리전, 이중 리전 또는 멀티 리전 버킷과 호환되는 완전 관리형 SSD 지원 영역별 읽기 캐시입니다. 캐시는 워크로드의 요구사항에 따라 자동으로 확장 또는 축소되는 임시 스토리지 용량과 대역폭을 제공합니다. 캐시와 동일한 영역에 있는 VM이 데이터를 읽을 때 버킷의 캐시에 데이터가 자동으로 수집됩니다.
Rapid Cache는 집계 처리량 2.5TB/s를 제공하며 데이터를 VM과 동일한 영역에 배치하여 읽기 속도를 높이기 위해 지연 시간을 줄입니다. 캐시에서 제공되는 데이터는 데이터를 더 빠르게 제공할 뿐만 아니라 버킷에서 직접 제공되는 데이터보다 데이터 전송 요금, 데이터 검색 요금, 운영 요금이 더 낮을 수 있습니다. 자세한 내용은 Rapid Cache의 이점을 참고하세요.
다음과 같은 경우에 가장 적합: 기존 Cloud Storage 버킷에서 높은 읽기 대역폭이 필요한 AI 모델 학습, 체크포인트 복원, 제공
다음과 같은 경우에 이 옵션 사용: 가속화하려는 Cloud Storage 버킷에 기존 데이터 스토리지가 있는 경우
Rapid Cache를 사용하는 방법을 알아보려면 캐시 만들기 및 관리를 참고하세요.