Cloud Storage는 인공지능 (AI), 머신러닝 (ML), 데이터 집약적 분석과 같이 고성능이 필요한 사용 사례에 맞게 데이터 스토리지를 최적화할 수 있는 다양한 옵션을 제공합니다. 이 페이지에서는 이러한 옵션을 소개하고 워크로드의 요구사항에 적합한 옵션을 선택하는 방법을 안내합니다.
Cloud Storage Rapid 제품군
Cloud Storage Rapid는 AI/ML 및 데이터 분석 워크로드의 데이터 병목 현상을 해소하도록 설계된 Cloud Storage의 고성능 제품군입니다. AI/ML 모델의 복잡성이 증가하고 데이터 세트가 페타바이트 규모에 도달함에 따라 스토리지 성능이 고가의 GPU 및 TPU 클러스터의 주요 병목 현상이 되는 경우가 많습니다. Cloud Storage Rapid는 영역 아키텍처를 활용하여 데이터를 컴퓨팅 리소스에 더 가깝게 배치하므로 액셀러레이터가 포화 상태를 유지하고, 학습 시간을 줄이며, 가장 까다로운 워크로드의 총소유비용(TCO)을 낮출 수 있습니다. Cloud Storage Rapid에는 Rapid Bucket과 Anywhere Cache가 포함됩니다.
Rapid 버킷을 사용하여 Rapid 스토리지 클래스에 데이터 저장
Rapid Bucket은 버킷의 위치로 영역을 정의하여 Rapid 스토리지 클래스에 데이터를 저장할 수 있는 고성능 영역 객체 스토리지 솔루션입니다. Rapid Bucket을 사용하면 AI 가속기와 동일한 물리적 영역에 데이터를 배치하고 다른 Cloud Storage 제품보다 지연 시간을 최소화하고 처리량을 최대화할 수 있습니다. Rapid Bucket은 1밀리초 미만의 지연 시간, 최대 15TB/s의 집계 처리량을 제공하며 초당 최대 2천만 개의 쿼리 (QPS)를 지원합니다.
Rapid Bucket은 상태 저장 스트리밍 객체 추가를 지원하므로 애플리케이션이 기존 객체에 데이터를 실시간으로 쓸 수 있습니다. 이 기능을 사용하면 비용이 많이 드는 객체 재작성을 방지하고 즉시 데이터 가시성을 지원하여 소비자 애플리케이션이 데이터가 작성되는 동안 데이터를 읽을 수 있습니다.
최적의 사용 사례: 초저지연 및 높은 결정적 성능이 필요한 AI 모델 학습, 체크포인트, 제공
이 옵션은 다음과 같은 경우에 사용하세요. 읽기 및 쓰기 모두에 전용 고성능이 필요한 경우
Rapid Bucket으로 영역 버킷을 만드는 방법을 알아보려면 영역 버킷 만들기를 참고하세요.
Anywhere Cache로 영역별 캐시 만들기
Anywhere Cache는 API 변경 없이 기존 리전, 이중 리전 또는 멀티 리전 버킷과 함께 작동하는 완전 관리형 SSD 기반 영역 읽기 캐시입니다. 캐시는 워크로드 요구사항에 따라 자동으로 확장 또는 축소되는 임시 스토리지 용량과 대역폭을 제공합니다. 캐시와 동일한 영역에 있는 VM이 데이터를 읽을 때 버킷의 캐시에 데이터가 자동으로 수집됩니다.
Anywhere Cache는 2.5TB/s의 집계 처리량을 제공하고 VM과 동일한 영역에 데이터를 배치하여 읽기 속도를 높여 지연 시간을 줄입니다. 캐시에서 제공되는 데이터는 더 빠르게 제공될 뿐만 아니라 버킷에서 직접 제공되는 데이터보다 데이터 전송 요금, 데이터 검색 요금, 운영 요금이 더 낮을 수 있습니다. 자세한 내용은 Anywhere Cache의 이점을 참고하세요.
최적의 사용 사례: 기존 Cloud Storage 버킷에서 높은 읽기 대역폭이 필요한 AI 모델 학습, 체크포인트 복원, 서빙
다음과 같은 경우 이 옵션을 사용하세요. Cloud Storage 버킷에 기존 데이터 스토리지가 있으며 이를 가속화하려는 경우
Anywhere Cache 사용 방법을 알아보려면 캐시 만들기 및 관리를 참고하세요.