고성능 머신 유형의 자동 구성 값

이 문서에서는 까다로운 고처리량 워크로드의 성능을 최적화하도록 설계된 고성능 Compute Engine 머신 유형에 사용되는 기본 Cloud Storage FUSE 값을 자동으로 설정하는 방법을 설명합니다. 마운트 시 수동으로 설정된 값은 이러한 기본값을 재정의합니다.

머신 유형

다음 고성능 Compute Engine 머신 유형의 구성 값은 자동으로 설정됩니다.

시리즈 유형 머신 유형
A2 머신 시리즈
a2-megagpu-16g
a2-ultragpu-8g
A3 머신 시리즈
a3-edgegpu-8g
a3-highgpu-8g
a3-megagpu-8g
a3-ultragpu-8g
A4 머신 시리즈
4-highgpu-8g-lowmem
TPU v5e
ct5l-hightpu-8t
ct5lp-hightpu-8t
TPU v5p
ct5p-hightpu-4t
ct5p-hightpu-4t-tpu
TPU v6e(Trillium)
ct6e-standard-4t
ct6e-standard-4t-tpu
ct6e-standard-8t
ct6e-standard-8t-tpu

자동 구성 값

지원되는 머신 유형이 감지되면 Cloud Storage FUSE가 다음 구성 값을 자동으로 적용합니다.

Cloud Storage FUSE 구성 파일 필드 Cloud Storage FUSE CLI 옵션 자동 구성 값
metadata-cache.negative-ttl-secs --metadata-cache-negative-ttl-secs 0
metadata-cache.ttl-secs1 --metadata-cache-ttl-secs1

-1
metadata-cache.stat-cache-max-size-mb --stat-cache-max-size-mb 1024
metadata-cache.type-cache-max-size-mb --type-cache-max-size-mb 128
implicit-dirs --implicit-dirs true
file-system.rename-dir-limit --rename-dir-limit 200000

1이 구성을 -1로 설정하면 항상 캐시에서 파일을 제공하여 성능이 크게 향상됩니다. 이 구성은 일관성 검사를 우회하므로 오래된 데이터가 제공될 수 있습니다. 데이터 일관성 관리에 관한 자세한 내용은 Cloud Storage FUSE의 캐싱 개요를 참고하세요.

추가 성능 조정

고성능 Google Cloud 머신 유형을 사용하면 이 페이지에 자세히 설명된 구성 값이 자동으로 적용됩니다. 하지만 다음 방법을 사용하여 최적의 성능을 위해 머신을 추가로 미세 조정할 수 있습니다.

  • 성능 조정 권장사항 가이드를 사용하여 주요 Cloud Storage FUSE 기능과 구성을 통해 Cloud Storage FUSE를 개선하여 최대 처리량과 최적의 성능을 달성하세요.

  • Cloud GPU 또는 Cloud TPU를 사용하여 Cloud Storage의 대규모 데이터 세트에 액세스하는 Google Kubernetes Engine 클러스터에서 학습, 제공, 체크포인트, JIT (Just in Time) 캐시 워크로드를 실행하는 경우 사전 구성된 YAML 파일을 활용하여 Cloud Storage 버킷을 포드에 직접 더 효율적으로 마운트하여 설정을 간소화할 수 있습니다. 사전 구성된 GKE YAML 파일을 사용하는 방법에 관한 자세한 내용과 안내는 사전 구성된 GKE YAML 파일을 사용하여 Cloud Storage FUSE 성능 최적화를 참고하세요.

  • Cloud Storage FUSE를 사용하여 학습, 서비스 또는 체크포인트 워크로드를 실행하는 경우 profile 필드 또는 --profile 명령어 옵션을 사용하여 특정 워크로드 유형에 따라 최적의 성능을 위해 특정 Cloud Storage FUSE 구성을 자동으로 조정할 수 있습니다. 자세한 내용은 AI/ML 워크로드의 프로필 기반 구성을 참고하세요.

다음 단계