このドキュメントでは、高パフォーマンスの Compute Engine マシンタイプで使用されるデフォルトの Cloud Storage FUSE 値が自動的に設定される仕組みについて説明します。このマシンタイプは、要求の厳しい高スループットのワークロードのパフォーマンスを最適化するように設計されています。マウント時に手動で設定された値は、これらのデフォルトをオーバーライドします。
マシンタイプ
次のハイパフォーマンス Compute Engine マシンタイプでは、構成値が自動化されています。
| シリーズタイプ | マシンタイプ |
|---|---|
| A2 マシンシリーズ | |
a2-megagpu-16g |
|
a2-ultragpu-8g |
|
| A3 マシンシリーズ | |
a3-edgegpu-8g |
|
a3-highgpu-8g |
|
a3-megagpu-8g |
|
a3-ultragpu-8g |
|
| A4 マシンシリーズ | |
4-highgpu-8g-lowmem |
|
| TPU v5e | |
ct5l-hightpu-8t |
|
ct5lp-hightpu-8t |
|
| TPU v5p | |
ct5p-hightpu-4t |
|
ct5p-hightpu-4t-tpu |
|
| TPU v6e（Trillium） | |
ct6e-standard-4t |
|
ct6e-standard-4t-tpu |
|
ct6e-standard-8t |
|
ct6e-standard-8t-tpu |
自動構成値
サポートされているマシンタイプが検出されると、Cloud Storage FUSE は次の構成値を自動的に適用します。
| Cloud Storage FUSE 構成ファイルのフィールド | Cloud Storage FUSE CLI オプション | 自動構成値 |
|---|---|---|
metadata-cache.negative-ttl-secs |
--metadata-cache-negative-ttl-secs |
0 |
metadata-cache.ttl-secs1 |
--metadata-cache-ttl-secs1 |
|
metadata-cache.stat-cache-max-size-mb |
--stat-cache-max-size-mb |
1024 |
metadata-cache.type-cache-max-size-mb |
--type-cache-max-size-mb |
128 |
implicit-dirs |
--implicit-dirs |
true |
file-system.rename-dir-limit |
--rename-dir-limit |
200000 |
1この構成を -1 に設定すると、常にキャッシュからファイルが配信されるため、パフォーマンスが大幅に向上します。この構成では整合性チェックがバイパスされるため、古いデータが提供される可能性があります。データの整合性の管理の詳細については、Cloud Storage FUSE でのキャッシュ保存の概要をご覧ください。
パフォーマンスのさらなる調整
ハイパフォーマンスの Google Cloud マシンタイプを使用すると、このページで説明する構成値が自動的に適用されます。ただし、次の方法を使用して、最適なパフォーマンスを実現するようにマシンをさらに微調整できます。
パフォーマンス調整のベスト プラクティス ガイドを使用して、Cloud Storage FUSE の主要な機能と構成を使用して Cloud Storage FUSE を改善し、最大スループットと最適なパフォーマンスを実現します。
Cloud GPU または Cloud TPU を使用して Cloud Storage の大規模なデータセットにアクセスする Google Kubernetes Engine クラスタで、トレーニング、サービング、チェックポイント、Just in Time（JIT）キャッシュ ワークロードを実行している場合は、事前構成済みの YAML ファイルを使用して Cloud Storage バケットを Pod に直接マウントすることで、設定を効率化できます。事前構成済みの GKE YAML ファイルの使用方法の詳細と手順については、事前構成済みの GKE YAML ファイルを使用して Cloud Storage FUSE のパフォーマンスを最適化するをご覧ください。
Cloud Storage FUSE を使用してトレーニング、サービング、チェックポイントのワークロードを実行している場合は、
profileフィールドまたは--profileコマンド オプションを使用して、特定のワークロード タイプに基づいて最適なパフォーマンスを実現するように、特定の Cloud Storage FUSE 構成を自動的に調整できます。詳細については、AI/ML ワークロードのプロファイル ベースの構成をご覧ください。
次のステップ
事前構成済みの GKE YAML ファイルを使用して、調整のベスト プラクティスを構成する。