Cloud Storage FUSE 中的快取功能總覽

本文將詳細說明 Cloud Storage FUSE 適用的快取選項,以及如何設定各個快取類型。

為提高資料擷取效能,Cloud Storage FUSE 提供四種選用快取類型。請參閱下表,進一步瞭解各種類型的快取:

快取類型 說明
檔案快取

針對重複存取資料的讀取密集型工作負載,加快檔案資料讀取速度,特別是人工智慧和機器學習訓練,這類工作負載會多次讀取相同的大型檔案,因此可大幅縮短延遲時間。

清單快取

加快工作負載的目錄列出作業,這類工作負載通常會列出目錄的完整內容,例如在處理作業開始時疊代大量檔案,進而提升目錄遍歷速度。

狀態快取

加快應用程式的檔案中繼資料作業速度,適用於經常檢查檔案屬性的應用程式 (許多應用程式都會重複檢查檔案是否已變更),減少 Cloud Storage 的 `GetMetadata` 呼叫次數。

類型快取

加快檔案或目錄存在性檢查的速度,適用於執行大量存在性檢查或路徑查詢的工作負載,減少向 Cloud Storage 發出的要求數量,藉此檢查路徑是否存在,進而縮短延遲時間。

注意事項

  • 啟用快取功能可提升效能,但會降低一致性。如果您使用多個用戶端存取同一個儲存空間,且變更率很高,通常就會發生這種情況。為減少對一致性的影響,建議您以唯讀模式掛接 bucket。如要進一步瞭解快取行為,請參閱 Cloud Storage FUSE GitHub 說明文件中的「Cloud Storage FUSE 語意」。

  • 為避免快取顛簸,請確保整個資料集符合快取容量。此外,也請考慮快取媒體可提供的最大容量和效能。如果達到佈建快取的效能上限、容量限制或兩者皆是,建議直接從 Cloud Storage 讀取資料,因為 Cloud Storage 的限制比 Cloud Storage FUSE 高得多。

讀取快取資料的路徑

Cloud Storage FUSE 快取會在資料擷取至快取後,加快重複讀取作業的速度。首次讀取和快取未命中都會直接前往 Cloud Storage,並受到一般 Cloud Storage 網路延遲的影響。如要提升首次讀取效能,請參閱「預先填入中繼資料快取」。

後續步驟