選擇哪種方法取決於多項因素。
將 Cloud Storage 做為掛接的檔案系統 (Cloud Storage FUSE)
建議您使用 Cloud Storage 做為掛接的檔案系統 (Cloud Storage FUSE)，原因如下：
- 如果訓練資料是非結構化資料，例如圖片、文字或影片：Cloud Storage 非常適合儲存這類大型檔案，通常是個別檔案。
- 訓練資料採用 TFRecord 等格式：Cloud Storage 通常用於這些機器學習專用格式。
- 處理大型檔案時：Cloud Storage FUSE 會將資料串流至訓練工作，不必將整個檔案下載至副本。這有助於加快大型資料集的資料載入和工作啟動時間。
- 執行分散式訓練時：Cloud Storage FUSE 可為大型檔案的依序讀取作業提供高處理量，這在多個 worker 需要平行存取資料的分散式訓練情境中非常實用。
- 您希望像存取本機檔案系統一樣，輕鬆存取 Cloud Storage 資料，而不必在訓練程式碼中明確呼叫 API。
- 主要需求是可擴充的儲存空間，且不太在意隨機存取大量小型檔案時的最低延遲時間。
Ray on Agent Platform 專屬
- 您可以將資料儲存在 Cloud Storage bucket，Ray on Agent Platform 即可存取。
- Ray 可直接讀取 Cloud Storage 中的資料。例如，在 Ray 上執行 Spark 時，您可以從 Cloud Storage 讀取檔案。
- Agent Platform 會使用 Cloud Storage FUSE，將 Cloud Storage bucket 掛接為 Ray 訓練工作的本機檔案系統。這樣一來，Ray 應用程式就能使用標準檔案 I/O 作業，存取本機磁碟上的資料。
- 為達到最佳效能，建議您在執行 Ray 叢集的相同區域，使用 Cloud Storage bucket。
瞭解詳情
網路檔案系統 (NFS) 共用區
- 需要極高處理量和低延遲時間，才能存取遠端檔案，就像檔案儲存在本機一樣。這對某些類型的資料或訓練期間的複雜檔案互動可能很重要。
- 需要讓運算叢集 (例如 Agent Platform 上的 Ray 叢集) 中的所有節點都能輕鬆存取遠端檔案時。
- 相較於 Cloud Storage FUSE，應用程式更適合使用標準檔案系統介面，且可能需要更強的 POSIX 相容性。
- 您想使用虛擬私有雲中現有的 NFS 基礎架構。
- 您需要在多個工作或叢集之間共用檔案或目錄，並提供一致、低延遲的存取權，且偏好在檔案系統層級管理權限。
Ray on Agent Platform 專屬
- 您可以將 NFS 共用區掛接至 Agent Platform 上的 Ray 叢集，這樣就能像存取本機檔案一樣存取遠端檔案。
- 這有助於以高處理量和低延遲存取共用檔案系統。
- 使用 Agent Platform SDK for Python 建立 Ray 叢集時，您可以設定 NFS 掛接，指定伺服器、路徑和掛接點。掛接後，Ray 程式碼就能使用標準檔案作業，讀取及寫入這些 NFS 磁碟區。
瞭解詳情
代管資料集
- 集中資料管理與控管：代管資料集提供集中位置，方便您在 Agent Platform 整理及管理資料集。這有助於追蹤及管理不同專案和實驗中的資料資產。
- Gemini Enterprise Agent Platform 的資料標籤功能：您可以直接在代管資料集中建立標籤工作及管理註解集。
- 追蹤資料歷程：代管資料集會自動追蹤資料歷程，直到資料用於訓練模型為止。這對於瞭解特定模型使用的資料來源，以及確保可重現性和治理，至關重要。
- 比較自訂和 AutoML 模型：代管資料集可讓您使用相同資料，訓練自訂模型和 AutoML 模型。這樣一來，您就能直接比較這些模型在相同資料集上的成效，選擇最適合解決問題的方法。
- 生成資料統計資料和圖表：Agent Platform 可自動為代管資料集內的資料生成統計資料和圖表。這有助於探索性資料分析，並瞭解資料特性。
- 自動分割資料：在訓練管道中使用代管資料集時，Agent Platform 可根據指定的分數、篩選器、預先定義的分割或時間戳記，自動將資料分割為訓練集、驗證集和測試集。簡化資料準備程序。
- 使用資料集版本：代管資料集可啟用版本管理功能，追蹤資料隨時間的變化，並在必要時還原至先前的版本。
Ray on Gemini Enterprise Agent Platform 專屬
- 如果您在 Agent Platform 訓練管道中使用代管資料集，並透過 Ray 進行分散式訓練，代管資料集的資料會提供給訓練容器，Ray 應用程式即可存取這些資料 (如果資料集連結至 Cloud Storage 或 BigQuery，則透過掛接的 Cloud Storage 或 BigQuery 存取)。環境變數
AIP_TRAINING_DATA_URI、AIP_VALIDATION_DATA_URI和AIP_TEST_DATA_URI會指向資料。
瞭解詳情
BigQuery
- 連線至 Agent Platform 元件中的資料時：許多 Agent Platform 工具和服務都直接與 BigQuery 整合。您可以在 JupyterLab 內查詢 BigQuery 中的資料。這表示您可以直接與 BigQuery 資料互動，進行探索、視覺化和模型開發，不必將資料移至其他儲存系統。
- 建構訓練管道：在 Agent Platform 建構訓練管道時，可以直接使用 BigQuery 的資料。例如，管道可以從 BigQuery 擷取資料、預先處理資料，然後訓練模型。
- 連續模型訓練管道：如要設定連續模型訓練，您可以根據 BigQuery 資料表中的新資料觸發管道執行作業。這樣一來，模型就能自動重新訓練。您可以設定 Eventarc 觸發條件，在新的工作插入特定 BigQuery 資料表時啟動管道。
- 模型監控：BigQuery 可做為來源，監控已部署模型的特徵偏誤和偏移。如要偵測偏差，您可以指定訓練資料集的 BigQuery URI。此外，BigQuery 還能儲存線上推論端點的記錄，這些記錄可做為持續監控的資料來源。因此，BigQuery 資料表最好有時間戳記資料欄。
- BigQuery ML 整合：使用 BigQuery ML 透過 SQL 建構機器學習模型時，您可以使用 BigQuery 資料集。Agent Platform Workbench 可讓您在筆記本環境中，對 BigQuery 資料進行互動式探索分析，以及使用 BigQuery ML。
- 資料探索與準備：訓練前，您可以使用 BigQuery 探索資料，並以圖表呈現。您也可以在 BigQuery 中直接使用 SQL 查詢轉換資料，再用於訓練。
- 存取公開資料集：BigQuery 託管許多公開資料集，例如芝加哥計程車車程資料集，您可以在 Agent Platform Workbench 中直接用於實驗和訓練。
Ray on Gemini Enterprise Agent Platform 專屬
- Ray on Gemini Enterprise Agent Platform 可直接從 BigQuery 讀取資料。您可以在 Ray 工作中使用 Agent Platform SDK for Python 執行 BigQuery 查詢，並具體化結果，以便在 Ray 應用程式中使用。
- 從 BigQuery 讀取資料時，請注意查詢回應大小上限為 10 GB。
- 您也可以使用 Agent Platform SDK for Python，將 Ray 應用程式的資料寫回 BigQuery。