關於 GKE Volume Populator

Google Kubernetes Engine (GKE) Volume Populator 可協助您在動態佈建期間，自動簡化從 Cloud Storage 儲存空間預先載入資料至目的地 PersistentVolumeClaims (PVC) 的程序。

GKE 磁碟區母體工具的運作方式

GKE 磁碟區擴展器採用核心 Kubernetes 磁碟區擴展器概念。GKE Volume Populator 可讓 PVC 參照 GCPDataSource 自訂資源，不必佈建空白磁碟區。這個自訂資源會指定來源 Cloud Storage bucket 和必要憑證。

使用 dataSourceRef 指向 GCPDataSource 資源建立 PVC 時，GKE Volume Populator 會啟動資料移轉作業。它會將指定 Cloud Storage bucket URI 中的資料複製到基礎永久儲存空間磁碟區，然後再將磁碟區提供給 Pod。

這個程序可減少使用手動資料移轉指令碼或 CLI 指令的需求，並自動將大型資料集移轉至永久磁碟。GKE 磁碟區資料移入器支援下列來源和目的地類型之間的資料移轉：

GKE 磁碟區擴展器是 GKE 代管元件，Autopilot 和 Standard 叢集預設會啟用。您主要會透過 gcloud CLI 和 kubectl CLI 與 GKE 磁碟區填充器互動。

架構

下圖顯示資料如何從來源儲存空間流向目的地儲存空間，以及如何使用 GKE Volume Populator 建立目的地儲存空間的 PersistentVolume。

  1. 建立參照 GCPDataSource 自訂資源的 PVC。
  2. GKE Volume Populator 會偵測 PVC，並啟動資料移轉工作。
  3. 移轉工作會在現有節點集區中執行，如果已啟用自動佈建節點功能，則會建立新的節點集區。
  4. 移轉工作會將資料從 GCPDataSource 資源中指定的 Cloud Storage bucket，複製到目的地儲存空間磁碟區。
  5. 移轉完成後，PVC 會繫結至目的地儲存空間磁碟區，讓工作負載 Pod 能夠使用資料。

使用 GKE Volume Populator 從來源資料儲存空間轉移資料，並為目的地儲存空間建立 PV

主要優點

GKE Volume Populator 具有下列優點：

  • 自動填入資料：在佈建期間，自動填入 Cloud Storage 中的資料，有助於減輕作業負擔。
  • 資料可攜性無縫轉移：將資料從物件儲存庫移至高效能區塊儲存空間 (Hyperdisk) 系統，根據工作負載需求，以最佳價格或效能進行最佳化。
  • 簡化工作流程：減少個別資料載入工作，或手動介入準備永久磁碟區的需求。
  • 整合身分與存取權管理 (IAM)：透過 Workload Identity Federation for GKE 使用 IAM 型驗證，確保資料移轉安全無虞，並提供精細的存取控管。
  • 加速 AI/機器學習工作負載：將大型資料集、模型和權重直接預先載入高效能儲存空間，有助於加快訓練和推論工作。

GKE 磁碟區填入器的用途

您可以使用 GKE Volume Populator 載入大型 AI/ML 訓練資料集。假設您在 Cloud Storage 值區中儲存了數 TB 的資料集，用於訓練大型語言模型 (LLM)。訓練作業會在 GKE 上執行，且需要高 I/O 效能。您不必手動複製資料，可以使用 GKE Volume Populator 自動佈建 Hyperdisk ML 磁碟區，並在建立 PVC 時，從 Cloud Storage 填入資料集。這項自動化程序可確保訓練 Pod 啟動時，能立即高速存取資料。

以下列舉更多可使用 GKE Volume Populator 的情況：

  • 將 Cloud Storage 中的 AI/機器學習模型權重和資產預先快取至 Hyperdisk ML 磁碟區，加快推論服務的模型載入時間。
  • 將資料從 Cloud Storage 遷移至永久磁碟，供需要高效能磁碟存取的有狀態應用程式使用。

後續步驟