佈建及使用本機 SSD 支援的臨時儲存空間

本頁面說明如何在 Google Kubernetes Engine (GKE) 叢集佈建本機 SSD 儲存空間,以及如何設定工作負載,以便從連接至叢集節點、由本機 SSD 支援的臨時儲存空間取用資料。

如要進一步瞭解 GKE 的本機 SSD 支援,請參閱「關於本機 SSD 儲存空間」。

如需在同一個節點上,為臨時儲存空間和未格式化的原始區塊裝置佈建本機 SSD 容量,請參閱「為原始區塊和臨時儲存空間佈建混合本機 SSD」。

事前準備

開始之前,請確認您已執行下列工作:

  • 啟用 Google Kubernetes Engine API。
  • 啟用 Google Kubernetes Engine API
  • 如要使用 Google Cloud CLI 執行這項工作,請安裝並初始化 gcloud CLI。如果您先前已安裝 gcloud CLI,請執行 gcloud components update 指令,取得最新版本。較舊的 gcloud CLI 版本可能不支援執行本文件中的指令。

建立叢集或節點集區,並使用本機 SSD 支援的臨時儲存空間

使用 Google Cloud CLI 建立叢集或節點集區,並搭配本機 SSD 支援的臨時儲存空間。

使用 --ephemeral-storage-local-ssd 選項,即可連接由本機 SSD 磁碟區支援的全代管本機臨時儲存空間。這個儲存空間與 Pod 的生命週期息息相關。當 Pod 要求臨時儲存空間時,GKE 會排定在已將本機 SSD 磁碟區設為臨時儲存空間的節點上執行。如要對本機 SSD 進行更專業或精細的控制,建議改用本機 SSD 支援的原始區塊儲存空間。

如果您已啟用叢集自動調度資源功能,GKE 會在叢集需要更多臨時儲存空間時,自動調度節點資源。Pod 可透過 emptyDir 磁碟區存取本機 SSD 磁碟區上的資料。

您執行來建立叢集或節點集區的 gcloud CLI 指令,取決於所選機器類型的機器系列世代。舉例來說,N1 和 N2 機型分別屬於第一代和第二代機器系列,而 C3 機型則屬於第三代機器系列。

建立具備本機 SSD 的叢集

第 1 代或第 2 代

如果您使用的是第一代或第二代機器系列的機型,請指定 --ephemeral-storage-local-ssd count=NUMBER_OF_DISKS 選項來建立叢集。這個選項會在每個節點上佈建指定數量的本機 SSD 磁碟區,用於 kubelet 暫時儲存空間。

這些設定僅適用於預設節點集區。如果後續節點集區需要本機 SSD,請在建立節點集區時指定。

如要建立在 GKE 1.25.3-gke.1800 以上版本執行的叢集,且預設集區使用本機 SSD 磁碟區,請執行下列指令:

gcloud container clusters create CLUSTER_NAME \
    --ephemeral-storage-local-ssd count=NUMBER_OF_DISKS \
    --machine-type=MACHINE_TYPE \
    --release-channel CHANNEL_NAME

更改下列內容:

  • CLUSTER_NAME:叢集名稱。
  • NUMBER_OF_DISKS:要在各節點佈建的本機 SSD 磁碟區數量。在節點設定期間,這些磁碟區會合併為單一邏輯磁碟區。磁碟區數量上限因機型和區域而異。請注意,部分本機 SSD 容量會保留供系統使用。
  • MACHINE_TYPE:要使用的機器類型。本機 SSD 無法與預設 e2-medium 類型搭配使用,因此必須填寫這個欄位。
  • CHANNEL_NAME:發布管道,包含 1.25.3-gke.1800 以上的 GKE 版本。如果不想使用發布管道,也可以使用 --cluster-version 旗標 (而非 --release-channel),指定 1.25.3-gke.1800 之後的有效版本。如要判斷有效版本,請使用 gcloud container get-server-config 指令。

第 3 代或第 4 代

如果使用第三代或第四代機器系列的機器類型,建立叢集時就不必指定任何本機 SSD 選項。每個節點連接的磁碟數量取決於機型。

如要建立叢集,請執行下列指令:

gcloud container clusters create CLUSTER_NAME \
  --machine-type=MACHINE_TYPE \
  --cluster-version CLUSTER_VERSION

更改下列內容:

  • CLUSTER_NAME:叢集名稱。
  • MACHINE_TYPE:要使用的第三代或第四代機器系列機型。
  • CLUSTER_VERSION:支援第三代或第四代機器系列機型本機 SSD 的 GKE 叢集版本。

建立具備本機 SSD 的節點集區

第 1 代或第 2 代

如要建立在 GKE 1.25.3-gke.1800 以上版本運作,且使用本機 SSD 磁碟區的節點集區,請執行下列指令:

gcloud container node-pools create POOL_NAME \
    --cluster=CLUSTER_NAME \
    --ephemeral-storage-local-ssd count=NUMBER_OF_DISKS \
    --machine-type=MACHINE_TYPE

更改下列內容:

  • POOL_NAME:新節點集區的名稱。
  • CLUSTER_NAME:叢集名稱。
  • NUMBER_OF_DISKS:要在各節點佈建的本機 SSD 磁碟區數量。在節點設定期間,這些磁碟區會合併為單一邏輯磁碟區。磁碟區數量上限因機型和區域而異。請注意,部分本機 SSD 容量會保留給系統使用。
  • MACHINE_TYPE:要使用的機器類型。本機 SSD 無法與預設 e2-medium 類型搭配使用,因此必須填寫這個欄位。

第 3 代或第 4 代

如果使用第三代或第四代機器系列的機器類型,建立節點集區時就不必指定任何本機 SSD 選項。每個節點連接的磁碟區數量取決於機型。

如要建立節點集區,請執行下列指令:

gcloud container node-pools create POOL_NAME \
  --cluster=CLUSTER_NAME \
  --machine-type=MACHINE_TYPE \
  --node-version NODE_VERSION

更改下列內容:

  • POOL_NAME:新節點集區的名稱。
  • CLUSTER_NAME:叢集名稱。
  • MACHINE_TYPE:要使用的第三代或第四代機器系列機型。
  • NODE_VERSION:GKE 節點集區版本,支援第三代或第四代機器系列機型的本機 SSD。

建立節點集區中的節點時,會加上 cloud.google.com/gke-ephemeral-storage-local-ssd=true 標籤。執行下列指令,即可驗證標籤:

kubectl describe node NODE_NAME

在 Autopilot 叢集使用本機 SSD 支援的臨時儲存空間

您可以透過下列任一方式設定 Pod,使用本機 SSD 做為臨時儲存空間:

  • 您明確選取要執行 Pod 的機器系列,並指定 cloud.google.com/gke-ephemeral-storage-local-ssd: "true" nodeSelector 或具有本機 SSD 的容量預留項目。如要進一步瞭解如何在 Autopilot 中選取機器系列,請參閱「選擇機器系列,最佳化 Autopilot Pod 效能」。
  • 您要求支援本機 SSD 的 GPU 類型,並指定 cloud.google.com/gke-ephemeral-storage-local-ssd: "true" nodeSelector 或具有本機 SSD 的容量預留項目。NVIDIA H100 (80 GB) GPU 和 NVIDIA A100 (80 GB) GPU 一律使用本機 SSD 做為臨時儲存空間,您無法為這些 GPU 指定節點選取器。如要進一步瞭解如何在 Autopilot 中要求 GPU,請參閱「在容器中要求 GPU」。

如要查看與本機 SSD 相容的機器系列清單,請參閱「在 Autopilot 中支援本機 SSD 的機器系列」。

直接在工作負載資訊清單中要求本機 SSD

如要使用本機 SSD 做為臨時儲存空間,請將 cloud.google.com/gke-ephemeral-storage-local-ssd: "true" nodeSelector 新增至工作負載資訊清單。舉例來說,下列 Pod 資訊清單會選取本機 SSD 做為 GPU Pod 的臨時儲存空間:

apiVersion: v1
kind: Pod
metadata:
  name: l4-localssd-pod
spec:
  containers:
  - name: my-gpu-container
    image: nvidia/cuda:11.0.3-runtime-ubuntu20.04
    command: ["/bin/bash", "-c", "--"]
    args: ["while true; do sleep 600; done;"]
    resources:
      requests:
        cpu: 16
        memory: 64Gi
        ephemeral-storage: 800Gi
      limits:
       cpu: 16
       memory: 64Gi
       ephemeral-storage: 800Gi
       nvidia.com/gpu: 8
  nodeSelector:
    cloud.google.com/gke-accelerator: nvidia-l4
    cloud.google.com/gke-ephemeral-storage-local-ssd: "true"

要求預留本機 SSD 容量

如果您使用 Compute Engine 預留容量,預留含有本機 SSD 的機器,Autopilot 會將預留項目中可用的本機 SSD 連接至節點,您不必在工作負載資訊清單中明確選取本機 SSD。如要進一步瞭解如何搭配使用預留項目和 Autopilot,請參閱「在 Autopilot 叢集中使用容量預留項目」。

舉例來說,下列 Pod 資訊清單會選取具有本機 SSD 的特定預留項目:

apiVersion: v1
kind: Pod
metadata:
  name: local-ssd-pod
spec:
  nodeSelector:
    cloud.google.com/machine-family: MACHINE_SERIES
    cloud.google.com/reservation-name: localssd-count-reservation
    cloud.google.com/reservation-affinity: "specific"
  containers:
  - name: my-container
    image: "k8s.gcr.io/pause"
    resources:
      requests:
        cpu: 6
        memory: "25Gi"
        ephemeral-storage: "100Gi"
      limits:
        cpu: 12
        memory: "50Gi"
        ephemeral-storage: "200Gi"

將 MACHINE_SERIES 替換為支援本機 SSD 的機器系列。如果指定的機器系列不支援本機 SSD,部署作業會失敗並顯示錯誤。

在 Autopilot 中支援本機 SSD 的機器系列

Autopilot 叢集支援使用本機 SSD 做為臨時儲存空間,適用於下列機器系列:

Autopilot 中支援本機 SSD 的機器系列
機器系列 節點選取器值 支援本機 SSD
C4N 機器系列 (1.37.2-gke.1434000 以上版本) c4n
C4D 機器系列 (1.32.9-gke.1711000 以上版本) c4d
C4A 機器系列 (請參閱規定和限制) c4a
C4 機器系列 c4
C3 機器系列 c3
C3D 機器系列 c3d
C2 機器系列 c2 (僅限預留運算資源)
C2D 機器系列 c2d (僅限預留運算資源)
H3 機器系列 h3
Tau T2D 機器系列 t2d
Tau T2A 機器系列 t2a
E2 機器系列 e2
N4 機器系列 n4
N4D 機器系列 n4d
N2 機器系列 n2 (僅限預留運算資源)
N2D 機器系列 n2d (僅限預留運算資源)
N1 機器系列 n1 (僅限預留運算資源)
Z3 機器系列 z3 (一律隨附)
Z4D 機器系列 (1.36.3-gke.1244000 以上版本) z4d (一律隨附)
Z4M 機器系列 (1.36.3-gke.1767000 以上版本) z4m (一律隨附)
A2 Standard 機器系列 a2-highgpu, a2-megagpu (僅限預留運算資源)
A2 Ultra 機器系列 a2-ultragpu (一律隨附)
A3 機器系列 a3 (一律隨附)
A4 機器系列 a4 (一律隨附)
A4X 機器系列 a4x (一律隨附)
G2 機器系列 g2
G4 機器系列 g4 (1/8 GPU 設定 g4-standard-6 除外)

使用舊版 API 參數

--local-ssd-count 選項是舊版 API 參數,支援 SCSI 本機 SSD。Compute Engine 第三代機器系列不支援 SCSI,僅支援 NVMe。這個選項僅適用於 Windows Server 叢集。如果您目前在 Linux 叢集上使用舊版 API 參數,建議改用 --ephemeral-storage-local-ssd 選項。

Windows Server 叢集上的本機 SSD

如果叢集執行 Windows Server 節點集區,並搭配使用本機 SSD,您必須先登入節點並格式化磁碟區,才能使用。在以下範例中,本機 SSD 磁碟區是以 NTFS 檔案系統格式化。您也可以在磁碟區下建立目錄。在這個範例中,目錄位於磁碟 D 下。

PS C:\> Get-Disk | Where partitionstyle -eq 'raw' | Initialize-Disk -PartitionStyle MBR -PassThru | New-Partition -AssignDriveLetter -UseMaximumSize | Format-Volume -FileSystem ntfs -Confirm:$false
PS C:\> mkdir D:\test-ssd

存取本機 SSD 磁碟區

以下範例說明如何存取本機 SSD 支援的臨時儲存空間。

暫時儲存空間做為 emptyDir 磁碟區

您可以將 GKE 節點集區設為使用本機 SSD 做為臨時儲存空間,包括 emptyDir 磁碟區。

下列 Pod 資訊清單使用 emptyDir 和 cloud.google.com/gke-ephemeral-storage-local-ssd 的節點選取器。您可以對 Deployment 資訊清單或 StatefulSet 資訊清單套用類似技術。

選擇臨時儲存空間資源要求時,請考量系統預留的本機 SSD 容量。

apiVersion: v1
kind: Pod
metadata:
  name: POD_NAME
spec:
  containers:
    - name: CONTAINER_NAME
      image: "registry.k8s.io/pause"
      resources:
        requests:
          ephemeral-storage: "200Gi"
      volumeMounts:
        - mountPath: /cache
          name: scratch-volume
  nodeSelector:
    cloud.google.com/gke-ephemeral-storage-local-ssd: "true"
  volumes:
    - name: scratch-volume
      emptyDir: {}

疑難排解

如需疑難排解操作說明,請參閱「排解 GKE 儲存空間問題」。

後續步驟