透過 Filestore 部署有狀態的工作負載

本教學課程說明如何使用永久磁碟區 (PV) 和永久磁碟區要求 (PVC)，在 Google Kubernetes Engine (GKE) 上部署簡單的讀取端/寫入端有狀態工作負載。請參閱本教學課程，瞭解如何使用 Google Cloud 的受管理網路檔案系統 Filestore，設計可擴充的系統。

背景

Pod 本質上是暫時性的，也就是說，GKE 會在 Pod 遭到刪除、逐出或重新排程時，清除 Pod 中儲存的狀態和值。

應用程式運算子可能需要維護有狀態的工作負載。這類工作負載的範例包括處理 WordPress 文章的應用程式、訊息應用程式，以及處理機器學習作業的應用程式。

在 GKE 上使用 Filestore 時，您可以執行下列作業：

  • 部署可擴充的有狀態工作負載。
  • 讓多個 Pod 將 ReadWriteMany 設為 accessMode，以便多個 Pod 同時讀取及寫入同一個儲存空間。
  • 設定 GKE，同時將磁碟區掛接到多個 Pod。
  • 在移除 Pod 時保留儲存空間。
  • 讓 Pods 共用資料，輕鬆擴大規模。

使用 CSI 透過 Filestore 設定代管檔案儲存空間

GKE 可在叢集中自動部署及管理 Kubernetes Filestore CSI 驅動程式。使用 Filestore CSI，您就能動態建立或刪除 Filestore 執行個體，並透過 StorageClass 或 Deployment 在 Kubernetes 工作負載中使用這些執行個體。

您可以建立 PVC，動態佈建 Filestore 執行個體和 PV，藉此建立新的 Filestore 執行個體，也可以在 Kubernetes 工作負載中存取預先佈建的 Filestore 執行個體。

新增執行個體

建立儲存空間類別

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: filestore-sc
provisioner: filestore.csi.storage.gke.io
volumeBindingMode: Immediate
allowVolumeExpansion: true
parameters:
  tier: standard
  network: default
  • volumeBindingMode 設為 Immediate，系統會立即開始佈建磁碟區。
  • tier 設為 standard，加快 Filestore 執行個體建立時間。 如需高可用性的 NFS 儲存空間、資料備份快照、跨多個可用區的資料複製功能，以及其他企業級功能，請改為將 tier 設為 enterprise。 注意：如果未設定 StorageClass 中的 reclaimPolicy，系統會將動態建立的 PV 預設為 Delete。

  1. 建立 StorageClass 資源：

    kubectl create -f filestore-storageclass.yaml

  2. 確認已建立儲存空間級別：

    kubectl get sc

    輸出結果會與下列內容相似：

    NAME                     PROVISIONER                    RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
filestore-sc             filestore.csi.storage.gke.io   Delete          Immediate              true                   94m

預先佈建的執行個體

建立儲存空間類別

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: filestore-sc
provisioner: filestore.csi.storage.gke.io
volumeBindingMode: Immediate
allowVolumeExpansion: true

如果將 volumeBindingMode 設為 Immediate，系統會立即開始佈建磁碟區。

  1. 建立 StorageClass 資源：

      kubectl create -f preprov-storageclass.yaml

  2. 確認已建立儲存空間級別：

      kubectl get sc

    輸出結果會與下列內容相似：

      NAME                     PROVISIONER                    RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
  filestore-sc             filestore.csi.storage.gke.io   Delete          Immediate              true                   94m

為 Filestore 執行個體建立永久磁碟區

apiVersion: v1
kind: PersistentVolume
metadata:
  name: fileserver
  annotations:
    pv.kubernetes.io/provisioned-by: filestore.csi.storage.gke.io
spec:
  storageClassName: filestore-sc
  capacity:
    storage: 1Ti
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Delete
  volumeMode: Filesystem
  csi:
    driver: filestore.csi.storage.gke.io
    # Modify this to use the zone, filestore instance and share name.
    volumeHandle: "modeInstance/<LOCATION>/<INSTANCE_NAME>/<FILE_SHARE_NAME>"
    volumeAttributes:
      ip: <IP_ADDRESS> # Modify this to Pre-provisioned Filestore instance IP
      volume: <FILE_SHARE_NAME> # Modify this to Pre-provisioned Filestore instance share name

  1. 確認預先存在的 Filestore 執行個體是否已準備就緒：

      gcloud filestore instances list

    輸出結果會與下列內容相似，其中 STATE 值為 READY：

      INSTANCE_NAME: stateful-filestore
  LOCATION: us-central1-a
  TIER: ENTERPRISE
  CAPACITY_GB: 1024
  FILE_SHARE_NAME: statefulpath
  IP_ADDRESS: 10.109.38.98
  STATE: READY
  CREATE_TIME: 2022-04-05T18:58:28

    請記下 Filestore 執行個體的 INSTANCE_NAME、LOCATION、FILE_SHARE_NAME 和 IP_ADDRESS。

  2. 填入 Filestore 執行個體控制台變數：

      INSTANCE_NAME=INSTANCE_NAME
  LOCATION=LOCATION
  FILE_SHARE_NAME=FILE_SHARE_NAME
  IP_ADDRESS=IP_ADDRESS

  3. 將預留位置變數替換為上述取得的控制台變數，然後儲存至 preprov-pv.yaml 檔案：

      sed "s/<INSTANCE_NAME>/$INSTANCE_NAME/" preprov-pv.yaml > changed.yaml && mv changed.yaml preprov-pv.yaml
  sed "s/<LOCATION>/$LOCATION/" preprov-pv.yaml > changed.yaml && mv changed.yaml preprov-pv.yaml
  sed "s/<FILE_SHARE_NAME>/$FILE_SHARE_NAME/" preprov-pv.yaml > changed.yaml && mv changed.yaml preprov-pv.yaml
  sed "s/<IP_ADDRESS>/$IP_ADDRESS/" preprov-pv.yaml > changed.yaml && mv changed.yaml preprov-pv.yaml

  4. 建立 PV

      kubectl apply -f preprov-pv.yaml

  5. 確認 PV 的 STATUS 已設為 Bound：

      kubectl get pv

    輸出結果會與下列內容相似：

      NAME        CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                STORAGECLASS    REASON   AGE
  fileserver  1Ti        RWX            Delete           Bound    default/fileserver   filestore-sc             46m

使用 PersistentVolumeClaim 存取磁碟區

下列 pvc.yaml 資訊清單會參照 Filestore CSI 驅動程式的 StorageClass，名稱為 filestore-sc。

如要讓多個 Pod 讀取及寫入磁碟區，請將 accessMode 設為 ReadWriteMany。

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: fileserver
spec:
  accessModes:
  - ReadWriteMany
  storageClassName: filestore-sc
  resources:
    requests:
      storage: 1Ti

  1. 部署 PVC：

    kubectl create -f pvc.yaml

  2. 確認 PVC 已建立：

    kubectl get pvc

    輸出結果會與下列內容相似：

    NAME         STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS        AGE
fileserver   Bound    pvc-aadc7546-78dd-4f12-a909-7f02aaedf0c3   1Ti        RWX            filestore-sc        92m

  3. 確認新建立的 Filestore 執行個體是否已準備就緒：

    gcloud filestore instances list

    輸出結果會與下列內容相似：

    INSTANCE_NAME: pvc-5bc55493-9e58-4ca5-8cd2-0739e0a7b68c
LOCATION: northamerica-northeast2-a
TIER: STANDARD
CAPACITY_GB: 1024
FILE_SHARE_NAME: vol1
IP_ADDRESS: 10.29.174.90
STATE: READY
CREATE_TIME: 2022-06-24T18:29:19

建立讀取者和寫入者 Pod

在本節中，您將建立讀取者 Pod 和寫入者 Pod。本教學課程使用 Kubernetes 部署建立 Pod。Deployment 是 Kubernetes API 物件，可讓您執行多個 Pod 副本，並將這些副本分散到叢集中的節點。

建立讀取者 Pod

讀取者 Pod 會讀取寫入者 Pod 正在寫入的檔案。 讀取者 Pod 會看到寫入者 Pod 副本寫入檔案的時間和位置。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: reader
spec:
  replicas: 1
  selector:
    matchLabels:
      app: reader
  template:
    metadata:
      labels:
        app: reader
    spec:
      containers:
      - name: nginx
        image: nginx:stable-alpine
        ports:
        - containerPort: 80
        volumeMounts:
        - name: fileserver
          mountPath: /usr/share/nginx/html # the shared directory 
          readOnly: true
      volumes:
      - name: fileserver
        persistentVolumeClaim:
          claimName: fileserver

讀取器 Pod 會從所有 Pod 共用的路徑 /usr/share/nginx/html 讀取資料。

  1. 部署讀取者 Pod：

    kubectl apply -f reader-fs.yaml

  2. 查詢 Pod 清單，確認讀取器副本是否正在執行：

    kubectl get pods

    輸出結果會與下列內容相似：

    NAME                      READY   STATUS    RESTARTS   AGE
reader-66b8fff8fd-jb9p4   1/1     Running   0          3m30s

建立寫入者 Pod

寫入者 Pod 會定期寫入其他寫入者和讀取者 Pod 可存取的共用檔案。寫入器 Pod 會將主機名稱寫入共用檔案，記錄自身狀態。

用於寫入器 Pod 的映像檔是 Alpine Linux 的自訂映像檔，用於公用程式和生產應用程式。其中包含一個指令碼 indexInfo.html，可取得最近寫入者的中繼資料，並計算所有不重複的寫入者和寫入總數。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: writer
spec:
  replicas: 2 # start with 2 replicas
  selector:
    matchLabels:
      app: writer
  template:
    metadata:
      labels:
        app: writer
    spec:
      containers:
      - name: content
        image: us-docker.pkg.dev/google-samples/containers/gke/stateful-workload:latest
        volumeMounts:
        - name: fileserver
          mountPath: /html # the shared directory
        command: ["/bin/sh", "-c"]
        args:
        - cp /htmlTemp/indexInfo.html /html/index.html;
          while true; do
          echo "<b> Date :</b> <text>$(date)</text> <b> Writer :</b> <text2> ${HOSTNAME} </text2> <br>  " >> /html/indexData.html;
          sleep 30;  
          done
      volumes:
      - name: fileserver
        persistentVolumeClaim:
          claimName: fileserver

在本教學課程中，寫入器 Pod 會每 30 秒寫入一次路徑 /html/index.html。修改 sleep 數字值，設定不同的寫入頻率。

  1. 部署寫入者 Pod：

    kubectl apply -f writer-fs.yaml

  2. 查詢 Pod 清單，確認寫入器 Pod 是否正在運作：

    kubectl get pods

    輸出結果會與下列內容相似：

    NAME                      READY   STATUS    RESTARTS   AGE
reader-66b8fff8fd-jb9p4   1/1     Running   0          3m30s
writer-855565fbc6-8gh2k   1/1     Running   0          2m31s
writer-855565fbc6-lls4r   1/1     Running   0          2m31s

將讀取者工作負載公開至 Service 負載平衡器以存取

如要從叢集外部公開發布工作負載，請建立類型為 LoadBalancer 的 Service。這種類型的 Service 會建立外部負載平衡器，並指派可透過網際網路存取的 IP 位址。

  1. 建立名為 reader-lb 的 LoadBalancer 類型服務：

    kubectl create -f loadbalancer.yaml

  2. 監控部署作業，確認 GKE 為 reader-lb 服務指派 EXTERNAL-IP：

    kubectl get svc --watch

    Service 準備就緒後，「EXTERNAL-IP」欄會顯示負載平衡器的公開 IP 位址：

      NAME         TYPE           CLUSTER-IP    EXTERNAL-IP     PORT(S)        AGE
  kubernetes   ClusterIP      10.8.128.1    <none>          443/TCP        2d21h
  reader-lb    LoadBalancer   10.8.131.79   34.71.232.122   80:32672/TCP   2d20h

  3. 按下 Ctrl+C 鍵，終止監看程序。

  4. 使用網路瀏覽器前往指派給負載平衡器的 EXTERNAL-IP。網頁每 30 秒會重新整理一次。 當寫入者越多且頻率越低，網頁就會顯示更多項目。

如要進一步瞭解負載平衡器服務，請參閱 loadbalancer.yaml。

擴大寫入者數量

由於 PV accessMode 已設為 ReadWriteMany，因此 GKE 可以擴充 Pod 數量，讓更多寫入者 Pod 寫入這個共用磁碟區 (或讓更多讀取者讀取)。

  1. 將 writer 擴充至五個備用資源：

    kubectl scale deployment writer --replicas=5

    輸出結果會與下列內容相似：

    deployment.extensions/writer scaled

  2. 確認正在執行的副本數量：

    kubectl get pods

    輸出結果會與下列內容相似：

    NAME                      READY   STATUS    RESTARTS   AGE
reader-66b8fff8fd-jb9p4   1/1     Running   0          11m
writer-855565fbc6-8dfkj   1/1     Running   0          4m
writer-855565fbc6-8gh2k   1/1     Running   0          10m
writer-855565fbc6-gv5rs   1/1     Running   0          4m
writer-855565fbc6-lls4r   1/1     Running   0          10m
writer-855565fbc6-tqwxc   1/1     Running   0          4m

  3. 使用網路瀏覽器再次前往指派給負載平衡器的 EXTERNAL-IP。

此時，您已設定及擴充叢集，支援五個具狀態的寫入者 Pod。多個寫入器 Pod 同時寫入同一個檔案。讀取者 Pod 也可以輕鬆擴充。

選用：從 Writer Pod 存取資料

本節示範如何使用指令列介面存取讀取或寫入 Pod。您可以查看寫入者寫入的共用元件，以及讀取者讀取的共用元件。

  1. 取得寫入者 Pod 名稱：

    kubectl get pods

    輸出結果會與下列內容相似：

    NAME                      READY   STATUS    RESTARTS   AGE
writer-5465d65b46-7hxv4   1/1     Running   0          20d

    記下寫入者 Pod 的主機名稱 (例如：writer-5465d65b46-7hxv4)。

  2. 執行下列指令，存取寫入器 Pod：

    kubectl exec -it WRITER_HOSTNAME -- /bin/sh

  3. 在 indexData.html 檔案中查看共用元件：

    cd /html
cat indexData.html

  4. 清除 indexData.html 檔案：

    echo '' > indexData.html

    重新整理網頁瀏覽器，即可查看 EXTERNAL-IP 位址的變更。

  5. 退出環境：

    exit