Parallelstore 仅限受邀者使用。如果您想在您的 Google Cloud 项目中申请访问 Parallelstore
，请与您的
销售代表联系。
本指南介绍了如何将 (GKE) 连接的 Parallelstore 实例中的数据备份到 Cloud Storage 存储桶，以及如何通过配置 GKE CronJob 以按计划自动备份数据来防止潜在的数据丢失。本指南还介绍了如何恢复 Parallelstore 实例的数据。
准备工作
按照从 GKE 创建并连接到 Parallelstore 实例 中的步骤设置 GKE 集群和 Parallelstore 实例。
数据备份
以下部分介绍了如何设置 GKE CronJob 以持续备份 GKE 集群中 Parallelstore 实例的数据，从而防止数据丢失。
连接到 GKE 集群
获取 GKE 集群的凭据：
gcloud container clusters get-credentials CLUSTER_NAME \
--project=PROJECT_ID \
--location=CLUSTER_LOCATION
替换以下内容：
- CLUSTER_NAME：GKE 集群名称。
- PROJECT_ID：项目 ID。 Google Cloud
- CLUSTER_LOCATION：包含该 集群的 Compute Engine 可用区。您的集群必须位于 Parallelstore CSI 驱动程序 支持的可用区中。
预配所需权限
您的 GKE CronJob 需要 roles/parallelstore.admin 和 roles/storage.admin 角色才能在 Cloud Storage 和 Parallelstore 之间导入和导出数据。
创建服务账号 Google Cloud
gcloud iam service-accounts create parallelstore-sa \
--project=PROJECT_ID
授予 Google Cloud 服务账号角色
向服务帐号授予 Parallelstore Admin 和 Cloud Storage Admin 角色。
gcloud projects add-iam-policy-binding PROJECT_ID \
--member=serviceAccount:parallelstore-sa@PROJECT_ID.iam.gserviceaccount.com \
--role=roles/parallelstore.admin
gcloud projects add-iam-policy-binding PROJECT_ID \
--member serviceAccount:parallelstore-sa@PROJECT_ID.iam.gserviceaccount.com \
--role=roles/storage.admin
设置 GKE 服务帐号
您需要设置 GKE 服务帐号，并允许其模拟 Google Cloud 服务账号。 按照以下步骤允许 GKE 服务帐号绑定到 服务账号 Google Cloud 。
创建以下
parallelstore-sa.yaml服务帐号清单：# GKE service account used by workload and will have access to Parallelstore and GCS apiVersion: v1 kind: ServiceAccount metadata: name: parallelstore-sa namespace: default接下来，使用以下命令将其部署到 GKE 集群：
kubectl apply -f parallelstore-sa.yaml允许 GKE 服务帐号模拟 Google Cloud 服务账号。
# Bind the GCP SA and GKE SA gcloud iam service-accounts add-iam-policy-binding parallelstore-sa@PROJECT_ID.iam.gserviceaccount.com \ --role roles/iam.workloadIdentityUser \ --member "serviceAccount:PROJECT_ID.svc.id.goog[default/parallelstore-sa]" # Annotate the GKE SA with GCP SA kubectl annotate serviceaccount parallelstore-sa \ --namespace default \ iam.gke.io/gcp-service-account=parallelstore-sa@PROJECT_ID.iam.gserviceaccount.com
向 Parallelstore 代理服务帐号授予权限
gcloud storage buckets add-iam-policy-binding GCS_BUCKET \
--member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-parallelstore.iam.gserviceaccount.com \
--role=roles/storage.admin
替换以下内容：
- GCS_BUCKET：Cloud Storage 存储桶 URI，格式为
gs://<bucket_name>。 - PROJECT_NUMBER：项目编号。 Google Cloud
启动 CronJob
配置并启动 GKE CronJob，以定期将数据从 Parallelstore 导出到 Cloud Storage。
为 CronJob 创建配置文件 ps-to-gcs-backup.yaml：
apiVersion: batch/v1
kind: CronJob
metadata:
name: ps-to-gcs-backup
spec:
concurrencyPolicy: Forbid
failedJobsHistoryLimit: 1
schedule: "0 * * * *"
successfulJobsHistoryLimit: 3
suspend: false
jobTemplate:
spec:
template:
metadata:
annotations:
gke-parallelstore/cpu-limit: "0"
gke-parallelstore/ephemeral-storage-limit: "0"
gke-parallelstore/memory-limit: "0"
gke-parallelstore/volumes: "true"
spec:
serviceAccountName: parallelstore-sa
containers:
- name: pstore-backup
image: google/cloud-sdk:slim
imagePullPolicy: IfNotPresent
command:
- /bin/bash
- -c
- |
#!/bin/bash
set -ex
# Retrieve modification timestamp for the latest file up to the minute
latest_folder_timestamp=$(find $PSTORE_MOUNT_PATH/$SOURCE_PARALLELSTORE_PATH -type d -printf '%T@ %p\n'| sort -n | tail -1 | cut -d' ' -f2- | xargs -I{} stat -c %x {} | xargs -I {} date -d {} +"%Y-%m-%d %H:%M")
# Start exporting from PStore to GCS
operation=$(gcloud beta parallelstore instances export-data $PSTORE_NAME \
--location=$PSTORE_LOCATION \
--source-parallelstore-path=$SOURCE_PARALLELSTORE_PATH \
--destination-gcs-bucket-uri=$DESTINATION_GCS_URI \
--async \
--format="value(name)")
# Wait until operation complete
while true; do
status=$(gcloud beta parallelstore operations describe $operation \
--location=$PSTORE_LOCATION \
--format="value(done)")
if [ "$status" == "True" ]; then
break
fi
sleep 60
done
# Check if export succeeded
error=$(gcloud beta parallelstore operations describe $operation \
--location=$PSTORE_LOCATION \
--format="value(error)")
if [ "$error" != "" ]; then
echo "!!! ERROR while exporting data !!!"
fi
# Delete the old files from PStore if requested
# This will not delete the folder with the latest modification timestamp
if $DELETE_AFTER_BACKUP && [ "$error" == "" ]; then
find $PSTORE_MOUNT_PATH/$SOURCE_PARALLELSTORE_PATH -type d -mindepth 1 |
while read dir; do
# Only delete folders that is modified earlier than the latest modification timestamp
folder_timestamp=$(stat -c %y $dir)
if [ $(date -d "$folder_timestamp" +%s) -lt $(date -d "$latest_folder_timestamp" +%s) ]; then
echo "Deleting $dir"
rm -rf "$dir"
fi
done
fi
env:
- name: PSTORE_MOUNT_PATH # mount path of the Parallelstore instance, should match the volumeMount defined for this container
value: "PSTORE_MOUNT_PATH"
- name: PSTORE_NAME # name of the Parallelstore instance that need backup
value: "PSTORE_NAME"
- name: PSTORE_LOCATION # location/zone of the Parallelstore instance that need backup
value: "PSTORE_LOCATION"
- name: SOURCE_PARALLELSTORE_PATH # absolute path from the PStore instance, without volume mount path
value: "SOURCE_PARALLELSTORE_PATH"
- name: DESTINATION_GCS_URI # GCS bucket uri used for storing backups, starting with "gs://"
value: "DESTINATION_GCS_URI"
- name: DELETE_AFTER_BACKUP # will delete old data from Parallelstore if true
value: "DELETE_AFTER_BACKUP"
volumeMounts:
- mountPath: PSTORE_MOUNT_PATH # should match the value of env var PSTORE_MOUNT_PATH
name: PSTORE_PV_NAME
dnsPolicy: ClusterFirst
restartPolicy: OnFailure
terminationGracePeriodSeconds: 30
volumes:
- name: PSTORE_PV_NAME
persistentVolumeClaim:
claimName: PSTORE_PVC_NAME
执行以下变量替换操作：
- PSTORE_MOUNT_PATH：Parallelstore
实例的装载路径，应与为此容器定义的
volumeMount匹配。 - PSTORE_PV_NAME：指向 Parallelstore 实例的 GKE
PersistentVolume的名称。这应已在 GKE 集群中设置为前提条件的一部分。 - PSTORE_PVC_NAME：请求使用 Parallelstore
PersistentVolume的 GKEPersistentVolumeClaim的名称。这应已在 GKE 集群中设置为前提条件的一部分。 - PSTORE_NAME：需要备份的 Parallelstore 实例 的名称。
- PSTORE_LOCATION：需要备份的 Parallelstore 实例的位置。
- SOURCE_PARALLELSTORE_PATH：Parallelstore 实例的绝对路径，不包含卷装载路径，且必须以
/开头。 - DESTINATION_GCS_URI：Cloud Storage 存储桶的 Cloud Storage 存储桶 URI，或存储桶中的路径，格式为
gs://<bucket_name>/<optional_path_inside_bucket>。 - DELETE_AFTER_BACKUP：用于决定是否
在备份后从 Parallelstore 中删除旧数据并释放空间的配置，支持的
值：
true或false。
使用以下命令将 CronJob 部署到 GKE 集群：
kubectl apply -f ps-to-gcs-backup.yaml
如需详细了解如何设置 CronJob，请参阅 CronJob。
检测数据丢失
当 Parallelstore 实例的状态为 FAILED 时，可能无法再访问该实例上的数据。您可以使用以下 Google Cloud CLI 命令检查 Parallelstore 实例的状态：
gcloud beta parallelstore instances describe PARALLELSTORE_NAME \
--location=PARALLELSTORE_LOCATION \
--format="value(state)"
数据恢复
发生灾难或 Parallelstore 实例因任何原因失败时，您可以 使用 GKE VolumePopulator 将 Cloud Storage 中的数据自动预加载到 GKE 管理的 Parallelstore 实例中，也可以手动创建新的 Parallelstore 实例并从 Cloud Storage 备份导入数据。
如果您要从工作负载的检查点恢复，则需要通过提供 Cloud Storage 存储桶区内的路径来决定要从哪个检查点恢复。
如果 Parallelstore 实例在导出操作期间失败，则 Cloud Storage 中的 Parallelstore 导出可能包含部分数据。在将数据导入 Parallelstore 并恢复工作负载之前，请检查目标 Cloud Storage 位置中的数据是否完整。
GKE Volume Populator
GKE Volume Populator 可用于将 Cloud Storage 存储桶路径中的数据预加载到新创建的 Parallelstore 实例中。如需了解相关说明，请参阅 预加载 Parallelstore。
手动恢复
您还可以按照以下步骤手动创建 Parallelstore 实例并从 Cloud Storage 存储桶导入数据。
创建新的 Parallelstore 实例：
gcloud beta parallelstore instances create PARALLELSTORE_NAME \ --capacity-gib=CAPACITY_GIB \ --location=PARALLELSTORE_LOCATION \ --network=NETWORK_NAME \ --project=PROJECT_ID从 Cloud Storage 导入数据：
gcloud beta parallelstore instances import-data PARALLELSTORE_NAME \ --location=PARALLELSTORE_LOCATION \ --source-gcs-bucket-uri=SOURCE_GCS_URI \ --destination-parallelstore-path=DESTINATION_PARALLELSTORE_PATH \ --async
替换以下内容：
- PARALLELSTORE_NAME：此 Parallelstore 实例的名称。
- CAPACITY_GIB：Parallelstore
实例的存储容量（以 GB 为单位），值介于
12000到100000之间，且为4000的倍数。 - PARALLELSTORE_LOCATION：需要备份的 Parallelstore 实例的位置，必须位于支持的可用区中。
- NETWORK_NAME：您在配置 VPC 网络期间创建的 VPC 网络的名称，它必须与 GKE 集群使用的网络相同，并且已启用
Private Services Access。 - SOURCE_GCS_URI：Cloud Storage 存储桶的 Cloud Storage 存储桶 URI，或存储桶中包含要导入的数据的路径，格式为
gs://<bucket_name>/<optional_path_inside_bucket>。 - DESTINATION_PARALLELSTORE_PATH：Parallelstore 实例的绝对路径，您要将数据导入到该路径，且必须以
/开头。
如需详细了解如何将数据导入 Parallelstore 实例，请参阅 将数据传输到 Cloud Storage 或从 Cloud Storage 传输数据。