在 GKE 中将 MySQL 数据从 Persistent Disk 迁移到 Hyperdisk

本教程演示了如何将现有 MySQL 数据从 Persistent Disk (PD) 迁移到 Google Kubernetes Engine 上的 Hyperdisk，以提升存储性能。Hyperdisk 的 IOPS 和吞吐量高于 Persistent Disk，因此可以缩短数据库查询和事务的延迟时间，从而提升 MySQL 性能。您可以使用 磁盘快照 将数据迁移到不同的磁盘类型，具体取决于机器类型兼容性。例如，Hyperdisk 卷仅与某些第三代、第四代及更高版本的机器类型（例如不支持 Persistent Disk 的 N4）兼容。如需了解详情，请参阅可用的机器系列。

为了演示从 Persistent Disk 到 Hyperdisk 的迁移，本教程使用 Sakila 数据库 提供示例数据集。Sakila 是 MySQL 提供的示例数据库，您可以将其用作教程和示例的架构。它代表一家虚构的 DVD 租赁商店，包含影片、演员、客户和租赁的表。

本指南适用于负责创建和分配存储空间以及管理数据安全和数据访问权限的存储专家和存储管理员。如需详细了解我们在 Google Cloud 内容中提及的常见角色和示例任务，请参阅常见的 GKE 用户角色和任务。

部署架构

下图展示了从 Persistent Disk 到 Hyperdisk 的迁移过程。

  • MySQL 应用在具有 N2 机器类型的 GKE 节点池池上运行，并将其数据存储在 Persistent Disk SSD 上。
  • 为了确保数据一致性，应用会纵向缩容，以防止写入新数据。
  • 系统会创建 Persistent Disk 的快照，作为数据的完整时间点备份。
  • 系统会根据快照预配新的 Hyperdisk，并在单独的 Hyperdisk 兼容型 N4 节点池部署新的 MySQL 实例。此新实例会挂接到新创建的 Hyperdisk，从而完成向高性能存储空间的迁移。
架构图：显示了如何使用快照将 MySQL 数据从 Persistent Disk 迁移到 Hyperdisk。
图 1：使用快照将 MySQL 数据从 Persistent Disk 迁移到 Hyperdisk。

目标

在本教程中，您将学习如何执行以下操作：

  • 部署 MySQL 集群。
  • 上传测试数据集。
  • 创建数据的快照。
  • 根据快照创建 Hyperdisk。
  • 在启用 Hyperdisk 的 N4 机器类型节点池中启动新的 MySQL 集群。
  • 验证数据完整性以确认迁移成功。

费用

在本文档中，您将使用的以下收费组件： Google Cloud

  • GKE
  • Compute Engine, which includes:
    • Storage capacity provisioned for both Persistent Disk and Hyperdisk.
    • Storage costs for the snapshots.

您可使用 价格计算器 根据您的预计使用情况来估算费用。

新 Google Cloud 用户可能有资格申请免费试用。

准备工作

  1. 登录您的 Google Cloud 账号。如果您是 Google Cloud新手， 请创建一个账号来评估我们的产品在 实际场景中的表现。新客户还可获享 $300 赠金，用于 运行、测试和部署工作负载。

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Compute Engine, GKE, Identity and Access Management Service Account Credentials APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Compute Engine, GKE, Identity and Access Management Service Account Credentials APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

  8. 确保您在项目中拥有以下一个或多个角色： roles/container.admin、roles/iam.serviceAccountAdmin、roles/compute.admin

    检查角色

    1. 在 Google Cloud 控制台中，前往 IAM 页面。

      转到 IAM
    2. 选择项目。

    3. 在主账号 列中，找到标识您或您所属群组的所有行。如需了解您属于哪些群组，请与您的 管理员联系。

    4. 对于指定或包含您的所有行，请检查角色 列以查看 角色列表是否包含所需的角色。

    授予角色

    1. 在 Google Cloud 控制台中，前往 IAM 页面。

      转到 IAM
    2. 选择项目。
    3. 点击 授予访问权限。

    4. 在新的主账号 字段中，输入您的用户标识符。 这通常是 Google 账号的电子邮件地址。

    5. 点击选择角色，然后搜索相应角色。
    6. 如需授予其他角色，请点击 添加其他角色 ，然后添加其他各个角色。
    7. 点击 Save （保存）。

设置 Cloud Shell

  2. 在 Google Cloud 控制台中，激活 Cloud Shell。

    激活 Cloud Shell

    Cloud Shell 会话随即会在控制台的底部启动，并显示命令行提示符。 Google Cloud Cloud Shell 是一个已安装 Google Cloud CLI 且已为当前项目设置值的 Shell 环境。该会话可能需要几秒钟来完成初始化。

    3. Cloud Shell 会话随即会启动并显示命令行提示符。该会话可能需要几秒钟来完成初始化。

  3. 设置默认项目：

      gcloud config set project PROJECT_ID

    将 PROJECT_ID 替换为您的项目 ID。

准备环境

  1. 在 Cloud Shell 中，为您的项目、位置和集群前缀设置环境变量。

    export PROJECT_ID=PROJECT_ID
export EMAIL_ADDRESS=EMAIL_ADDRESS
export KUBERNETES_CLUSTER_PREFIX=offline-hyperdisk-migration
export LOCATION=us-central1-a

    替换以下内容：

    • PROJECT_ID：您的 Google Cloud 项目 ID。
    • EMAIL_ADDRESS：您的电子邮件地址。
    • LOCATION：您要在其中创建部署资源的可用区。在本教程中，请使用 us-central1-a 可用区。

  2. 从 GitHub 克隆示例代码库：

    git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples

  3. 转到 offline-hyperdisk-migration 目录以开始创建部署资源：

    cd kubernetes-engine-samples/databases/offline-hyperdisk-migration

创建 GKE 集群和节点池

为简单起见，本教程使用可用区级集群，因为 Hyperdisk 卷是可用区级资源，只能在单个可用区内访问。

  1. 创建可用区级 GKE 集群：

    gcloud container clusters create ${KUBERNETES_CLUSTER_PREFIX}-cluster \
    --location ${LOCATION} \
    --node-locations ${LOCATION} \
    --shielded-secure-boot \
    --shielded-integrity-monitoring \
    --machine-type "e2-micro" \
    --num-nodes "1"

  2. 添加具有 N2 机器类型的节点池，用于初始 MySQL 部署：

    gcloud container node-pools create regular-pool \
    --cluster ${KUBERNETES_CLUSTER_PREFIX}-cluster \
    --machine-type n2-standard-4 \
    --location ${LOCATION} \
    --num-nodes 1

  3. 添加具有 N4 机器类型的 Hyperdisk 节点池，MySQL 部署将迁移到该节点池并在此运行：

    gcloud container node-pools create hyperdisk-pool \
    --cluster ${KUBERNETES_CLUSTER_PREFIX}-cluster \
    --machine-type n4-standard-4 \
    --location ${LOCATION} \
    --num-nodes 1

  4. 连接到该集群：

    gcloud container clusters get-credentials ${KUBERNETES_CLUSTER_PREFIX}-cluster --location ${LOCATION}

在 Persistent Disk 上部署 MySQL

在本部分中，您将部署使用 Persistent Disk 进行存储的 MySQL 实例，并向其加载示例数据。

  1. 为 Hyperdisk 创建并应用 StorageClass。本教程稍后将使用此 StorageClass。

    apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: balanced-storage
provisioner: pd.csi.storage.gke.io
volumeBindingMode: WaitForFirstConsumer
allowVolumeExpansion: true
parameters:
  type: hyperdisk-balanced
  provisioned-throughput-on-create: "250Mi"
  provisioned-iops-on-create: "7000"
     
    kubectl apply -f manifests/01-storage-class/storage-class-hdb.yaml

  2. 创建并部署 MySQL 实例，该实例包含节点亲和性，以确保 Pod 安排在 regular-pool 节点上，并预配 Persistent Disk SSD 卷。

    apiVersion: v1
kind: Service
metadata:
  name: regular-mysql
  labels:
    app: mysql
spec:
  ports:
    - port: 3306
  selector:
    app: mysql
  clusterIP: None
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mysql-pv-claim
  labels:
    app: mysql
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 30Gi
  storageClassName: premium-rwo
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: existing-mysql
  labels:
    app: mysql
spec:
  selector:
    matchLabels:
      app: mysql
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: mysql
    spec:
      containers:
      - image: mysql:8.0
        name: mysql
        env:
        - name: MYSQL_ROOT_PASSWORD
          value: migration
        - name: MYSQL_DATABASE
          value: mysql
        - name: MYSQL_USER
          value: app
        - name: MYSQL_PASSWORD
          value: migration
        ports:
        - containerPort: 3306
          name: mysql
        volumeMounts:
        - name: mysql-persistent-storage
          mountPath: /var/lib/mysql
      affinity: 
        nodeAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 1
            preference:
              matchExpressions:
              - key: "node.kubernetes.io/instance-type"
                operator: In
                values:
                - "n2-standard-4"
      volumes:
      - name: mysql-persistent-storage
        persistentVolumeClaim:
          claimName: mysql-pv-claim
     
    kubectl apply -f manifests/02-mysql/mysql-deployment.yaml

    此清单会创建 MySQL 部署和服务，并动态预配 Persistent Disk 以进行数据存储。 root 用户的密码为 migration。

  3. 部署 MySQL 客户端 Pod 以加载数据，并验证数据迁移：

    apiVersion: v1
kind: Pod
metadata:
  name: mysql-client
spec:
  containers:
  - name: main
    image: mysql:8.0
    command: ["sleep", "360000"]
    resources:
      requests:
        memory: 1Gi
        cpu: 500m
      limits:
        memory: 1Gi
        cpu: "1"
    env:
    - name: MYSQL_ROOT_PASSWORD
      value: migration
     
    kubectl apply -f manifests/02-mysql/mysql-client.yaml
kubectl wait pods mysql-client --for condition=Ready --timeout=300s

  4. 连接到客户端 Pod：

    kubectl exec -it mysql-client -- bash

  5. 从客户端 Pod shell 中，下载并导入 Sakila 示例数据集：

    # Download the dataset
curl --output dataset.tgz "https://downloads.mysql.com/docs/sakila-db.tar.gz"

# Extract the dataset
tar -xvzf dataset.tgz -C /

# Import the dataset into MySQL (the password is "migration").
mysql -u root -h regular-mysql.default -p
    SOURCE /sakila-db/sakila-schema.sql;
    SOURCE /sakila-db/sakila-data.sql;

  6. 验证数据是否已导入：

    USE sakila;
SELECT      table_name,      table_rows  FROM      INFORMATION_SCHEMA.TABLES  WHERE TABLE_SCHEMA = 'sakila';

    输出会显示包含行数的表列表。

    | TABLE_NAME                 | TABLE_ROWS |
+----------------------------+------------+
| actor                      |        200 |
| actor_info                 |       NULL |
| address                    |        603 |
| category                   |         16 |
| city                       |        600 |
| country                    |        109 |
| customer                   |        599 |
| customer_list              |       NULL |
| film                       |       1000 |
| film_actor                 |       5462 |
| film_category              |       1000 |
| film_list                  |       NULL |
| film_text                  |       1000 |
| inventory                  |       4581 |
| language                   |          6 |
| nicer_but_slower_film_list |       NULL |
| payment                    |      16086 |
| rental                     |      16419 |
| sales_by_film_category     |       NULL |
| sales_by_store             |       NULL |
| staff                      |          2 |
| staff_list                 |       NULL |
| store                      |          2 |
+----------------------------+------------+
23 rows in set (0.01 sec)

  7. 退出mysql会话：

    exit;

  8. 退出客户端 Pod shell：

    exit

  9. 获取为 MySQL 创建的 PersistentVolume (PV) 的名称，并将其存储在环境变量中：

    export PV_NAME=$(kubectl get pvc mysql-pv-claim -o jsonpath='{.spec.volumeName}')

将数据迁移到 Hyperdisk 卷

现在，您有一个 MySQL 工作负载，其数据存储在 Persistent Disk SSD 卷上。本部分介绍如何使用快照将此数据迁移到 Hyperdisk 卷。此迁移方法还会保留原始 Persistent Disk 卷，以便您在必要时回滚到使用原始 MySQL 实例。

  1. 虽然您可以从磁盘创建快照，而无需将其与工作负载分离，但为了确保 MySQL 的数据完整性，您必须在创建快照期间阻止向磁盘写入任何新数据。将 MySQL 部署纵向缩容到 0 个副本以停止写入：

    kubectl scale deployment existing-mysql --replicas=0

  2. 从现有 Persistent Disk 创建快照：

    gcloud compute disks snapshot ${PV_NAME} --zone=${LOCATION} --snapshot-names=original-snapshot --description="snapshot taken from pd-ssd"

  3. 根据快照创建名为 mysql-recovery 的新 Hyperdisk 卷：

    gcloud compute disks create mysql-recovery --project=${PROJECT_ID} \
    --type=hyperdisk-balanced \
    --size=150GB --zone=${LOCATION} \
    --source-snapshot=projects/${PROJECT_ID}/global/snapshots/original-snapshot

  4. 使用您的项目 ID 更新已恢复 PV 的清单文件：

    apiVersion: v1
kind: PersistentVolume
metadata:
  name: backup
spec:
  storageClassName: balanced-storage
  capacity:
    storage: 150G
  accessModes:
    - ReadWriteOnce
  claimRef:
    name: hyperdisk-recovery
    namespace: default
  csi:
    driver: pd.csi.storage.gke.io
    volumeHandle: projects/PRJCTID/zones/us-central1-a/disks/mysql-recovery
    fsType: ext4
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  namespace: default
  name: hyperdisk-recovery
spec:
  storageClassName: balanced-storage
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 150G
     
    sed -i "s/PRJCTID/$PROJECT_ID/g" manifests/02-mysql/restore_pv.yaml

  5. 根据新的 Hyperdisk 创建 PersistentVolume (PVC) 和 PersistentVolumeClaim：

    kubectl apply -f manifests/02-mysql/restore_pv.yaml

验证数据迁移

部署使用新创建的 Hyperdisk 卷的新 MySQL 实例。此 Pod 将安排在由 N4 节点组成的 hyperdisk-pool 节点池池上。

  1. 部署新的 MySQL 实例：

    apiVersion: v1
kind: Service
metadata:
  name: recovered-mysql
  labels:
    app: new-mysql
spec:
  ports:
    - port: 3306
  selector:
    app: new-mysql
  clusterIP: None
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: new-mysql
  labels:
    app: new-mysql
spec:
  selector:
    matchLabels:
      app: new-mysql
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: new-mysql
    spec:
      containers:
      - image: mysql:8.0
        name: mysql
        env:
        - name: MYSQL_ROOT_PASSWORD
          value: migration
        - name: MYSQL_DATABASE
          value: mysql
        - name: MYSQL_USER
          value: app
        - name: MYSQL_PASSWORD
          value: migration
        ports:
        - containerPort: 3306
          name: mysql
        volumeMounts:
        - name: mysql-persistent-storage
          mountPath: /var/lib/mysql
      affinity: 
        nodeAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 1
            preference:
              matchExpressions:
              - key: "cloud.google.com/gke-nodepool"
                operator: In
                values:
                - "hyperdisk-pool"      
      volumes:
      - name: mysql-persistent-storage
        persistentVolumeClaim:
          claimName: hyperdisk-recovery
     
    kubectl apply -f manifests/02-mysql/recovery_mysql_deployment.yaml

  2. 如需验证数据完整性，请再次连接到 MySQL 客户端 Pod：

    kubectl exec -it mysql-client -- bash

  3. 在客户端 Pod 中，连接到新的 MySQL 数据库 (recovered-mysql.default) 并验证数据。密码为 migration。

    mysql -u root -h recovered-mysql.default -p
USE sakila;
SELECT table_name, table_rows FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA = 'sakila';

    数据应与 Persistent Disk 卷上的原始 MySQL 实例中的数据 相同。

  4. 退出mysql会话：

    exit;

  5. 退出客户端 Pod shell：

    exit

清理

为避免因本教程中使用的资源导致您的 Google Cloud 账号产生费用，请删除包含这些资源的项目，或者保留项目但删除各个资源。

删除项目

    删除项目： Google Cloud 

    gcloud projects delete PROJECT_ID

删除各个资源

如果您使用的是现有项目，并且不想将其删除，请逐个删除资源：

  1. 设置清理环境变量，并检索由 mysql-pv-claim PersistentVolumeClaim 创建的 Persistent Disk 卷的名称：

    export PROJECT_ID=PROJECT_ID
export KUBERNETES_CLUSTER_PREFIX=offline-hyperdisk-migration
export location=us-central1-a
export PV_NAME=$(kubectl get pvc mysql-pv-claim -o jsonpath='{.spec.volumeName}')

    将 PROJECT_ID 替换为您的项目 ID。

  2. 删除该快照：

    gcloud compute snapshots delete original-snapshot --quiet

  3. 删除 GKE 集群：

    gcloud container clusters delete ${KUBERNETES_CLUSTER_PREFIX}-cluster --location=${LOCATION} --quiet

  4. 删除 Persistent Disk 卷和 Hyperdisk 卷：

    gcloud compute disks delete ${PV_NAME} --zone=${LOCATION} --quiet
gcloud compute disks delete mysql-recovery --zone=${LOCATION} --quiet

后续步骤