GDC 网闸隔离配置上的 MariaDB 数据库参考实现

本指南提供了一个全面的分步教程,介绍如何在 Google Distributed Cloud (GDC) 网闸隔离环境中跨三个可用区部署高可用性 MariaDB 12 集群。此架构利用 Galera 实现同步多主集群,利用 HAProxy 实现智能连接路由,并利用轻量级 Python 健康检查服务管理节点状态。通过严格利用虚拟机 (VM),此实现方式明显绕过了当前 GDC 网闸隔离配置在跨可用区 Kubernetes 延伸集群方面的限制,从而确保了完整的多可用区弹性,同时避免了数据丢失风险。

这是架构图:

运行共置服务堆栈的三虚拟机架构。

准备工作

部署虚拟机

按照创建和启动虚拟机实例中的说明,在 3 个可用区中创建 3 个虚拟机。

配置本地环境,以便使用密钥对通过 SSH 连接到虚拟机:连接到虚拟机

手动 SCP 软件包时需要用到此权限:转移文件

为了进行验证,我们使用了 Ubuntu 22.04 操作系统和 n3-standard-2-gdc 机器类型。对于生产环境,请使用具有更多资源的机器类型。

使用以下命令获取虚拟机的 IP:

VM_NAME=$1

if [[ -z "$VM_NAME" ]]; then
  echo "Error: VM_NAME must be provided."
  echo "Usage: $0 <VM_NAME>"
  exit 1
fi

# 1. Get External IP from 'instances list'
EXT_IP=$(gdcloud compute instances list | awk -v vm="${VM_NAME}" '$1 == vm {print $5}')

if [[ -z "$EXT_IP" ]]; then
  echo "Error: Could not find VM '${VM_NAME}' in the instance list."
  exit 1
fi

INTERNAL_IP=$(gdcloud compute instances describe "${VM_NAME}" | awk '/^status:/ {in_status=1} in_status && /- [0-9]+\.[0-9]+\.[0-9]+\.[0-9]+/ {print $2; exit}' | cut -d'/' -f1)

if [[ -z "$INTERNAL_IP" ]]; then
  INTERNAL_IP="<Not assigned or not found>"
fi

echo "${VM_NAME}"
echo "External IP: ${EXT_IP}"
echo "Internal IP: ${INTERNAL_IP}"

配置环境变量

在本指南中,您将使用以下环境变量。在本地工作站 shell 会话中设置这些变量:

export PROJECT_ID="your-project-id"
export VM1_NAME="db-node-1"
export VM2_NAME="db-node-2"
export VM3_NAME="db-node-3"
export VM1_IP="10.0.1.245" # Zone 1
export VM2_IP="10.0.1.241" # Zone 2
export VM3_IP="10.0.1.242" # Zone 3

网络配置(项目网络政策)

如果您需要访问项目外部或组织外部的数据库,请务必相应地设置 PNP(项目网络政策)。

根据应用场景,按照 PNP 概览中的各个部分进行操作。

经过网闸隔离的软件准备

由于目标虚拟机无法访问互联网,因此您必须先在已连接的工作站上下载工件。

通过 Docker 下载软件包

使用 Ubuntu Docker 容器在本地工作站中运行以下命令:

mkdir -p ./packages
docker run --rm -v "$(pwd)/packages:/packages" ubuntu:22.04 bash -c "
  apt-get update
  apt-get install curl
  curl -LsS https://r.mariadb.com/downloads/mariadb_repo_setup | bash
  apt-get update
  cd packages
  PACKAGES='mariadb-server mariadb-client mariadb-common mysql-common'
  apt-get download \$(apt-cache depends --recurse --no-recommends --no-suggests --no-conflicts --no-breaks --no-replaces --no-enhances --no-pre-depends \${PACKAGES} | grep '^\w')
  apt-get download libpam-modules-bin
"

转移并安装

将下载的 .deb 文件上传到所有 3 个虚拟机上的 /tmp/packages/ 并进行安装:

# From local workstation
scp ./packages/*.deb ${VM1_IP}:/tmp/packages/
scp ./packages/*.deb ${VM2_IP}:/tmp/packages/
scp ./packages/*.deb ${VM3_IP}:/tmp/packages/

# On each VM, run:
sudo apt update
sudo dpkg -i /tmp/packages/*.deb

确保 dpkg 不返回任何错误。如果存在,请查看日志,了解您可能缺少哪些 deb 软件包,并将其包含在下载内容中。

MariaDB 和 Galera 初始化

在所有虚拟机上配置 Galera

首先停止 mariadb 服务器:

sudo systemctl stop mariadb

为防止与 HAProxy(将拥有 3306)发生端口冲突,请将 MariaDB 默认端口更改为 3308。在所有虚拟机上修改 /etc/mysql/mariadb.conf.d/60-galera.cnf:

[mysqld]
bind-address = 0.0.0.0
port = 3308
binlog_format = ROW
default-storage-engine = innodb
innodb_autoinc_lock_mode = 2

# Galera Provider Configuration
wsrep_on = ON
wsrep_provider = /usr/lib/galera/libgalera_smm.so
wsrep_cluster_name = "mariadb-ha-cluster"
wsrep_cluster_address = "gcomm://${VM1_IP},${VM2_IP},${VM3_IP}" # explicitly set the IPs, do not leave bash syntax / environment variable
wsrep_sst_method = rsync

# Node-specific (Update per VM)
wsrep_node_address = "${VM1_IP}" # explicitly set the IPs, do not leave bash syntax / environment variable. Change for VM 2 and VM 3
wsrep_node_name = "db-node-1"     # Change for VM 2 and VM 3

引导集群

仅在虚拟机 1 上,初始化新集群:

sudo galera_new_cluster

联接副本

虚拟机 1 成功运行后,依次在虚拟机 2 和虚拟机 3 上启动 MariaDB 服务:

sudo systemctl start mariadb

注意:请等待每个节点完全同步后再启动下一个节点。

验证高可用性数据库是否已启动并正常运行

在任何虚拟机上运行:

sudo mariadb

然后:

MariaDB [(none)]> SHOW STATUS LIKE 'wsrep_cluster_size';
+--------------------+-------+
| Variable_name      | Value |
+--------------------+-------+
| wsrep_cluster_size | 3     |
+--------------------+-------+
1 row in set (0.001 sec)

预期值为 3。

Python 健康检查

我们将使用 Python 的内置 http.server 库,并将其封装在 systemd 服务中,以便它在端口 9200 上自动在后台运行。

创建数据库用户

在一个虚拟机中运行:

CREATE USER 'clustercheck_user'@'localhost' IDENTIFIED BY 'clustercheck_password';
FLUSH PRIVILEGES;

创建 Python 脚本

在所有 3 个虚拟机上,创建脚本 /usr/local/bin/clustercheck.py:

sudo nano /usr/local/bin/clustercheck.py

粘贴以下确切代码:

#!/usr/bin/env python3
import mysql.connector
from http.server import BaseHTTPRequestHandler, HTTPServer

class HealthHandler(BaseHTTPRequestHandler):
    def do_GET(self):
        try:
            # Connect to backend MariaDB port 3308
            db = mysql.connector.connect(user='clustercheck_user', password='clustercheck_password', host='127.0.0.1', port=3308)
            cursor = db.cursor()
            cursor.execute("SHOW GLOBAL STATUS LIKE 'wsrep_local_state_comment'")
            state = cursor.fetchone()

            # Galera 'Synced' state means the node is fully healthy
            if state == 'Synced':
                self.send_response(200)
                self.end_headers()
                self.wfile.write(b"Node is Healthy and Synced.\n")
            else:
                self.send_response(503)
                self.end_headers()
                self.wfile.write(b"Node is unavailable.\n")
        except Exception as e:
            self.send_response(503)
            self.end_headers()

HTTPServer(('0.0.0.0', 9200), HealthHandler).serve_forever()

使其可执行:

sudo chmod +x /usr/local/bin/clustercheck.py

创建 systemd 服务

创建一个服务文件来管理 Python 脚本:

sudo nano /etc/systemd/system/clustercheck.service

粘贴以下配置:

[Unit]
Description=MariaDB Galera Health Check
After=network.target mariadb.service

[Service]
Type=simple
User=root
ExecStart=/usr/local/bin/clustercheck.py
Restart=always

[Install]
WantedBy=multi-user.target

启用并启动服务:

sudo systemctl daemon-reload
sudo systemctl enable --now clustercheck.service

您可以通过运行 curl -i http://127.0.0.1:9200 在本地进行测试。

HAProxy 配置

执行相同的过程来获取 haproxy 软件包并将其上传到虚拟机中。然后,在每个节点上配置 HAProxy 配置文件,以处理流量路由。

配置 HAProxy

在所有虚拟机上修改 /etc/haproxy/haproxy.cfg:

global
    log /dev/log local0
    user haproxy
    group haproxy
    daemon

defaults
    log global
    mode tcp
    option tcplog
    timeout connect 5000ms
    timeout client  50000ms
    timeout server  50000ms

# Write Port (Active/Backup)
listen galera_write
    bind *:3306
    mode tcp
    option httpchk GET /
    http-check expect status 200
    server db-node-1 10.0.1.245:3308 check port 9200
    server db-node-2 10.0.1.241:3308 check port 9200 backup
    server db-node-3 10.0.1.242:3308 check port 9200 backup

# Read Port (Round-Robin)
listen galera_read
    bind *:3307
    mode tcp
    balance roundrobin
    option httpchk GET /
    http-check expect status 200
    server db-node-1 10.0.1.245:3308 check port 9200
    server db-node-2 10.0.1.241:3308 check port 9200
    server db-node-3 10.0.1.242:3308 check port 9200

重要提示:请将 IP 和名称更改为与您的 IP 和名称一致。

逐个重启节点,以安全地应用更改:

sudo systemctl restart haproxy
sudo systemctl enable haproxy

验证 HAProxy 路由行为

运行以下命令,确保 HAProxy 根据我们的活跃/备份拓扑处理读取和写入。

  1. 验证写入路由(主动/备份):HAProxy 配置为将所有端口 3306 流量严格发送到节点 1,除非节点 1 已停机。从虚拟机 2 或虚拟机 3 的终端连续运行此命令 3 或 4 次:

    mysql -h 127.0.0.1 -P 3306 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    预期结果:每次运行该命令时,它都应该返回节点 1 的主机名(例如 db-node-1)。即使您在虚拟机 2 或 3 上查询本地 HAProxy,它也会正确地通过网络将写入连接转发到节点 1。

  2. 验证读取路由(轮询):HAProxy 已配置为在所有完全同步的节点之间均匀分配端口 3307 流量。连续运行此命令 3 或 4 次:

    mysql -h 127.0.0.1 -P 3307 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    预期结果:输出应在集群的主机名之间均匀循环(例如,db-node-1、db-node-2、db-node-3)。

全球负载均衡器设置

使用 GDC 全球 L4 负载均衡器为您的应用提供单个稳定的虚拟 IP (VIP)。按照配置内部全球负载均衡器中的说明设置内部全球 L4 负载均衡器,并将虚拟机设置为其目标:将虚拟机设置为负载均衡器目标。

自动化故障切换测试

这是最关键的测试。您需要证明,如果某个节点崩溃,Python 脚本会捕获该事件,并且 HAProxy 会立即重新路由流量。

  1. 步骤 A:模拟节点 1 上的故障:通过 SSH 连接到节点 1 并完全停止数据库:

    sudo systemctl stop mariadb
    
  2. 步骤 B:再次测试写入端口:在虚拟机 2 或虚拟机 3 中,再次运行写入测试:

    mysql -h 127.0.0.1 -P 3306 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    预期结果:它应立即返回节点 2 (db-node-2)。HAProxy 通过 Python 脚本发现节点 1 已停机,并提升了第一个备份服务器。

  3. 步骤 C:再次测试读取端口:多次运行读取测试:

    mysql -h 127.0.0.1 -P 3307 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    预期结果:它应该只在节点 2 和节点 3 之间循环。节点 1 已完全从轮替中移除。

  4. 步骤 D:恢复和验证故障恢复:在节点 1 上启动 MariaDB 备份:

    sudo systemctl start mariadb
    

    等待几秒钟,让其完成同步(状态 4),然后最后一次运行写入测试(端口 3306)。HAProxy 应自动检测到节点 1 再次恢复正常,并从节点 2 窃取写入流量。