本指南提供完整的逐步教學課程,說明如何在 Google Distributed Cloud (GDC) 實體隔離環境中,跨三個可用區部署高可用性 MariaDB 12 叢集。這個架構運用 Galera 進行同步多主節點叢集、HAProxy 進行智慧連線轉送,以及輕量型 Python 健康狀態檢查服務管理節點狀態。這項實作嚴格使用虛擬機器 (VM),明顯繞過目前 GDC 實體隔離方案對跨可用區 Kubernetes 延伸叢集的限制,確保完整的跨可用區韌性,不會有資料遺失的風險。
架構圖如下:

事前準備
部署 VM
按照「建立及啟動 VM 執行個體」一文的說明,在 3 個可用區中建立 3 個虛擬機器。
設定本機環境,使用金鑰組透過 SSH 連線至 VM:連線至 VM
手動透過 SCP 傳輸套件時,需要使用這個指令: 移轉檔案
我們使用 Ubuntu 22.04 OS 和 n3-standard-2-gdc 機型進行驗證。如果是正式環境,請使用資源較多的機型。
使用下列指令取得 VM 的 IP:
VM_NAME=$1
if [[ -z "$VM_NAME" ]]; then
echo "Error: VM_NAME must be provided."
echo "Usage: $0 <VM_NAME>"
exit 1
fi
# 1. Get External IP from 'instances list'
EXT_IP=$(gdcloud compute instances list | awk -v vm="${VM_NAME}" '$1 == vm {print $5}')
if [[ -z "$EXT_IP" ]]; then
echo "Error: Could not find VM '${VM_NAME}' in the instance list."
exit 1
fi
INTERNAL_IP=$(gdcloud compute instances describe "${VM_NAME}" | awk '/^status:/ {in_status=1} in_status && /- [0-9]+\.[0-9]+\.[0-9]+\.[0-9]+/ {print $2; exit}' | cut -d'/' -f1)
if [[ -z "$INTERNAL_IP" ]]; then
INTERNAL_IP="<Not assigned or not found>"
fi
echo "${VM_NAME}"
echo "External IP: ${EXT_IP}"
echo "Internal IP: ${INTERNAL_IP}"
設定環境變數
在本指南中,您將使用下列環境變數。在本機工作站殼層工作階段中設定這些變數:
export PROJECT_ID="your-project-id"
export VM1_NAME="db-node-1"
export VM2_NAME="db-node-2"
export VM3_NAME="db-node-3"
export VM1_IP="10.0.1.245" # Zone 1
export VM2_IP="10.0.1.241" # Zone 2
export VM3_IP="10.0.1.242" # Zone 3
網路設定 (專案網路政策)
如需存取專案或組織外部的資料庫,請務必設定相應的 PNP (專案網路政策)。
請根據用途,按照「PNP 總覽」中的各節操作。
實體隔離軟體準備
由於目標 VM 沒有網路連線能力,您必須先在已連線的工作站下載構件。
透過 Docker 下載套件
使用 Ubuntu Docker 容器,在本機工作站執行下列指令:
mkdir -p ./packages
docker run --rm -v "$(pwd)/packages:/packages" ubuntu:22.04 bash -c "
apt-get update
apt-get install curl
curl -LsS https://r.mariadb.com/downloads/mariadb_repo_setup | bash
apt-get update
cd packages
PACKAGES='mariadb-server mariadb-client mariadb-common mysql-common'
apt-get download \$(apt-cache depends --recurse --no-recommends --no-suggests --no-conflicts --no-breaks --no-replaces --no-enhances --no-pre-depends \${PACKAGES} | grep '^\w')
apt-get download libpam-modules-bin
"
轉移及安裝
將下載的 .deb 檔案上傳至所有 3 個 VM 上的 /tmp/packages/,並安裝這些檔案:
# From local workstation
scp ./packages/*.deb ${VM1_IP}:/tmp/packages/
scp ./packages/*.deb ${VM2_IP}:/tmp/packages/
scp ./packages/*.deb ${VM3_IP}:/tmp/packages/
# On each VM, run:
sudo apt update
sudo dpkg -i /tmp/packages/*.deb
確認 dpkg 未傳回任何錯誤。如果是,請查看記錄,找出可能缺少的 deb 套件,並將其納入下載。
MariaDB 和 Galera 初始化
在所有 VM 上設定 Galera
首先,停止 mariadb 伺服器:
sudo systemctl stop mariadb
為避免與 HAProxy (將擁有 3306) 發生通訊埠衝突,請將 MariaDB 預設通訊埠變更為 3308。在所有 VM 上編輯 /etc/mysql/mariadb.conf.d/60-galera.cnf:
[mysqld]
bind-address = 0.0.0.0
port = 3308
binlog_format = ROW
default-storage-engine = innodb
innodb_autoinc_lock_mode = 2
# Galera Provider Configuration
wsrep_on = ON
wsrep_provider = /usr/lib/galera/libgalera_smm.so
wsrep_cluster_name = "mariadb-ha-cluster"
wsrep_cluster_address = "gcomm://${VM1_IP},${VM2_IP},${VM3_IP}" # explicitly set the IPs, do not leave bash syntax / environment variable
wsrep_sst_method = rsync
# Node-specific (Update per VM)
wsrep_node_address = "${VM1_IP}" # explicitly set the IPs, do not leave bash syntax / environment variable. Change for VM 2 and VM 3
wsrep_node_name = "db-node-1" # Change for VM 2 and VM 3
啟動叢集
僅在 VM 1 初始化新叢集:
sudo galera_new_cluster
彙整副本
VM 1 成功執行後,請依序在 VM 2 和 VM 3 上啟動 MariaDB 服務:
sudo systemctl start mariadb
注意:請等待每個節點完全同步,再啟動下一個節點。
確認高可用性資料庫已啟動並運作中
在任何 VM 上執行:
sudo mariadb
然後:
MariaDB [(none)]> SHOW STATUS LIKE 'wsrep_cluster_size';
+--------------------+-------+
| Variable_name | Value |
+--------------------+-------+
| wsrep_cluster_size | 3 |
+--------------------+-------+
1 row in set (0.001 sec)
預期值為 3。
Python 健康狀態檢查
我們會使用 Python 內建的 http.server 程式庫,並將其包裝在 systemd 服務中,以便在通訊埠 9200 的背景自動執行。
建立資料庫使用者
在其中一個 VM 執行:
CREATE USER 'clustercheck_user'@'localhost' IDENTIFIED BY 'clustercheck_password';
FLUSH PRIVILEGES;
建立 Python 指令碼
在所有 3 個 VM 上建立指令碼 /usr/local/bin/clustercheck.py:
sudo nano /usr/local/bin/clustercheck.py
貼上這段程式碼:
#!/usr/bin/env python3
import mysql.connector
from http.server import BaseHTTPRequestHandler, HTTPServer
class HealthHandler(BaseHTTPRequestHandler):
def do_GET(self):
try:
# Connect to backend MariaDB port 3308
db = mysql.connector.connect(user='clustercheck_user', password='clustercheck_password', host='127.0.0.1', port=3308)
cursor = db.cursor()
cursor.execute("SHOW GLOBAL STATUS LIKE 'wsrep_local_state_comment'")
state = cursor.fetchone()
# Galera 'Synced' state means the node is fully healthy
if state == 'Synced':
self.send_response(200)
self.end_headers()
self.wfile.write(b"Node is Healthy and Synced.\n")
else:
self.send_response(503)
self.end_headers()
self.wfile.write(b"Node is unavailable.\n")
except Exception as e:
self.send_response(503)
self.end_headers()
HTTPServer(('0.0.0.0', 9200), HealthHandler).serve_forever()
將其設為可執行:
sudo chmod +x /usr/local/bin/clustercheck.py
建立 systemd 服務
建立服務檔案來管理 Python 指令碼:
sudo nano /etc/systemd/system/clustercheck.service
貼上這項設定:
[Unit]
Description=MariaDB Galera Health Check
After=network.target mariadb.service
[Service]
Type=simple
User=root
ExecStart=/usr/local/bin/clustercheck.py
Restart=always
[Install]
WantedBy=multi-user.target
啟用並啟動服務:
sudo systemctl daemon-reload
sudo systemctl enable --now clustercheck.service
您可以執行 curl -i http://127.0.0.1:9200,在本機測試。
HAProxy 設定
請按照相同程序取得 haproxy 套件,並上傳至 VM。接著,在每個節點上設定 HAProxy 設定檔,以處理流量轉送。
設定 HAProxy
在所有 VM 上編輯 /etc/haproxy/haproxy.cfg:
global
log /dev/log local0
user haproxy
group haproxy
daemon
defaults
log global
mode tcp
option tcplog
timeout connect 5000ms
timeout client 50000ms
timeout server 50000ms
# Write Port (Active/Backup)
listen galera_write
bind *:3306
mode tcp
option httpchk GET /
http-check expect status 200
server db-node-1 10.0.1.245:3308 check port 9200
server db-node-2 10.0.1.241:3308 check port 9200 backup
server db-node-3 10.0.1.242:3308 check port 9200 backup
# Read Port (Round-Robin)
listen galera_read
bind *:3307
mode tcp
balance roundrobin
option httpchk GET /
http-check expect status 200
server db-node-1 10.0.1.245:3308 check port 9200
server db-node-2 10.0.1.241:3308 check port 9200
server db-node-3 10.0.1.242:3308 check port 9200
重要事項:請將 IP 和名稱變更為您的 IP 和名稱。
逐一重新啟動節點,安全地套用變更:
sudo systemctl restart haproxy
sudo systemctl enable haproxy
驗證 HAProxy 轉送行為
執行下列指令,確保 HAProxy 根據主動/備份拓撲處理讀取和寫入作業。
驗證寫入轉送 (主動/備份):HAProxy 已設定為嚴格將所有通訊埠
3306流量傳送至節點 1,除非節點 1 已停止運作。在 VM 2 或 VM 3 的終端機中,連續執行下列指令 3 或 4 次:mysql -h 127.0.0.1 -P 3306 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"預期結果:每次執行時,都應傳回節點 1 的主機名稱 (例如
db-node-1)。即使您在 VM 2 或 3 查詢本機 HAProxy,它也會正確地將寫入連線透過網路轉送至節點 1。驗證讀取轉送 (輪詢):HAProxy 已設定為將通訊埠
3307流量平均分配到所有完全同步的節點。連續執行這個指令 3 或 4 次:mysql -h 127.0.0.1 -P 3307 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"預期結果:輸出內容應平均循環顯示叢集的主機名稱 (例如
db-node-1、db-node-2、db-node-3)。
設定全域負載平衡器
使用 GDC 全域 L4 負載平衡器,為應用程式提供單一穩定的虛擬 IP (VIP)。按照「設定內部全域負載平衡器」一文的指示,設定內部全域 L4 負載平衡器,並將 VM 設為目標:將 VM 設為負載平衡器目標。
自動化容錯移轉測試
這是最重要的測試。您必須證明,如果節點當機,Python 指令碼會偵測到,且 HAProxy 會立即重新轉送流量。
步驟 A:模擬節點 1 故障:透過 SSH 連線至節點 1,並完全停止資料庫:
sudo systemctl stop mariadb步驟 B:再次測試寫入通訊埠:從 VM 2 或 VM 3 再次執行寫入測試:
mysql -h 127.0.0.1 -P 3306 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"預期結果:系統應立即傳回節點 2 (
db-node-2)。HAProxy 透過 Python 指令碼發現節點 1 已停止運作,並將第一個備份伺服器升級。步驟 C:再次測試讀取通訊埠:多次執行讀取測試:
mysql -h 127.0.0.1 -P 3307 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"預期結果:只會在節點 2 和節點 3 之間循環。節點 1 已完全從輪替中移除。
步驟 D:復原並驗證容錯回復:在節點 1 啟動 MariaDB 備份:
sudo systemctl start mariadb等待幾秒,讓系統同步處理 (狀態 4),然後最後一次執行寫入測試 (通訊埠 3306)。HAProxy 應會自動偵測到節點 1 已恢復健康狀態,並將寫入流量從節點 2 重新導向。