GDC 實體隔離方案的 MariaDB 資料庫參考實作

本指南提供完整的逐步教學課程,說明如何在 Google Distributed Cloud (GDC) 實體隔離環境中,跨三個可用區部署高可用性 MariaDB 12 叢集。這個架構運用 Galera 進行同步多主節點叢集、HAProxy 進行智慧連線轉送,以及輕量型 Python 健康狀態檢查服務管理節點狀態。這項實作嚴格使用虛擬機器 (VM),明顯繞過目前 GDC 實體隔離方案對跨可用區 Kubernetes 延伸叢集的限制,確保完整的跨可用區韌性,不會有資料遺失的風險。

架構圖如下:

執行共置服務堆疊的三 VM 架構。

事前準備

部署 VM

按照「建立及啟動 VM 執行個體」一文的說明,在 3 個可用區中建立 3 個虛擬機器。

設定本機環境,使用金鑰組透過 SSH 連線至 VM:連線至 VM

手動透過 SCP 傳輸套件時,需要使用這個指令: 移轉檔案

我們使用 Ubuntu 22.04 OS 和 n3-standard-2-gdc 機型進行驗證。如果是正式環境,請使用資源較多的機型。

使用下列指令取得 VM 的 IP:

VM_NAME=$1

if [[ -z "$VM_NAME" ]]; then
  echo "Error: VM_NAME must be provided."
  echo "Usage: $0 <VM_NAME>"
  exit 1
fi

# 1. Get External IP from 'instances list'
EXT_IP=$(gdcloud compute instances list | awk -v vm="${VM_NAME}" '$1 == vm {print $5}')

if [[ -z "$EXT_IP" ]]; then
  echo "Error: Could not find VM '${VM_NAME}' in the instance list."
  exit 1
fi

INTERNAL_IP=$(gdcloud compute instances describe "${VM_NAME}" | awk '/^status:/ {in_status=1} in_status && /- [0-9]+\.[0-9]+\.[0-9]+\.[0-9]+/ {print $2; exit}' | cut -d'/' -f1)

if [[ -z "$INTERNAL_IP" ]]; then
  INTERNAL_IP="<Not assigned or not found>"
fi

echo "${VM_NAME}"
echo "External IP: ${EXT_IP}"
echo "Internal IP: ${INTERNAL_IP}"

設定環境變數

在本指南中,您將使用下列環境變數。在本機工作站殼層工作階段中設定這些變數:

export PROJECT_ID="your-project-id"
export VM1_NAME="db-node-1"
export VM2_NAME="db-node-2"
export VM3_NAME="db-node-3"
export VM1_IP="10.0.1.245" # Zone 1
export VM2_IP="10.0.1.241" # Zone 2
export VM3_IP="10.0.1.242" # Zone 3

網路設定 (專案網路政策)

如需存取專案或組織外部的資料庫,請務必設定相應的 PNP (專案網路政策)。

請根據用途,按照「PNP 總覽」中的各節操作。

實體隔離軟體準備

由於目標 VM 沒有網路連線能力,您必須先在已連線的工作站下載構件。

透過 Docker 下載套件

使用 Ubuntu Docker 容器,在本機工作站執行下列指令:

mkdir -p ./packages
docker run --rm -v "$(pwd)/packages:/packages" ubuntu:22.04 bash -c "
  apt-get update
  apt-get install curl
  curl -LsS https://r.mariadb.com/downloads/mariadb_repo_setup | bash
  apt-get update
  cd packages
  PACKAGES='mariadb-server mariadb-client mariadb-common mysql-common'
  apt-get download \$(apt-cache depends --recurse --no-recommends --no-suggests --no-conflicts --no-breaks --no-replaces --no-enhances --no-pre-depends \${PACKAGES} | grep '^\w')
  apt-get download libpam-modules-bin
"

轉移及安裝

將下載的 .deb 檔案上傳至所有 3 個 VM 上的 /tmp/packages/,並安裝這些檔案:

# From local workstation
scp ./packages/*.deb ${VM1_IP}:/tmp/packages/
scp ./packages/*.deb ${VM2_IP}:/tmp/packages/
scp ./packages/*.deb ${VM3_IP}:/tmp/packages/

# On each VM, run:
sudo apt update
sudo dpkg -i /tmp/packages/*.deb

確認 dpkg 未傳回任何錯誤。如果是,請查看記錄,找出可能缺少的 deb 套件,並將其納入下載。

MariaDB 和 Galera 初始化

在所有 VM 上設定 Galera

首先,停止 mariadb 伺服器:

sudo systemctl stop mariadb

為避免與 HAProxy (將擁有 3306) 發生通訊埠衝突,請將 MariaDB 預設通訊埠變更為 3308。在所有 VM 上編輯 /etc/mysql/mariadb.conf.d/60-galera.cnf:

[mysqld]
bind-address = 0.0.0.0
port = 3308
binlog_format = ROW
default-storage-engine = innodb
innodb_autoinc_lock_mode = 2

# Galera Provider Configuration
wsrep_on = ON
wsrep_provider = /usr/lib/galera/libgalera_smm.so
wsrep_cluster_name = "mariadb-ha-cluster"
wsrep_cluster_address = "gcomm://${VM1_IP},${VM2_IP},${VM3_IP}" # explicitly set the IPs, do not leave bash syntax / environment variable
wsrep_sst_method = rsync

# Node-specific (Update per VM)
wsrep_node_address = "${VM1_IP}" # explicitly set the IPs, do not leave bash syntax / environment variable. Change for VM 2 and VM 3
wsrep_node_name = "db-node-1"     # Change for VM 2 and VM 3

啟動叢集

僅在 VM 1 初始化新叢集:

sudo galera_new_cluster

彙整副本

VM 1 成功執行後,請依序在 VM 2 和 VM 3 上啟動 MariaDB 服務:

sudo systemctl start mariadb

注意:請等待每個節點完全同步,再啟動下一個節點。

確認高可用性資料庫已啟動並運作中

在任何 VM 上執行:

sudo mariadb

然後:

MariaDB [(none)]> SHOW STATUS LIKE 'wsrep_cluster_size';
+--------------------+-------+
| Variable_name      | Value |
+--------------------+-------+
| wsrep_cluster_size | 3     |
+--------------------+-------+
1 row in set (0.001 sec)

預期值為 3。

Python 健康狀態檢查

我們會使用 Python 內建的 http.server 程式庫,並將其包裝在 systemd 服務中,以便在通訊埠 9200 的背景自動執行。

建立資料庫使用者

在其中一個 VM 執行:

CREATE USER 'clustercheck_user'@'localhost' IDENTIFIED BY 'clustercheck_password';
FLUSH PRIVILEGES;

建立 Python 指令碼

在所有 3 個 VM 上建立指令碼 /usr/local/bin/clustercheck.py:

sudo nano /usr/local/bin/clustercheck.py

貼上這段程式碼:

#!/usr/bin/env python3
import mysql.connector
from http.server import BaseHTTPRequestHandler, HTTPServer

class HealthHandler(BaseHTTPRequestHandler):
    def do_GET(self):
        try:
            # Connect to backend MariaDB port 3308
            db = mysql.connector.connect(user='clustercheck_user', password='clustercheck_password', host='127.0.0.1', port=3308)
            cursor = db.cursor()
            cursor.execute("SHOW GLOBAL STATUS LIKE 'wsrep_local_state_comment'")
            state = cursor.fetchone()

            # Galera 'Synced' state means the node is fully healthy
            if state == 'Synced':
                self.send_response(200)
                self.end_headers()
                self.wfile.write(b"Node is Healthy and Synced.\n")
            else:
                self.send_response(503)
                self.end_headers()
                self.wfile.write(b"Node is unavailable.\n")
        except Exception as e:
            self.send_response(503)
            self.end_headers()

HTTPServer(('0.0.0.0', 9200), HealthHandler).serve_forever()

將其設為可執行:

sudo chmod +x /usr/local/bin/clustercheck.py

建立 systemd 服務

建立服務檔案來管理 Python 指令碼:

sudo nano /etc/systemd/system/clustercheck.service

貼上這項設定:

[Unit]
Description=MariaDB Galera Health Check
After=network.target mariadb.service

[Service]
Type=simple
User=root
ExecStart=/usr/local/bin/clustercheck.py
Restart=always

[Install]
WantedBy=multi-user.target

啟用並啟動服務:

sudo systemctl daemon-reload
sudo systemctl enable --now clustercheck.service

您可以執行 curl -i http://127.0.0.1:9200,在本機測試。

HAProxy 設定

請按照相同程序取得 haproxy 套件,並上傳至 VM。接著,在每個節點上設定 HAProxy 設定檔,以處理流量轉送。

設定 HAProxy

在所有 VM 上編輯 /etc/haproxy/haproxy.cfg:

global
    log /dev/log local0
    user haproxy
    group haproxy
    daemon

defaults
    log global
    mode tcp
    option tcplog
    timeout connect 5000ms
    timeout client  50000ms
    timeout server  50000ms

# Write Port (Active/Backup)
listen galera_write
    bind *:3306
    mode tcp
    option httpchk GET /
    http-check expect status 200
    server db-node-1 10.0.1.245:3308 check port 9200
    server db-node-2 10.0.1.241:3308 check port 9200 backup
    server db-node-3 10.0.1.242:3308 check port 9200 backup

# Read Port (Round-Robin)
listen galera_read
    bind *:3307
    mode tcp
    balance roundrobin
    option httpchk GET /
    http-check expect status 200
    server db-node-1 10.0.1.245:3308 check port 9200
    server db-node-2 10.0.1.241:3308 check port 9200
    server db-node-3 10.0.1.242:3308 check port 9200

重要事項:請將 IP 和名稱變更為您的 IP 和名稱。

逐一重新啟動節點,安全地套用變更:

sudo systemctl restart haproxy
sudo systemctl enable haproxy

驗證 HAProxy 轉送行為

執行下列指令,確保 HAProxy 根據主動/備份拓撲處理讀取和寫入作業。

  1. 驗證寫入轉送 (主動/備份):HAProxy 已設定為嚴格將所有通訊埠 3306 流量傳送至節點 1,除非節點 1 已停止運作。在 VM 2 或 VM 3 的終端機中,連續執行下列指令 3 或 4 次:

    mysql -h 127.0.0.1 -P 3306 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    預期結果:每次執行時,都應傳回節點 1 的主機名稱 (例如 db-node-1)。即使您在 VM 2 或 3 查詢本機 HAProxy,它也會正確地將寫入連線透過網路轉送至節點 1。

  2. 驗證讀取轉送 (輪詢):HAProxy 已設定為將通訊埠 3307 流量平均分配到所有完全同步的節點。連續執行這個指令 3 或 4 次:

    mysql -h 127.0.0.1 -P 3307 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    預期結果:輸出內容應平均循環顯示叢集的主機名稱 (例如 db-node-1、db-node-2、db-node-3)。

設定全域負載平衡器

使用 GDC 全域 L4 負載平衡器,為應用程式提供單一穩定的虛擬 IP (VIP)。按照「設定內部全域負載平衡器」一文的指示,設定內部全域 L4 負載平衡器,並將 VM 設為目標:將 VM 設為負載平衡器目標。

自動化容錯移轉測試

這是最重要的測試。您必須證明,如果節點當機,Python 指令碼會偵測到,且 HAProxy 會立即重新轉送流量。

  1. 步驟 A:模擬節點 1 故障:透過 SSH 連線至節點 1,並完全停止資料庫:

    sudo systemctl stop mariadb
    
  2. 步驟 B:再次測試寫入通訊埠:從 VM 2 或 VM 3 再次執行寫入測試:

    mysql -h 127.0.0.1 -P 3306 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    預期結果:系統應立即傳回節點 2 (db-node-2)。HAProxy 透過 Python 指令碼發現節點 1 已停止運作,並將第一個備份伺服器升級。

  3. 步驟 C:再次測試讀取通訊埠:多次執行讀取測試:

    mysql -h 127.0.0.1 -P 3307 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    預期結果:只會在節點 2 和節點 3 之間循環。節點 1 已完全從輪替中移除。

  4. 步驟 D:復原並驗證容錯回復:在節點 1 啟動 MariaDB 備份:

    sudo systemctl start mariadb
    

    等待幾秒,讓系統同步處理 (狀態 4),然後最後一次執行寫入測試 (通訊埠 3306)。HAProxy 應會自動偵測到節點 1 已恢復健康狀態,並將寫入流量從節點 2 重新導向。