Diese Anleitung bietet eine umfassende, schrittweise Anleitung zum Bereitstellen eines hochverfügbaren MariaDB 12-Clusters in drei Verfügbarkeitszonen in einer Google Distributed Cloud (GDC) mit Air Gap-Umgebung. Diese Architektur nutzt Galera für synchrones Multi-Master-Clustering, HAProxy für intelligentes Verbindungsrouting und einen einfachen Python-Systemdiagnosedienst zum Verwalten des Knotenstatus. Durch die ausschließliche Verwendung von virtuellen Maschinen (VMs) werden die aktuellen Einschränkungen von GDC mit Air Gap in Bezug auf zonenübergreifende Kubernetes-Stretch-Cluster umgangen. So wird eine vollständige Ausfallsicherheit über mehrere Zonen hinweg gewährleistet, ohne dass Datenverluste riskiert werden.
Dies ist das Architekturdiagramm:

Hinweis
VMs bereitstellen
Folgen Sie der Anleitung unter VM-Instanz erstellen und starten, um drei virtuelle Maschinen in den drei verfügbaren Zonen zu erstellen.
Konfigurieren Sie Ihre lokale Umgebung so, dass die VMs mit einem Schlüsselpaar über SSH verbunden werden: Verbindung zu einer VM herstellen
Dies ist für die manuelle Übertragung der Pakete per SCP erforderlich: Dateien übertragen
Für die Überprüfung haben wir das Betriebssystem Ubuntu 22.04 und den Maschinentyp n3-standard-2-gdc verwendet.
Verwenden Sie für eine Produktionsumgebung einen Maschinentyp mit mehr Ressourcen.
Rufen Sie die IP-Adressen der VMs ab:
VM_NAME=$1
if [[ -z "$VM_NAME" ]]; then
echo "Error: VM_NAME must be provided."
echo "Usage: $0 <VM_NAME>"
exit 1
fi
# 1. Get External IP from 'instances list'
EXT_IP=$(gdcloud compute instances list | awk -v vm="${VM_NAME}" '$1 == vm {print $5}')
if [[ -z "$EXT_IP" ]]; then
echo "Error: Could not find VM '${VM_NAME}' in the instance list."
exit 1
fi
INTERNAL_IP=$(gdcloud compute instances describe "${VM_NAME}" | awk '/^status:/ {in_status=1} in_status && /- [0-9]+\.[0-9]+\.[0-9]+\.[0-9]+/ {print $2; exit}' | cut -d'/' -f1)
if [[ -z "$INTERNAL_IP" ]]; then
INTERNAL_IP="<Not assigned or not found>"
fi
echo "${VM_NAME}"
echo "External IP: ${EXT_IP}"
echo "Internal IP: ${INTERNAL_IP}"
Umgebungsvariablen konfigurieren
In diesem Leitfaden werden die folgenden Umgebungsvariablen verwendet. Legen Sie sie in der Shell-Sitzung Ihrer lokalen Workstation fest:
export PROJECT_ID="your-project-id"
export VM1_NAME="db-node-1"
export VM2_NAME="db-node-2"
export VM3_NAME="db-node-3"
export VM1_IP="10.0.1.245" # Zone 1
export VM2_IP="10.0.1.241" # Zone 2
export VM3_IP="10.0.1.242" # Zone 3
Netzwerkkonfiguration (projektbezogene Netzwerkrichtlinie)
Wenn Sie die Datenbank außerhalb des Projekts oder außerhalb der Organisation erreichen müssen, müssen Sie die projektbezogene Netzwerkrichtlinie entsprechend einrichten.
Folgen Sie den Abschnitten der PNP-Übersicht, je nach Anwendungsfall.
Softwarevorbereitung für Air Gap
Da die Ziel-VMs keinen Internetzugriff haben, müssen Sie die Artefakte zuerst auf eine verbundene Workstation herunterladen.
Pakete über Docker herunterladen
Führen Sie auf Ihrer lokalen Workstation den folgenden Befehl mit einem Ubuntu-Docker-Container aus:
mkdir -p ./packages
docker run --rm -v "$(pwd)/packages:/packages" ubuntu:22.04 bash -c "
apt-get update
apt-get install curl
curl -LsS https://r.mariadb.com/downloads/mariadb_repo_setup | bash
apt-get update
cd packages
PACKAGES='mariadb-server mariadb-client mariadb-common mysql-common'
apt-get download \$(apt-cache depends --recurse --no-recommends --no-suggests --no-conflicts --no-breaks --no-replaces --no-enhances --no-pre-depends \${PACKAGES} | grep '^\w')
apt-get download libpam-modules-bin
"
Übertragen und installieren
Laden Sie die heruntergeladenen .deb-Dateien auf allen drei VMs in /tmp/packages/ hoch und installieren Sie sie:
# From local workstation
scp ./packages/*.deb ${VM1_IP}:/tmp/packages/
scp ./packages/*.deb ${VM2_IP}:/tmp/packages/
scp ./packages/*.deb ${VM3_IP}:/tmp/packages/
# On each VM, run:
sudo apt update
sudo dpkg -i /tmp/packages/*.deb
Achten Sie darauf, dass dpkg keine Fehler zurückgibt. Wenn ja, prüfen Sie in den Logs, welche deb-Pakete möglicherweise fehlen, und fügen Sie sie dem Download hinzu.
MariaDB- und Galera-Initialisierung
Galera auf allen VMs konfigurieren
Beenden Sie zuerst den MariaDB-Server:
sudo systemctl stop mariadb
Um Portkonflikte mit HAProxy (das 3306 besitzt) zu vermeiden, ändern Sie den MariaDB-Standardport in 3308. Bearbeiten Sie /etc/mysql/mariadb.conf.d/60-galera.cnf auf allen VMs:
[mysqld]
bind-address = 0.0.0.0
port = 3308
binlog_format = ROW
default-storage-engine = innodb
innodb_autoinc_lock_mode = 2
# Galera Provider Configuration
wsrep_on = ON
wsrep_provider = /usr/lib/galera/libgalera_smm.so
wsrep_cluster_name = "mariadb-ha-cluster"
wsrep_cluster_address = "gcomm://${VM1_IP},${VM2_IP},${VM3_IP}" # explicitly set the IPs, do not leave bash syntax / environment variable
wsrep_sst_method = rsync
# Node-specific (Update per VM)
wsrep_node_address = "${VM1_IP}" # explicitly set the IPs, do not leave bash syntax / environment variable. Change for VM 2 and VM 3
wsrep_node_name = "db-node-1" # Change for VM 2 and VM 3
Cluster bootstrappen
Initialisieren Sie den neuen Cluster NUR auf VM 1:
sudo galera_new_cluster
Join-Replikate
Sobald VM 1 erfolgreich ausgeführt wird, starten Sie den MariaDB-Dienst nacheinander auf VM 2 und VM 3:
sudo systemctl start mariadb
Hinweis: Warten Sie, bis jeder Knoten vollständig synchronisiert ist, bevor Sie den nächsten starten.
Prüfen, ob die Hochverfügbarkeitsdatenbank ausgeführt wird
Führen Sie auf einer beliebigen VM Folgendes aus:
sudo mariadb
Und dann:
MariaDB [(none)]> SHOW STATUS LIKE 'wsrep_cluster_size';
+--------------------+-------+
| Variable_name | Value |
+--------------------+-------+
| wsrep_cluster_size | 3 |
+--------------------+-------+
1 row in set (0.001 sec)
Der erwartete Wert ist 3.
Die Python-Systemdiagnose
Wir verwenden die integrierte Python-Bibliothek http.server und binden sie in einen systemd-Dienst ein, damit sie automatisch im Hintergrund auf Port 9200 ausgeführt wird.
Datenbanknutzer erstellen
Führen Sie auf einer VM Folgendes aus:
CREATE USER 'clustercheck_user'@'localhost' IDENTIFIED BY 'clustercheck_password';
FLUSH PRIVILEGES;
Python-Skript erstellen
Erstellen Sie auf allen drei VMs das Script /usr/local/bin/clustercheck.py:
sudo nano /usr/local/bin/clustercheck.py
Fügen Sie den folgenden Code ein:
#!/usr/bin/env python3
import mysql.connector
from http.server import BaseHTTPRequestHandler, HTTPServer
class HealthHandler(BaseHTTPRequestHandler):
def do_GET(self):
try:
# Connect to backend MariaDB port 3308
db = mysql.connector.connect(user='clustercheck_user', password='clustercheck_password', host='127.0.0.1', port=3308)
cursor = db.cursor()
cursor.execute("SHOW GLOBAL STATUS LIKE 'wsrep_local_state_comment'")
state = cursor.fetchone()
# Galera 'Synced' state means the node is fully healthy
if state == 'Synced':
self.send_response(200)
self.end_headers()
self.wfile.write(b"Node is Healthy and Synced.\n")
else:
self.send_response(503)
self.end_headers()
self.wfile.write(b"Node is unavailable.\n")
except Exception as e:
self.send_response(503)
self.end_headers()
HTTPServer(('0.0.0.0', 9200), HealthHandler).serve_forever()
Machen Sie sie ausführbar:
sudo chmod +x /usr/local/bin/clustercheck.py
Systemd-Dienst erstellen
Erstellen Sie eine Dienstdatei, um das Python-Skript zu verwalten:
sudo nano /etc/systemd/system/clustercheck.service
Fügen Sie diese Konfiguration ein:
[Unit]
Description=MariaDB Galera Health Check
After=network.target mariadb.service
[Service]
Type=simple
User=root
ExecStart=/usr/local/bin/clustercheck.py
Restart=always
[Install]
WantedBy=multi-user.target
Aktivieren und starten Sie den Dienst:
sudo systemctl daemon-reload
sudo systemctl enable --now clustercheck.service
Sie können sie lokal testen, indem Sie curl -i http://127.0.0.1:9200 ausführen.
HAProxy-Konfiguration
Führen Sie dasselbe Verfahren aus, um die haproxy-Pakete abzurufen und auf die VMs hochzuladen.
Konfigurieren Sie dann die HAProxy-Konfigurationsdatei auf jedem Knoten, um das Traffic-Routing zu verarbeiten.
HAProxy konfigurieren
Bearbeiten Sie /etc/haproxy/haproxy.cfg auf allen VMs:
global
log /dev/log local0
user haproxy
group haproxy
daemon
defaults
log global
mode tcp
option tcplog
timeout connect 5000ms
timeout client 50000ms
timeout server 50000ms
# Write Port (Active/Backup)
listen galera_write
bind *:3306
mode tcp
option httpchk GET /
http-check expect status 200
server db-node-1 10.0.1.245:3308 check port 9200
server db-node-2 10.0.1.241:3308 check port 9200 backup
server db-node-3 10.0.1.242:3308 check port 9200 backup
# Read Port (Round-Robin)
listen galera_read
bind *:3307
mode tcp
balance roundrobin
option httpchk GET /
http-check expect status 200
server db-node-1 10.0.1.245:3308 check port 9200
server db-node-2 10.0.1.241:3308 check port 9200
server db-node-3 10.0.1.242:3308 check port 9200
Wichtig: Ändern Sie die IP-Adressen und Namen so, dass sie mit Ihren übereinstimmen.
Starten Sie die Knoten nacheinander neu, um die Änderungen sicher anzuwenden:
sudo systemctl restart haproxy
sudo systemctl enable haproxy
HAProxy-Routingverhalten prüfen
Führen Sie die folgenden Befehle aus, um sicherzustellen, dass HAProxy Lese- und Schreibvorgänge gemäß unserer Aktiv/Backup-Topologie verarbeitet.
Schreibrouting (Aktiv/Backup) prüfen: HAProxy ist so konfiguriert, dass der gesamte Traffic von Port
3306ausschließlich an Knoten 1 gesendet wird, es sei denn, Knoten 1 ist ausgefallen. Führen Sie diesen Befehl drei- oder viermal hintereinander im Terminal von VM 2 oder VM 3 aus:mysql -h 127.0.0.1 -P 3306 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"Erwartetes Ergebnis: Jedes Mal, wenn Sie den Befehl ausführen, sollte der Hostname von Knoten 1 (z.B.
db-node-1) zurückgegeben werden. Obwohl Sie den lokalen HAProxy auf VM 2 oder 3 abfragen, wird die Schreibverbindung korrekt über das Netzwerk an Knoten 1 weitergeleitet.Leserouting (Round-Robin) prüfen: HAProxy ist so konfiguriert, dass der Traffic von Port
3307gleichmäßig auf alle vollständig synchronisierten Knoten verteilt wird. Führen Sie diesen Befehl drei- oder viermal hintereinander aus:mysql -h 127.0.0.1 -P 3307 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"Erwartetes Ergebnis: Die Ausgabe sollte gleichmäßig durch die Hostnamen Ihres Clusters wechseln (z.B.
db-node-1, danndb-node-2, danndb-node-3).
Globalen Load Balancer einrichten
Stellen Sie eine einzelne, stabile virtuelle IP-Adresse (VIP) für Ihre Anwendungen bereit, indem Sie den GDC Global L4 Load Balancer verwenden. Folgen Sie der Anleitung unter Interne globale Load Balancer konfigurieren, um den internen globalen L4-Load-Balancer einzurichten und Ihre VMs als Ziel dafür einzurichten: VMs als Load-Balancer-Ziel einrichten.
Automatisierte Failover-Tests
Dies ist der wichtigste Test. Sie müssen nachweisen, dass das Python-Skript einen Knotenabsturz erkennt und HAProxy den Traffic sofort umleitet.
Schritt A: Fehler auf Knoten 1 simulieren: Stellen Sie eine SSH-Verbindung zu Knoten 1 her und beenden Sie die Datenbank vollständig:
sudo systemctl stop mariadbSchritt B: Schreibport noch einmal testen: Führen Sie den Schreibtest von VM 2 oder VM 3 noch einmal aus:
mysql -h 127.0.0.1 -P 3306 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"Erwartetes Ergebnis: Es sollte sofort Knoten 2 (
db-node-2) zurückgegeben werden. HAProxy hat über das Python-Skript erkannt, dass Knoten 1 ausgefallen ist, und den ersten Sicherungsserver hochgestuft.Schritt C: Lesetest noch einmal ausführen: Führen Sie den Lesetest mehrmals aus:
mysql -h 127.0.0.1 -P 3307 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"Erwartetes Ergebnis: Es sollte nur zwischen Knoten 2 und Knoten 3 gewechselt werden. Knoten 1 wurde vollständig aus der Rotation entfernt.
Schritt D: Failback wiederherstellen und prüfen: Starten Sie MariaDB auf Knoten 1:
sudo systemctl start mariadbWarten Sie einige Sekunden, bis die Synchronisierung abgeschlossen ist (Status 4), und führen Sie dann den Schreibtest (Port 3306) ein letztes Mal aus. HAProxy sollte automatisch erkennen, dass Knoten 1 wieder fehlerfrei ist, und den Schreib-Traffic von Knoten 2 zurückholen.