Referenzimplementierung für MariaDB-Datenbanken in GDC mit Air Gap

Diese Anleitung bietet eine umfassende, schrittweise Anleitung zum Bereitstellen eines hochverfügbaren MariaDB 12-Clusters in drei Verfügbarkeitszonen in einer Google Distributed Cloud (GDC) mit Air Gap-Umgebung. Diese Architektur nutzt Galera für synchrones Multi-Master-Clustering, HAProxy für intelligentes Verbindungsrouting und einen einfachen Python-Systemdiagnosedienst zum Verwalten des Knotenstatus. Durch die ausschließliche Verwendung von virtuellen Maschinen (VMs) werden die aktuellen Einschränkungen von GDC mit Air Gap in Bezug auf zonenübergreifende Kubernetes-Stretch-Cluster umgangen. So wird eine vollständige Ausfallsicherheit über mehrere Zonen hinweg gewährleistet, ohne dass Datenverluste riskiert werden.

Dies ist das Architekturdiagramm:

Architektur mit drei VMs, auf denen ein Stack von Diensten am selben Standort ausgeführt wird.

Hinweis

VMs bereitstellen

Folgen Sie der Anleitung unter VM-Instanz erstellen und starten, um drei virtuelle Maschinen in den drei verfügbaren Zonen zu erstellen.

Konfigurieren Sie Ihre lokale Umgebung so, dass die VMs mit einem Schlüsselpaar über SSH verbunden werden: Verbindung zu einer VM herstellen

Dies ist für die manuelle Übertragung der Pakete per SCP erforderlich: Dateien übertragen

Für die Überprüfung haben wir das Betriebssystem Ubuntu 22.04 und den Maschinentyp n3-standard-2-gdc verwendet. Verwenden Sie für eine Produktionsumgebung einen Maschinentyp mit mehr Ressourcen.

Rufen Sie die IP-Adressen der VMs ab:

VM_NAME=$1

if [[ -z "$VM_NAME" ]]; then
  echo "Error: VM_NAME must be provided."
  echo "Usage: $0 <VM_NAME>"
  exit 1
fi

# 1. Get External IP from 'instances list'
EXT_IP=$(gdcloud compute instances list | awk -v vm="${VM_NAME}" '$1 == vm {print $5}')

if [[ -z "$EXT_IP" ]]; then
  echo "Error: Could not find VM '${VM_NAME}' in the instance list."
  exit 1
fi

INTERNAL_IP=$(gdcloud compute instances describe "${VM_NAME}" | awk '/^status:/ {in_status=1} in_status && /- [0-9]+\.[0-9]+\.[0-9]+\.[0-9]+/ {print $2; exit}' | cut -d'/' -f1)

if [[ -z "$INTERNAL_IP" ]]; then
  INTERNAL_IP="<Not assigned or not found>"
fi

echo "${VM_NAME}"
echo "External IP: ${EXT_IP}"
echo "Internal IP: ${INTERNAL_IP}"

Umgebungsvariablen konfigurieren

In diesem Leitfaden werden die folgenden Umgebungsvariablen verwendet. Legen Sie sie in der Shell-Sitzung Ihrer lokalen Workstation fest:

export PROJECT_ID="your-project-id"
export VM1_NAME="db-node-1"
export VM2_NAME="db-node-2"
export VM3_NAME="db-node-3"
export VM1_IP="10.0.1.245" # Zone 1
export VM2_IP="10.0.1.241" # Zone 2
export VM3_IP="10.0.1.242" # Zone 3

Netzwerkkonfiguration (projektbezogene Netzwerkrichtlinie)

Wenn Sie die Datenbank außerhalb des Projekts oder außerhalb der Organisation erreichen müssen, müssen Sie die projektbezogene Netzwerkrichtlinie entsprechend einrichten.

Folgen Sie den Abschnitten der PNP-Übersicht, je nach Anwendungsfall.

Softwarevorbereitung für Air Gap

Da die Ziel-VMs keinen Internetzugriff haben, müssen Sie die Artefakte zuerst auf eine verbundene Workstation herunterladen.

Pakete über Docker herunterladen

Führen Sie auf Ihrer lokalen Workstation den folgenden Befehl mit einem Ubuntu-Docker-Container aus:

mkdir -p ./packages
docker run --rm -v "$(pwd)/packages:/packages" ubuntu:22.04 bash -c "
  apt-get update
  apt-get install curl
  curl -LsS https://r.mariadb.com/downloads/mariadb_repo_setup | bash
  apt-get update
  cd packages
  PACKAGES='mariadb-server mariadb-client mariadb-common mysql-common'
  apt-get download \$(apt-cache depends --recurse --no-recommends --no-suggests --no-conflicts --no-breaks --no-replaces --no-enhances --no-pre-depends \${PACKAGES} | grep '^\w')
  apt-get download libpam-modules-bin
"

Übertragen und installieren

Laden Sie die heruntergeladenen .deb-Dateien auf allen drei VMs in /tmp/packages/ hoch und installieren Sie sie:

# From local workstation
scp ./packages/*.deb ${VM1_IP}:/tmp/packages/
scp ./packages/*.deb ${VM2_IP}:/tmp/packages/
scp ./packages/*.deb ${VM3_IP}:/tmp/packages/

# On each VM, run:
sudo apt update
sudo dpkg -i /tmp/packages/*.deb

Achten Sie darauf, dass dpkg keine Fehler zurückgibt. Wenn ja, prüfen Sie in den Logs, welche deb-Pakete möglicherweise fehlen, und fügen Sie sie dem Download hinzu.

MariaDB- und Galera-Initialisierung

Galera auf allen VMs konfigurieren

Beenden Sie zuerst den MariaDB-Server:

sudo systemctl stop mariadb

Um Portkonflikte mit HAProxy (das 3306 besitzt) zu vermeiden, ändern Sie den MariaDB-Standardport in 3308. Bearbeiten Sie /etc/mysql/mariadb.conf.d/60-galera.cnf auf allen VMs:

[mysqld]
bind-address = 0.0.0.0
port = 3308
binlog_format = ROW
default-storage-engine = innodb
innodb_autoinc_lock_mode = 2

# Galera Provider Configuration
wsrep_on = ON
wsrep_provider = /usr/lib/galera/libgalera_smm.so
wsrep_cluster_name = "mariadb-ha-cluster"
wsrep_cluster_address = "gcomm://${VM1_IP},${VM2_IP},${VM3_IP}" # explicitly set the IPs, do not leave bash syntax / environment variable
wsrep_sst_method = rsync

# Node-specific (Update per VM)
wsrep_node_address = "${VM1_IP}" # explicitly set the IPs, do not leave bash syntax / environment variable. Change for VM 2 and VM 3
wsrep_node_name = "db-node-1"     # Change for VM 2 and VM 3

Cluster bootstrappen

Initialisieren Sie den neuen Cluster NUR auf VM 1:

sudo galera_new_cluster

Join-Replikate

Sobald VM 1 erfolgreich ausgeführt wird, starten Sie den MariaDB-Dienst nacheinander auf VM 2 und VM 3:

sudo systemctl start mariadb

Hinweis: Warten Sie, bis jeder Knoten vollständig synchronisiert ist, bevor Sie den nächsten starten.

Prüfen, ob die Hochverfügbarkeitsdatenbank ausgeführt wird

Führen Sie auf einer beliebigen VM Folgendes aus:

sudo mariadb

Und dann:

MariaDB [(none)]> SHOW STATUS LIKE 'wsrep_cluster_size';
+--------------------+-------+
| Variable_name      | Value |
+--------------------+-------+
| wsrep_cluster_size | 3     |
+--------------------+-------+
1 row in set (0.001 sec)

Der erwartete Wert ist 3.

Die Python-Systemdiagnose

Wir verwenden die integrierte Python-Bibliothek http.server und binden sie in einen systemd-Dienst ein, damit sie automatisch im Hintergrund auf Port 9200 ausgeführt wird.

Datenbanknutzer erstellen

Führen Sie auf einer VM Folgendes aus:

CREATE USER 'clustercheck_user'@'localhost' IDENTIFIED BY 'clustercheck_password';
FLUSH PRIVILEGES;

Python-Skript erstellen

Erstellen Sie auf allen drei VMs das Script /usr/local/bin/clustercheck.py:

sudo nano /usr/local/bin/clustercheck.py

Fügen Sie den folgenden Code ein:

#!/usr/bin/env python3
import mysql.connector
from http.server import BaseHTTPRequestHandler, HTTPServer

class HealthHandler(BaseHTTPRequestHandler):
    def do_GET(self):
        try:
            # Connect to backend MariaDB port 3308
            db = mysql.connector.connect(user='clustercheck_user', password='clustercheck_password', host='127.0.0.1', port=3308)
            cursor = db.cursor()
            cursor.execute("SHOW GLOBAL STATUS LIKE 'wsrep_local_state_comment'")
            state = cursor.fetchone()

            # Galera 'Synced' state means the node is fully healthy
            if state == 'Synced':
                self.send_response(200)
                self.end_headers()
                self.wfile.write(b"Node is Healthy and Synced.\n")
            else:
                self.send_response(503)
                self.end_headers()
                self.wfile.write(b"Node is unavailable.\n")
        except Exception as e:
            self.send_response(503)
            self.end_headers()

HTTPServer(('0.0.0.0', 9200), HealthHandler).serve_forever()

Machen Sie sie ausführbar:

sudo chmod +x /usr/local/bin/clustercheck.py

Systemd-Dienst erstellen

Erstellen Sie eine Dienstdatei, um das Python-Skript zu verwalten:

sudo nano /etc/systemd/system/clustercheck.service

Fügen Sie diese Konfiguration ein:

[Unit]
Description=MariaDB Galera Health Check
After=network.target mariadb.service

[Service]
Type=simple
User=root
ExecStart=/usr/local/bin/clustercheck.py
Restart=always

[Install]
WantedBy=multi-user.target

Aktivieren und starten Sie den Dienst:

sudo systemctl daemon-reload
sudo systemctl enable --now clustercheck.service

Sie können sie lokal testen, indem Sie curl -i http://127.0.0.1:9200 ausführen.

HAProxy-Konfiguration

Führen Sie dasselbe Verfahren aus, um die haproxy-Pakete abzurufen und auf die VMs hochzuladen. Konfigurieren Sie dann die HAProxy-Konfigurationsdatei auf jedem Knoten, um das Traffic-Routing zu verarbeiten.

HAProxy konfigurieren

Bearbeiten Sie /etc/haproxy/haproxy.cfg auf allen VMs:

global
    log /dev/log local0
    user haproxy
    group haproxy
    daemon

defaults
    log global
    mode tcp
    option tcplog
    timeout connect 5000ms
    timeout client  50000ms
    timeout server  50000ms

# Write Port (Active/Backup)
listen galera_write
    bind *:3306
    mode tcp
    option httpchk GET /
    http-check expect status 200
    server db-node-1 10.0.1.245:3308 check port 9200
    server db-node-2 10.0.1.241:3308 check port 9200 backup
    server db-node-3 10.0.1.242:3308 check port 9200 backup

# Read Port (Round-Robin)
listen galera_read
    bind *:3307
    mode tcp
    balance roundrobin
    option httpchk GET /
    http-check expect status 200
    server db-node-1 10.0.1.245:3308 check port 9200
    server db-node-2 10.0.1.241:3308 check port 9200
    server db-node-3 10.0.1.242:3308 check port 9200

Wichtig: Ändern Sie die IP-Adressen und Namen so, dass sie mit Ihren übereinstimmen.

Starten Sie die Knoten nacheinander neu, um die Änderungen sicher anzuwenden:

sudo systemctl restart haproxy
sudo systemctl enable haproxy

HAProxy-Routingverhalten prüfen

Führen Sie die folgenden Befehle aus, um sicherzustellen, dass HAProxy Lese- und Schreibvorgänge gemäß unserer Aktiv/Backup-Topologie verarbeitet.

  1. Schreibrouting (Aktiv/Backup) prüfen: HAProxy ist so konfiguriert, dass der gesamte Traffic von Port 3306 ausschließlich an Knoten 1 gesendet wird, es sei denn, Knoten 1 ist ausgefallen. Führen Sie diesen Befehl drei- oder viermal hintereinander im Terminal von VM 2 oder VM 3 aus:

    mysql -h 127.0.0.1 -P 3306 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    Erwartetes Ergebnis: Jedes Mal, wenn Sie den Befehl ausführen, sollte der Hostname von Knoten 1 (z.B. db-node-1) zurückgegeben werden. Obwohl Sie den lokalen HAProxy auf VM 2 oder 3 abfragen, wird die Schreibverbindung korrekt über das Netzwerk an Knoten 1 weitergeleitet.

  2. Leserouting (Round-Robin) prüfen: HAProxy ist so konfiguriert, dass der Traffic von Port 3307 gleichmäßig auf alle vollständig synchronisierten Knoten verteilt wird. Führen Sie diesen Befehl drei- oder viermal hintereinander aus:

    mysql -h 127.0.0.1 -P 3307 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    Erwartetes Ergebnis: Die Ausgabe sollte gleichmäßig durch die Hostnamen Ihres Clusters wechseln (z.B. db-node-1, dann db-node-2, dann db-node-3).

Globalen Load Balancer einrichten

Stellen Sie eine einzelne, stabile virtuelle IP-Adresse (VIP) für Ihre Anwendungen bereit, indem Sie den GDC Global L4 Load Balancer verwenden. Folgen Sie der Anleitung unter Interne globale Load Balancer konfigurieren, um den internen globalen L4-Load-Balancer einzurichten und Ihre VMs als Ziel dafür einzurichten: VMs als Load-Balancer-Ziel einrichten.

Automatisierte Failover-Tests

Dies ist der wichtigste Test. Sie müssen nachweisen, dass das Python-Skript einen Knotenabsturz erkennt und HAProxy den Traffic sofort umleitet.

  1. Schritt A: Fehler auf Knoten 1 simulieren: Stellen Sie eine SSH-Verbindung zu Knoten 1 her und beenden Sie die Datenbank vollständig:

    sudo systemctl stop mariadb
    
  2. Schritt B: Schreibport noch einmal testen: Führen Sie den Schreibtest von VM 2 oder VM 3 noch einmal aus:

    mysql -h 127.0.0.1 -P 3306 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    Erwartetes Ergebnis: Es sollte sofort Knoten 2 (db-node-2) zurückgegeben werden. HAProxy hat über das Python-Skript erkannt, dass Knoten 1 ausgefallen ist, und den ersten Sicherungsserver hochgestuft.

  3. Schritt C: Lesetest noch einmal ausführen: Führen Sie den Lesetest mehrmals aus:

    mysql -h 127.0.0.1 -P 3307 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    Erwartetes Ergebnis: Es sollte nur zwischen Knoten 2 und Knoten 3 gewechselt werden. Knoten 1 wurde vollständig aus der Rotation entfernt.

  4. Schritt D: Failback wiederherstellen und prüfen: Starten Sie MariaDB auf Knoten 1:

    sudo systemctl start mariadb
    

    Warten Sie einige Sekunden, bis die Synchronisierung abgeschlossen ist (Status 4), und führen Sie dann den Schreibtest (Port 3306) ein letztes Mal aus. HAProxy sollte automatisch erkennen, dass Knoten 1 wieder fehlerfrei ist, und den Schreib-Traffic von Knoten 2 zurückholen.