Implementasi referensi database MariaDB di GDC dengan air gap

Panduan ini memberikan tutorial langkah demi langkah yang komprehensif untuk men-deploy cluster MariaDB 12 dengan tingkat ketersediaan tinggi di tiga zona ketersediaan dalam lingkungan Google Distributed Cloud (GDC) dengan air gap. Arsitektur ini memanfaatkan Galera untuk pengelompokan multi-master sinkron, HAProxy untuk pemilihan rute koneksi yang cerdas, dan layanan health check Python yang ringan untuk mengelola status node. Dengan hanya menggunakan Virtual Machine (VM), implementasi ini secara jelas mengabaikan batasan GDC dengan air gap saat ini terkait cluster stretch Kubernetes lintas zona, sehingga memastikan ketahanan multi-zona penuh tanpa risiko kehilangan data.

Berikut adalah diagram arsitekturnya:

Arsitektur tiga VM yang menjalankan stack layanan yang ditempatkan bersama.

Sebelum memulai

Men-deploy VM

Ikuti Membuat dan memulai instance VM untuk membuat 3 Virtual Machine di 3 zona yang tersedia.

Konfigurasikan lingkungan lokal Anda untuk SSH VM dengan pasangan kunci: Menghubungkan ke VM

Hal ini akan diperlukan untuk mentransfer paket secara manual menggunakan SCP: Mentransfer file

Untuk verifikasi, kami menggunakan OS Ubuntu 22.04, dan jenis mesin n3-standard-2-gdc. Untuk lingkungan produksi, gunakan jenis mesin dengan resource yang lebih banyak.

Dapatkan IP VM menggunakan:

VM_NAME=$1

if [[ -z "$VM_NAME" ]]; then
  echo "Error: VM_NAME must be provided."
  echo "Usage: $0 <VM_NAME>"
  exit 1
fi

# 1. Get External IP from 'instances list'
EXT_IP=$(gdcloud compute instances list | awk -v vm="${VM_NAME}" '$1 == vm {print $5}')

if [[ -z "$EXT_IP" ]]; then
  echo "Error: Could not find VM '${VM_NAME}' in the instance list."
  exit 1
fi

INTERNAL_IP=$(gdcloud compute instances describe "${VM_NAME}" | awk '/^status:/ {in_status=1} in_status && /- [0-9]+\.[0-9]+\.[0-9]+\.[0-9]+/ {print $2; exit}' | cut -d'/' -f1)

if [[ -z "$INTERNAL_IP" ]]; then
  INTERNAL_IP="<Not assigned or not found>"
fi

echo "${VM_NAME}"
echo "External IP: ${EXT_IP}"
echo "Internal IP: ${INTERNAL_IP}"

Mengonfigurasi variabel lingkungan

Di sepanjang panduan ini, Anda akan menggunakan variabel lingkungan berikut. Tetapkan variabel tersebut di sesi shell workstation lokal Anda:

export PROJECT_ID="your-project-id"
export VM1_NAME="db-node-1"
export VM2_NAME="db-node-2"
export VM3_NAME="db-node-3"
export VM1_IP="10.0.1.245" # Zone 1
export VM2_IP="10.0.1.241" # Zone 2
export VM3_IP="10.0.1.242" # Zone 3

Konfigurasi jaringan (Kebijakan Jaringan Project)

Jika Anda perlu menjangkau DB di luar project atau di luar organisasi, ingatlah untuk menyiapkan PNP (Kebijakan Jaringan Project) sebagaimana mestinya.

Ikuti bagian Ringkasan PNP bergantung pada kasus penggunaan.

Persiapan software dengan air gap

Karena VM target tidak memiliki akses internet, Anda harus mendownload artefak di workstation yang terhubung terlebih dahulu.

Mendownload paket melalui Docker

Jalankan perintah berikut dari workstation lokal Anda menggunakan container Docker Ubuntu:

mkdir -p ./packages
docker run --rm -v "$(pwd)/packages:/packages" ubuntu:22.04 bash -c "
  apt-get update
  apt-get install curl
  curl -LsS https://r.mariadb.com/downloads/mariadb_repo_setup | bash
  apt-get update
  cd packages
  PACKAGES='mariadb-server mariadb-client mariadb-common mysql-common'
  apt-get download \$(apt-cache depends --recurse --no-recommends --no-suggests --no-conflicts --no-breaks --no-replaces --no-enhances --no-pre-depends \${PACKAGES} | grep '^\w')
  apt-get download libpam-modules-bin
"

Transfer dan instal

Upload file .deb yang didownload ke /tmp/packages/ di ketiga VM dan instal:

# From local workstation
scp ./packages/*.deb ${VM1_IP}:/tmp/packages/
scp ./packages/*.deb ${VM2_IP}:/tmp/packages/
scp ./packages/*.deb ${VM3_IP}:/tmp/packages/

# On each VM, run:
sudo apt update
sudo dpkg -i /tmp/packages/*.deb

Pastikan dpkg tidak menampilkan error. Jika ya, periksa log untuk melihat paket deb yang mungkin tidak ada dan sertakan dalam download.

Inisialisasi MariaDB dan Galera

Mengonfigurasi Galera di semua VM

Pertama, hentikan server mariadb:

sudo systemctl stop mariadb

Untuk mencegah konflik port dengan HAProxy (yang akan memiliki 3306), ubah port default MariaDB menjadi 3308. Edit /etc/mysql/mariadb.conf.d/60-galera.cnf di semua VM:

[mysqld]
bind-address = 0.0.0.0
port = 3308
binlog_format = ROW
default-storage-engine = innodb
innodb_autoinc_lock_mode = 2

# Galera Provider Configuration
wsrep_on = ON
wsrep_provider = /usr/lib/galera/libgalera_smm.so
wsrep_cluster_name = "mariadb-ha-cluster"
wsrep_cluster_address = "gcomm://${VM1_IP},${VM2_IP},${VM3_IP}" # explicitly set the IPs, do not leave bash syntax / environment variable
wsrep_sst_method = rsync

# Node-specific (Update per VM)
wsrep_node_address = "${VM1_IP}" # explicitly set the IPs, do not leave bash syntax / environment variable. Change for VM 2 and VM 3
wsrep_node_name = "db-node-1"     # Change for VM 2 and VM 3

Melakukan bootstrap pada cluster

HANYA di VM 1, lakukan inisialisasi cluster baru:

sudo galera_new_cluster

Replika gabungan

Setelah VM 1 berhasil berjalan, mulai layanan MariaDB di VM 2 dan VM 3 secara berurutan:

sudo systemctl start mariadb

Catatan: Tunggu hingga setiap node disinkronkan sepenuhnya sebelum memulai node berikutnya.

Memastikan DB dengan ketersediaan tinggi (HA) sudah aktif dan berjalan

Di VM mana pun, jalankan:

sudo mariadb

Lalu:

MariaDB [(none)]> SHOW STATUS LIKE 'wsrep_cluster_size';
+--------------------+-------+
| Variable_name      | Value |
+--------------------+-------+
| wsrep_cluster_size | 3     |
+--------------------+-------+
1 row in set (0.001 sec)

Nilai yang diharapkan adalah 3.

Health check Python

Kita akan menggunakan library http.server bawaan Python dan menggabungkannya dalam layanan systemd sehingga berjalan secara otomatis di latar belakang pada port 9200.

Membuat pengguna DB

Di satu VM, jalankan:

CREATE USER 'clustercheck_user'@'localhost' IDENTIFIED BY 'clustercheck_password';
FLUSH PRIVILEGES;

Membuat skrip Python

Di ketiga VM, buat skrip /usr/local/bin/clustercheck.py:

sudo nano /usr/local/bin/clustercheck.py

Tempelkan kode persis ini:

#!/usr/bin/env python3
import mysql.connector
from http.server import BaseHTTPRequestHandler, HTTPServer

class HealthHandler(BaseHTTPRequestHandler):
    def do_GET(self):
        try:
            # Connect to backend MariaDB port 3308
            db = mysql.connector.connect(user='clustercheck_user', password='clustercheck_password', host='127.0.0.1', port=3308)
            cursor = db.cursor()
            cursor.execute("SHOW GLOBAL STATUS LIKE 'wsrep_local_state_comment'")
            state = cursor.fetchone()

            # Galera 'Synced' state means the node is fully healthy
            if state == 'Synced':
                self.send_response(200)
                self.end_headers()
                self.wfile.write(b"Node is Healthy and Synced.\n")
            else:
                self.send_response(503)
                self.end_headers()
                self.wfile.write(b"Node is unavailable.\n")
        except Exception as e:
            self.send_response(503)
            self.end_headers()

HTTPServer(('0.0.0.0', 9200), HealthHandler).serve_forever()

Buat agar dapat dieksekusi:

sudo chmod +x /usr/local/bin/clustercheck.py

Membuat layanan systemd

Buat file layanan untuk mengelola skrip Python:

sudo nano /etc/systemd/system/clustercheck.service

Tempel konfigurasi ini:

[Unit]
Description=MariaDB Galera Health Check
After=network.target mariadb.service

[Service]
Type=simple
User=root
ExecStart=/usr/local/bin/clustercheck.py
Restart=always

[Install]
WantedBy=multi-user.target

Aktifkan dan mulai layanan:

sudo systemctl daemon-reload
sudo systemctl enable --now clustercheck.service

Anda dapat mengujinya secara lokal dengan menjalankan curl -i http://127.0.0.1:9200.

Konfigurasi HAProxy

Lakukan prosedur yang sama untuk mendapatkan paket haproxy dan menguploadnya di VM. Kemudian, konfigurasikan file konfigurasi HAProxy di setiap node untuk menangani pemilihan rute traffic.

Mengonfigurasi HAProxy

Edit /etc/haproxy/haproxy.cfg di semua VM:

global
    log /dev/log local0
    user haproxy
    group haproxy
    daemon

defaults
    log global
    mode tcp
    option tcplog
    timeout connect 5000ms
    timeout client  50000ms
    timeout server  50000ms

# Write Port (Active/Backup)
listen galera_write
    bind *:3306
    mode tcp
    option httpchk GET /
    http-check expect status 200
    server db-node-1 10.0.1.245:3308 check port 9200
    server db-node-2 10.0.1.241:3308 check port 9200 backup
    server db-node-3 10.0.1.242:3308 check port 9200 backup

# Read Port (Round-Robin)
listen galera_read
    bind *:3307
    mode tcp
    balance roundrobin
    option httpchk GET /
    http-check expect status 200
    server db-node-1 10.0.1.245:3308 check port 9200
    server db-node-2 10.0.1.241:3308 check port 9200
    server db-node-3 10.0.1.242:3308 check port 9200

Penting: Ubah IP dan nama agar sesuai dengan milik Anda.

Mulai ulang node satu per satu untuk menerapkan perubahan dengan aman:

sudo systemctl restart haproxy
sudo systemctl enable haproxy

Memverifikasi perilaku pemilihan rute HAProxy

Jalankan perintah berikut untuk memastikan HAProxy memproses pembacaan dan penulisan sesuai dengan topologi aktif/cadangan kita.

  1. Memverifikasi Pemilihan Rute Tulis (Aktif/Cadangan): HAProxy dikonfigurasi untuk mengirim semua traffic port 3306 hanya ke Node 1, kecuali jika Node 1 tidak aktif. Jalankan perintah ini 3 atau 4 kali berturut-turut dari terminal VM 2 atau VM 3:

    mysql -h 127.0.0.1 -P 3306 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    Hasil yang Diharapkan: Setiap kali Anda menjalankannya, perintah ini akan menampilkan nama host Node 1 (misalnya, db-node-1). Meskipun Anda mengkueri HAProxy lokal di VM 2 atau 3, perintah ini akan meneruskan koneksi tulis dengan benar di seluruh jaringan ke Node 1.

  2. Memverifikasi pemilihan rute baca (Round-Robin): HAProxy dikonfigurasi untuk mendistribusikan traffic port 3307 secara merata di semua node yang disinkronkan sepenuhnya. Jalankan perintah ini 3 atau 4 kali berturut-turut:

    mysql -h 127.0.0.1 -P 3307 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    Hasil yang Diharapkan: Output harus berputar secara merata melalui nama host cluster Anda (misalnya, db-node-1, lalu db-node-2, lalu db-node-3).

Penyiapan load balancer global

Menyediakan satu IP Virtual (VIP) yang stabil untuk aplikasi Anda menggunakan Load Balancer L4 Global GDC. Ikuti Mengonfigurasi load balancer global internal untuk menyiapkan load balancer L4 global internal dan menyiapkan VM Anda untuk menjadi targetnya: Menyiapkan VM sebagai target load balancer.

Pengujian failover otomatis

Ini adalah pengujian yang paling penting. Anda perlu membuktikan bahwa jika node mengalami error, skrip Python akan menangkapnya dan HAProxy akan langsung mengalihkan traffic.

  1. Langkah A: Simulasikan kegagalan pada Node 1: SSH ke Node 1 dan hentikan database sepenuhnya:

    sudo systemctl stop mariadb
    
  2. Langkah B: Uji Port Tulis lagi: Dari VM 2 atau VM 3, jalankan kembali pengujian tulis:

    mysql -h 127.0.0.1 -P 3306 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    Hasil yang Diharapkan: Node 2 (db-node-2) akan langsung ditampilkan. HAProxy menyadari Node 1 tidak aktif melalui skrip Python dan mempromosikan server cadangan pertama.

  3. Langkah C: Uji Port Baca lagi: Jalankan pengujian baca beberapa kali:

    mysql -h 127.0.0.1 -P 3307 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    Hasil yang Diharapkan: Hanya akan beralih antara Node 2 dan Node 3. Node 1 telah dihapus sepenuhnya dari rotasi.

  4. Langkah D: Pulihkan dan Verifikasi Failback: Mulai pencadangan MariaDB di Node 1:

    sudo systemctl start mariadb
    

    Tunggu beberapa detik hingga sinkronisasi selesai (status 4), lalu jalankan pengujian Tulis (Port 3306) untuk terakhir kalinya. HAProxy akan otomatis mendeteksi bahwa Node 1 kembali responsif dan mengambil kembali traffic tulis dari Node 2.