GDC エアギャップでの MariaDB データベースのリファレンス実装

このガイドでは、Google Distributed Cloud(GDC)エアギャップ環境の 3 つのアベイラビリティ ゾーンに高可用性 MariaDB 12 クラスタをデプロイするための包括的なチュートリアルを、ステップバイステップで説明します。このアーキテクチャでは、同期マルチマスター クラスタリングに Galera、インテリジェントな接続ルーティングに HAProxy、ノード状態の管理に軽量の Python ヘルスチェック サービスを使用します。この実装では、仮想マシン(VM)を厳密に利用することで、クロスゾーン Kubernetes ストレッチ クラスタに関する現在の GDC エアギャップの制限を明示的に回避し、データ損失のリスクを冒すことなく、完全なマルチゾーン復元力を確保します。

アーキテクチャ図は次のとおりです。

コロケーション サービスのスタックを実行する 3 つの VM アーキテクチャ。

始める前に

VM をデプロイする

VM インスタンスを作成して起動するの手順に沿って、3 つの使用可能なゾーンに 3 つの仮想マシンを作成します。

鍵ペアを使用して VM に SSH 接続するようにローカル環境を構成します。VM に接続する

これは、パッケージを手動で SCP するために必要です。ファイルを転送する

検証には、Ubuntu 22.04 OS と n3-standard-2-gdc マシンタイプを使用しました。本番環境では、より多くのリソースを備えたマシンタイプを使用します。

次のコマンドを使用して、VM の IP を取得します。

VM_NAME=$1

if [[ -z "$VM_NAME" ]]; then
  echo "Error: VM_NAME must be provided."
  echo "Usage: $0 <VM_NAME>"
  exit 1
fi

# 1. Get External IP from 'instances list'
EXT_IP=$(gdcloud compute instances list | awk -v vm="${VM_NAME}" '$1 == vm {print $5}')

if [[ -z "$EXT_IP" ]]; then
  echo "Error: Could not find VM '${VM_NAME}' in the instance list."
  exit 1
fi

INTERNAL_IP=$(gdcloud compute instances describe "${VM_NAME}" | awk '/^status:/ {in_status=1} in_status && /- [0-9]+\.[0-9]+\.[0-9]+\.[0-9]+/ {print $2; exit}' | cut -d'/' -f1)

if [[ -z "$INTERNAL_IP" ]]; then
  INTERNAL_IP="<Not assigned or not found>"
fi

echo "${VM_NAME}"
echo "External IP: ${EXT_IP}"
echo "Internal IP: ${INTERNAL_IP}"

環境変数を構成する

このガイドでは、次の環境変数を使用します。ローカル ワークステーションのシェル セッションで設定します。

export PROJECT_ID="your-project-id"
export VM1_NAME="db-node-1"
export VM2_NAME="db-node-2"
export VM3_NAME="db-node-3"
export VM1_IP="10.0.1.245" # Zone 1
export VM2_IP="10.0.1.241" # Zone 2
export VM3_IP="10.0.1.242" # Zone 3

ネットワーク構成(プロジェクト ネットワーク ポリシー)

プロジェクト外または組織外の DB にアクセスする必要がある場合は、それに応じて PNP(プロジェクト ネットワーク ポリシー)を設定してください。

ユースケースに応じて、PNP の概要のセクションに沿って対応します。

エアギャップのあるソフトウェアの準備

ターゲット VM にはインターネット アクセスがないため、まず接続されたワークステーションにアーティファクトをダウンロードする必要があります。

Docker を使用してパッケージをダウンロードする

Ubuntu Docker コンテナを使用して、ローカル ワークステーションから次のコマンドを実行します。

mkdir -p ./packages
docker run --rm -v "$(pwd)/packages:/packages" ubuntu:22.04 bash -c "
  apt-get update
  apt-get install curl
  curl -LsS https://r.mariadb.com/downloads/mariadb_repo_setup | bash
  apt-get update
  cd packages
  PACKAGES='mariadb-server mariadb-client mariadb-common mysql-common'
  apt-get download \$(apt-cache depends --recurse --no-recommends --no-suggests --no-conflicts --no-breaks --no-replaces --no-enhances --no-pre-depends \${PACKAGES} | grep '^\w')
  apt-get download libpam-modules-bin
"

転送とインストール

ダウンロードした .deb ファイルを 3 つの VM すべての /tmp/packages/ にアップロードしてインストールします。

# From local workstation
scp ./packages/*.deb ${VM1_IP}:/tmp/packages/
scp ./packages/*.deb ${VM2_IP}:/tmp/packages/
scp ./packages/*.deb ${VM3_IP}:/tmp/packages/

# On each VM, run:
sudo apt update
sudo dpkg -i /tmp/packages/*.deb

dpkg がエラーを返さないことを確認します。存在する場合は、ログを調べて、不足している deb パッケージを確認し、ダウンロードに含めます。

MariaDB と Galera の初期化

すべての VM で Galera を構成する

まず、mariadb サーバーを停止します。

sudo systemctl stop mariadb

HAProxy(3306 を所有)とのポートの競合を防ぐには、MariaDB のデフォルト ポートを 3308 に変更します。すべての VM で /etc/mysql/mariadb.conf.d/60-galera.cnf を編集します。

[mysqld]
bind-address = 0.0.0.0
port = 3308
binlog_format = ROW
default-storage-engine = innodb
innodb_autoinc_lock_mode = 2

# Galera Provider Configuration
wsrep_on = ON
wsrep_provider = /usr/lib/galera/libgalera_smm.so
wsrep_cluster_name = "mariadb-ha-cluster"
wsrep_cluster_address = "gcomm://${VM1_IP},${VM2_IP},${VM3_IP}" # explicitly set the IPs, do not leave bash syntax / environment variable
wsrep_sst_method = rsync

# Node-specific (Update per VM)
wsrep_node_address = "${VM1_IP}" # explicitly set the IPs, do not leave bash syntax / environment variable. Change for VM 2 and VM 3
wsrep_node_name = "db-node-1"     # Change for VM 2 and VM 3

クラスタをブートストラップする

VM 1 のみで、新しいクラスタを初期化します。

sudo galera_new_cluster

レプリカを結合する

VM 1 が正常に実行されたら、VM 2 と VM 3 で MariaDB サービスを順番に起動します。

sudo systemctl start mariadb

注: 各ノードが完全に同期するのを待ってから、次のノードを開始します。

HA DB が稼働していることを確認する

任意の VM で次のコマンドを実行します。

sudo mariadb

帰結:

MariaDB [(none)]> SHOW STATUS LIKE 'wsrep_cluster_size';
+--------------------+-------+
| Variable_name      | Value |
+--------------------+-------+
| wsrep_cluster_size | 3     |
+--------------------+-------+
1 row in set (0.001 sec)

想定される値は 3 です。

Python のヘルスチェック

Python の組み込み http.server ライブラリを使用し、systemd サービスでラップして、ポート 9200 でバックグラウンドで自動的に実行されるようにします。

DB ユーザーを作成する

1 つの VM で次のコマンドを実行します。

CREATE USER 'clustercheck_user'@'localhost' IDENTIFIED BY 'clustercheck_password';
FLUSH PRIVILEGES;

Python スクリプトを作成する

3 つの VM すべてで、スクリプト /usr/local/bin/clustercheck.py を作成します。

sudo nano /usr/local/bin/clustercheck.py

次のコードをそのまま貼り付けます。

#!/usr/bin/env python3
import mysql.connector
from http.server import BaseHTTPRequestHandler, HTTPServer

class HealthHandler(BaseHTTPRequestHandler):
    def do_GET(self):
        try:
            # Connect to backend MariaDB port 3308
            db = mysql.connector.connect(user='clustercheck_user', password='clustercheck_password', host='127.0.0.1', port=3308)
            cursor = db.cursor()
            cursor.execute("SHOW GLOBAL STATUS LIKE 'wsrep_local_state_comment'")
            state = cursor.fetchone()

            # Galera 'Synced' state means the node is fully healthy
            if state == 'Synced':
                self.send_response(200)
                self.end_headers()
                self.wfile.write(b"Node is Healthy and Synced.\n")
            else:
                self.send_response(503)
                self.end_headers()
                self.wfile.write(b"Node is unavailable.\n")
        except Exception as e:
            self.send_response(503)
            self.end_headers()

HTTPServer(('0.0.0.0', 9200), HealthHandler).serve_forever()

実行可能にする

sudo chmod +x /usr/local/bin/clustercheck.py

systemd サービスを作成する

Python スクリプトを管理するサービス ファイルを作成します。

sudo nano /etc/systemd/system/clustercheck.service

次の構成を貼り付けます。

[Unit]
Description=MariaDB Galera Health Check
After=network.target mariadb.service

[Service]
Type=simple
User=root
ExecStart=/usr/local/bin/clustercheck.py
Restart=always

[Install]
WantedBy=multi-user.target

サービスを有効にして起動します。

sudo systemctl daemon-reload
sudo systemctl enable --now clustercheck.service

curl -i http://127.0.0.1:9200 を実行して、ローカルでテストできます。

HAProxy 構成

同じ手順で haproxy パッケージを取得し、VM にアップロードします。次に、各ノードで HAProxy 構成ファイルを構成して、トラフィック ルーティングを処理します。

HAProxy を構成する

すべての VM で /etc/haproxy/haproxy.cfg を編集します。

global
    log /dev/log local0
    user haproxy
    group haproxy
    daemon

defaults
    log global
    mode tcp
    option tcplog
    timeout connect 5000ms
    timeout client  50000ms
    timeout server  50000ms

# Write Port (Active/Backup)
listen galera_write
    bind *:3306
    mode tcp
    option httpchk GET /
    http-check expect status 200
    server db-node-1 10.0.1.245:3308 check port 9200
    server db-node-2 10.0.1.241:3308 check port 9200 backup
    server db-node-3 10.0.1.242:3308 check port 9200 backup

# Read Port (Round-Robin)
listen galera_read
    bind *:3307
    mode tcp
    balance roundrobin
    option httpchk GET /
    http-check expect status 200
    server db-node-1 10.0.1.245:3308 check port 9200
    server db-node-2 10.0.1.241:3308 check port 9200
    server db-node-3 10.0.1.242:3308 check port 9200

重要: IP と名前は、実際の値に変更してください。

ノードを 1 つずつ再起動して、変更を安全に適用します。

sudo systemctl restart haproxy
sudo systemctl enable haproxy

HAProxy のルーティング動作を確認する

次のコマンドを実行して、HAProxy がアクティブ / バックアップ トポロジに従って読み取りと書き込みを処理していることを確認します。

  1. 書き込みルーティング(アクティブ / バックアップ)を確認する: HAProxy は、ノード 1 が停止していない限り、すべてのポート 3306 トラフィックをノード 1 に厳密に送信するように構成されています。VM 2 または VM 3 のターミナルから、このコマンドを 3、4 回連続して実行します。

    mysql -h 127.0.0.1 -P 3306 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    期待される結果: 実行するたびに、ノード 1 のホスト名(db-node-1 など)が返されます。VM 2 または 3 のローカル HAProxy をクエリしている場合でも、書き込み接続はネットワーク経由でノード 1 に正しく転送されます。

  2. 読み取りルーティング(ラウンドロビン)を確認する: HAProxy は、ポート 3307 のトラフィックを、完全に同期されたすべてのノードに均等に分散するように構成されています。このコマンドを 3、4 回連続して実行します。

    mysql -h 127.0.0.1 -P 3307 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    期待される結果: 出力は、クラスタのホスト名(db-node-1、db-node-2、db-node-3 など)を均等に循環します。

グローバル ロードバランサの設定

GDC グローバル L4 ロードバランサを使用して、アプリケーションに単一の安定した仮想 IP(VIP)を提供します。内部グローバル ロードバランサを構成するの手順に沿って、内部グローバル L4 ロードバランサを設定し、VM をそのターゲットとして設定します。VM をロードバランサのターゲットとして設定するをご覧ください。

自動フェイルオーバー テスト

これは最も重要なテストです。ノードがクラッシュした場合に、Python スクリプトがそれをキャッチし、HAProxy がトラフィックを即座に再ルーティングすることを証明する必要があります。

  1. ステップ A: ノード 1 で障害をシミュレートする: ノード 1 に SSH 接続し、データベースを完全に停止します。

    sudo systemctl stop mariadb
    
  2. ステップ B: 書き込みポートを再度テストする: VM 2 または VM 3 から、書き込みテストを再度実行します。

    mysql -h 127.0.0.1 -P 3306 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    想定される結果: Node 2(db-node-2)がすぐに返されます。HAProxy は、Python スクリプトを介して Node 1 が停止していることを認識し、最初のバックアップ サーバーを昇格させました。

  3. ステップ C: 読み取りポートを再度テストする: 読み取りテストを複数回実行します。

    mysql -h 127.0.0.1 -P 3307 -u clustercheck_user -pclustercheck_password -e "SELECT @@hostname;"
    

    期待される結果: ノード 2 とノード 3 の間でのみ切り替わる。ノード 1 はローテーションから完全に削除されています。

  4. ステップ D: フェイルバックを復元して検証する: ノード 1 で MariaDB を起動します。

    sudo systemctl start mariadb
    

    同期が完了するまで数秒待ってから(状態 4)、書き込みテスト(ポート 3306)をもう一度実行します。HAProxy は、ノード 1 が正常に戻ったことを自動的に検出し、ノード 2 から書き込みトラフィックを戻す必要があります。