Arsitektur referensi database MariaDB di GDC dengan air gap

Arsitektur referensi ini menyediakan framework konseptual untuk men-deploy dan mengoperasikan database MariaDB 12 yang dengan tingkat ketersediaan tinggi dan dikelola pelanggan di Google Distributed Cloud (GDC) dengan air gap. Dengan fitur ini, pelanggan enterprise dan akses awal dapat mempertahankan workload database penting dengan andal menggunakan penyiapan virtual machine (VM) multi-zona yang tangguh.

Karena GDC dengan air gap saat ini tidak mendukung cluster stretch Kubernetes lintas zona, arsitektur ini sangat bergantung pada VM khusus yang di-deploy di tiga domain ketersediaan untuk memastikan operasi berkelanjutan dan bertahan dari kegagalan zona penuh tanpa kehilangan data.

Fitur dan kemampuan

  • Ketahanan Multi-zona: Konfigurasi 3 node yang sangat tangguh yang di-deploy di tiga zona ketersediaan yang berbeda untuk melindungi dari kegagalan zona infrastruktur tunggal.
  • Ketersediaan Tinggi dan Konsensus Otomatis: Menggunakan Galera untuk pengelompokan multi-master sinkron, yang menyediakan deteksi kegagalan otomatis, konsensus node, dan sinkronisasi data global tanpa skenario split-brain.
  • Pemilihan Rute Traffic Cerdas: Instance HAProxy yang ditempatkan bersama mengelola penggabungan koneksi dan merutekan traffic secara ketat—mengarahkan operasi tulis (misalnya, port 3306) ke node utama yang aktif dan operasi baca load balancing (misalnya, port 3307) di seluruh replika yang disinkronkan.
  • Load Balancing Global: Terintegrasi dengan Load Balancer L4 Global GDC native platform untuk menyediakan IP Virtual (VIP) tunggal yang stabil bagi aplikasi klien, yang mengabstraksi topologi node yang mendasarinya.
  • Validasi Failover yang Berorientasi Database: Menggunakan skrip Python kustom yang ringan atau solusi OSS seperti clustercheck (misalnya, diekspos di port 9200) untuk menyajikan health check ke load balancer dan HAProxy, sehingga memastikan traffic hanya dirutekan ke node yang responsif dan tersinkronisasi sepenuhnya.

Prinsip arsitektur

  • Konsensus Berbasis Mayoritas Sinkron: Memprioritaskan konsistensi data yang ketat daripada konsistensi tertunda. Galera menerapkan model berbasis kuorum yang memerlukan persetujuan mayoritas, sehingga menghilangkan risiko kehilangan data atau split-brain selama partisi jaringan.
  • Pemisahan Kepentingan: Memisahkan lapisan replikasi database (Galera) dari lapisan perutean koneksi dan deteksi failover (HAProxy dan layanan health check Python).
  • Pengoptimalan Infrastruktur: Dirancang khusus untuk lingkungan dengan air-gap, menggunakan VM yang tangguh untuk mengabaikan batasan jaringan Kubernetes saat ini.

Arsitektur

Arsitektur tiga VM yang menjalankan stack layanan yang ditempatkan bersama.

Konsep dan teknologi

Bagian ini menjelaskan komponen fungsional dan tanggung jawab spesifiknya dalam arsitektur multi-zona.

Infrastruktur dan platform

  • Virtual Machine (VM): Tiga instance komputasi khusus, masing-masing di-deploy ke dalam zona ketersediaan terpisah untuk membentuk batas domain kegagalan.
  • Load Balancer L4 Global GDC: Konstruksi jaringan yang dikelola platform yang mengekspos VIP internal yang stabil, yang secara otomatis mengevaluasi health check HTTP berbasis Python untuk mengalihkan traffic masuk.

Layanan dan logika

  • MariaDB 12: Mesin database relasional inti.
  • Plugin Galera: Framework pengelompokan yang bertanggung jawab atas replikasi multi-master sinkron dan memverifikasi kuorum node.
  • HAProxy: Bertindak sebagai router traffic di setiap VM. Dikonfigurasi dalam topologi aktif/cadangan untuk penulisan guna mencegah deadlock, dan round-robin untuk pembacaan terdistribusi.
  • Python Health Check Service: Layanan HTTP ringan (digabungkan dalam systemd) yang terus-menerus melakukan polling status database lokal dan memberi sinyal status kesehatannya kembali ke HAProxy dan Load Balancer L4 melalui port 9200.

Aliran data dan antarmuka

  1. Aplikasi mengirim permintaan database ke VIP Load Balancer L4 Global.
  2. Load Balancer mem-proxy koneksi ke instance HAProxy yang responsif di salah satu VM.
  3. Berdasarkan port yang diminta, HAProxy meneruskan traffic secara dinamis: Port 3306 secara ketat menargetkan node aktif untuk penulisan, sedangkan Port 3307 mengalihkan pembacaan di seluruh cluster.

Pertimbangan desain

Pertimbangan umum

  • Kompromi Performa vs. Konsistensi: Karena Galera bersifat sinkron secara native, setiap transaksi harus diakui oleh peer cluster. Performa berkorelasi langsung dengan latensi jaringan antar-zona dalam lingkungan GDC.
  • Pengelolaan Resource: Men-deploy HAProxy langsung di VM database akan mengoptimalkan pemanfaatan hardware, tetapi memerlukan penyesuaian resource yang cermat untuk mencegah overhead penggabungan koneksi menghabiskan proses MariaDB inti.

Pertimbangan health check

Meskipun solusi ini menggunakan skrip Python kustom karena kesederhanaannya dan tidak adanya dependensi eksternal, pelanggan dapat memilih untuk menerapkan health check OSS standar menggunakan xinetd dan clustercheck.

  • Skrip Python Kustom: Memanfaatkan Python 3 dan modul http.server yang telah diinstal sebelumnya, yang ideal untuk lingkungan air-gapped karena tidak memerlukan transfer paket tambahan. Namun, pelanggan harus memelihara kode skrip kustom.
  • Alat OSS (xinetd/clustercheck): Mengalihkan beban pemeliharaan ke komunitas open source, tetapi meningkatkan kompleksitas arsitektur dan pengelolaan dependensi selama persiapan software air-gapped awal.

Pertimbangan performa

Saat merencanakan deployment, pertimbangkan faktor konkret berikut untuk mengoptimalkan performa dan keandalan:

  • Penentuan Ukuran Hardware: Meskipun persyaratan bervariasi menurut workload, gunakan profil standar ini sebagai titik awal untuk setiap VM:
    • Pengembangan/Bukti Konsep: 2 vCPU, RAM 8 GB (Minimum untuk operasi yang stabil).
    • Small Production: 4 vCPU, RAM 16 GB. Cocok untuk alat internal dengan konkurensi sedang.
    • Standard Production: 8 vCPU, RAM 32 GB. Baseline yang direkomendasikan untuk aplikasi yang sangat penting bagi operasional.
    • Throughput Tinggi: 16+ vCPU, RAM 64 GB+. Diperlukan untuk workload dengan set kerja besar yang mendapatkan manfaat dari caching data yang ekstensif di kumpulan buffer InnoDB.
  • Performa Penyimpanan: Penyimpanan berperforma tinggi sangat penting untuk ketahanan database dan stabilitas cluster. Disk SSD sangat direkomendasikan untuk meminimalkan latensi tulis selama fase "commit" replikasi sinkron. Untuk performa yang optimal, usahakan latensi tulis disk p99 kurang dari 10 md untuk memastikan bahwa log biner Galera gcache atau MySQL tidak menjadi bottleneck.
  • Latensi Jaringan dan Kontrol Aliran: Latensi antar-VM secara langsung memengaruhi kecepatan commit transaksi.
    • Replikasi Sinkron: Dalam cluster Galera atau Replikasi Grup, setiap transaksi tulis harus dikonfirmasi oleh mayoritas node. Latensi antar-zona di GDC dengan air gap biasanya kurang dari 1 milidetik, yang sangat baik untuk menjaga overhead tulis tetap minimal (biasanya 10-30%).
    • Flow Control: Jitter jaringan yang tinggi atau satu node "lambat" dapat memicu Galera Flow Control, yang menjeda penulisan di seluruh cluster untuk memungkinkan node yang lambat mengejar ketertinggalan.
  • Peran HAProxy (atau Router MySQL): load balancer tetap penting:
    • Pemisahan Traffic: HAProxy memastikan bahwa traffic tulis diarahkan secara ketat ke satu node aktif (Port 3306) untuk mencegah deadlock, sekaligus menyeimbangkan kueri hanya baca di semua replika yang disinkronkan (Port 3307).
    • Stabilitas Koneksi: Menyediakan lapisan abstraksi yang mencegah aplikasi menangani logika failover yang kompleks secara manual.
  • Komponen Sidecar: Layanan Health Check Python kustom dan load balancer bersifat ringan, tetapi penting. Pastikan VM memiliki ketersediaan CPU yang konsisten; dalam skenario beban tinggi, "pencurian" CPU di tingkat hypervisor dapat menunda respons health check, sehingga menyebabkan Load Balancer Global mengeluarkan node yang responsif dari rotasi sebelum waktunya.

Keputusan desain

Pilihan arsitektur yang dibuat dalam SRA ini secara eksplisit mengatasi batasan GDC dengan air gap dan mengoptimalkan throughput tinggi.

  • Virtual Machine melalui Kubernetes: GDC dengan air gap saat ini tidak mendukung cluster Kubernetes yang mencakup beberapa zona fisik. Pendekatan berbasis VM dipilih secara ketat karena men-deploy VM khusus di berbagai zona terpisah adalah satu-satunya metode yang layak untuk mencapai ketersediaan tinggi multi-zona yang sebenarnya dan bertahan dari kegagalan zona total.
  • Galera vs. Penyiapan Manual Utama/Sekunder (dengan ProxySQL): Arsitektur utama/sekunder tradisional yang dipasangkan dengan ProxySQL dievaluasi sebagai alternatif yang layak. Namun, menangani logika failover manual bersama ProxySQL melibatkan pembuatan skrip dan kompleksitas operasional yang signifikan. Galera dipilih karena sifatnya yang sinkron secara native secara drastis mengurangi kompleksitas failover dan memberikan performa yang jauh lebih baik.
  • Penolakan Orchestrator: Orchestrator sangat dihormati sebagai pengelola topologi standar industri untuk failover otomatis. Namun, alat ini dievaluasi dan akhirnya ditolak karena hanya mendukung MariaDB 10; alat ini tidak kompatibel dengan versi MariaDB yang lebih tinggi dari 11. Hal ini membuatnya tidak kompatibel dengan persyaratan MariaDB 12 target kami.
  • Load Balancing Global Native Platform: Memanfaatkan Load Balancer L4 Global GDC native memastikan bahwa VIP dikontrol oleh bidang kontrol GDC, sehingga menjaga titik entri tetap tangguh dan menyederhanakan pengiriman traffic lintas zona.

Asumsi dan batasan

Asumsi

  • Ketersediaan Infrastruktur: Pelanggan memiliki kuota project yang cukup untuk menyediakan VM khusus dengan ukuran yang tepat dan Load Balancer Global yang didistribusikan secara merata di 3 zona ketersediaan.
  • Jaringan Aman: Akses berbasis kunci dan ProjectNetworkPolicies (PNP) yang tepat dibuat untuk mengizinkan sinkronisasi Galera intra-cluster dan polling health check.

Batasan

  • Kubernetes Tidak Didukung: Pelanggan yang hanya mencari solusi berbasis container/Kubernetes tidak dapat mencapai HA multi-zona hingga cluster stretch didukung sepenuhnya oleh platform.
  • Perlu Upgrade Manual: Tidak seperti layanan terkelola, solusi ini menempatkan tanggung jawab patching level OS rutin, upgrade versi minor database, dan pengelolaan versi Galera sepenuhnya pada pelanggan.
  • Sensitivitas Latensi Jaringan: Replikasi sinkron memerlukan jaringan yang stabil dan berkualitas tinggi. Jitter jaringan atau lonjakan latensi antara zona air-gapped akan menunda operasi tulis secara proporsional di seluruh cluster MariaDB.

Materi tambahan