Halaman ini menjelaskan arsitektur Run Ganda untuk perbandingan batch dan komponennya.
Ringkasan arsitektur Dual Run
Dual Run di-deploy di project Google Cloud pribadi Anda sendiri, dan berjalan sebagai serangkaian microservice di atas Google Kubernetes Engine (GKE), yang berinteraksi dengan produk Google Cloud lainnya.
Diagram berikut menunjukkan arsitektur Dual Run untuk perbandingan file batch, seperti yang dijelaskan secara lebih mendetail di bagian berikut.
Arsitektur Dual Run dengan tugas perbandingan file antara mainframe dan Google Cloud.
Komponen Dual Run
Dual Run memiliki komponen berikut:
- Perbandingan File
- Config Manager: antarmuka pengguna dan dasbor
- Env Checker
Perbandingan File
Perbandingan File adalah komponen Operasi Ganda yang memungkinkan Anda membandingkan output file yang diharapkan dan sebenarnya dari penyiapan Operasi Ganda Anda. Saat melakukan perbandingan, Anda dapat menetapkan tingkat toleransi untuk menandai hasil sebagai setara.
Perbandingan File menggunakan Dataproc, cluster Apache Spark yang terkelola sepenuhnya dan berjalan di Google Cloud, untuk melakukan perbandingan. Dataproc dapat dikonfigurasi dengan dua cara, bergantung pada ukuran data yang ingin Anda bandingkan dan persyaratan infrastruktur Anda:
- Lingkungan berbasis Spark serverless terkelola yang berjalan di Google Cloud Dataproc yang dibuat sebagai bagian dari deployment Dual Run. Fitur ini menggunakan konfigurasi tetap yang memungkinkan Anda membandingkan file hingga beberapa GB.
- Cluster Spark di Dataproc yang Anda buat dan konfigurasi setelah deployment
Dual Run. Hal ini berguna dalam kasus berikut:
- Anda berencana menggunakan VM atau konfigurasi disk khusus.
- Anda perlu membandingkan file yang lebih besar dari beberapa GB.
- Anda ingin menjalankan beberapa tugas perbandingan secara bersamaan.
Config Manager
Config Manager adalah frontend Dual Run. Komponen ini memungkinkan Anda mengonfigurasi akses dan izin pengguna, dengan menggunakan Google Cloud Identity and Access Management.
Config Manager juga menyediakan lingkungan dasbor tempat Anda dapat meninjau hasil tugas perbandingan file. Dasbor ini memungkinkan Anda melihat ringkasan hasil perbandingan berdasarkan filter yang Anda terapkan, dan memungkinkan Anda meninjau detail hasil untuk setiap data individual. Anda juga dapat membuat laporan dan kueri yang disesuaikan.
Env Checker
Env Checker adalah komponen Dual Run yang memverifikasi bahwa penginstalan dan deployment Dual Run berhasil diselesaikan. Alat ini memeriksa apakah semua komponen Dual Run yang diperlukan telah dikonfigurasi dan berjalan dengan benar, serta melaporkan error atau kesalahan konfigurasi lainnya.
Google Cloud dependensi
Dual Run secara internal mengandalkan beberapa layanan Google Cloud . Fitur ini diaktifkan dan dikonfigurasi secara otomatis selama deployment Dual Run, dan Anda tidak perlu mengonfigurasinya secara manual.
- Google Kubernetes Engine (GKE): Dual Run menggunakan GKE untuk menjalankan microservice-nya di pod.
- Cloud Storage: Dual Run menggunakan bucket Storage untuk menyimpan file konfigurasi lingkungan, dan artefak yang ingin Anda bandingkan.
- BigQuery: Dual Run menggunakan BigQuery untuk menyimpan hasil output Perbandingan File.
- Pub/Sub: Dual Run menggunakan Pub/Sub sebagai sistem pesan internal untuk meneruskan perubahan konfigurasi antar-pod.
- Dataproc: Dual Run menggunakan Dataproc untuk membuat cluster Spark serverless yang dapat Anda gunakan untuk menjalankan perbandingan file.
- Workflows dan Cloud Functions: Dual Run menggunakan Workflows untuk mengelola Cloud Functions yang menjalankan tugas perbandingan file.
- Identity Platform: Dual Run mengandalkan Identity Platform sebagai layanan autentikasi, yang menyediakan kemampuan pengelolaan identitas dan akses. Identity Platform memungkinkan Anda menggunakan penyedia identitas Google atau SAML untuk mengautentikasi pengguna dan mengotorisasi peran.
- Cloud SQL: Dual Run membuat instance database Cloud SQL agar kompatibel dengan update mendatang.
Langkah berikutnya
Pelajari lebih lanjut Perbandingan File Dual Run, yang merupakan komponen yang bertanggung jawab untuk membandingkan data yang dihasilkan oleh mainframe dan oleh aplikasi Google Cloud modern.