Questa pagina descrive l'architettura di Dual Run per il confronto batch e i relativi componenti.
Panoramica dell'architettura di Dual Run
Dual Run viene implementato nel tuo progetto Google Cloud privato e viene eseguito come un insieme di microservizi su Google Kubernetes Engine (GKE), interagendo con altri prodotti Google Cloud .
Il seguente diagramma mostra l'architettura di Dual Run per il confronto dei file batch, come descritto in modo più dettagliato nelle sezioni seguenti.
Architettura Dual Run con un job di confronto dei file tra il mainframe e Google Cloud.
Componenti di Dual Run
Dual Run è costituito dai seguenti componenti:
- Confronto di file
- Config Manager: interfaccia utente e dashboard
- Env Checker
Confronto di file
Il confronto dei file è un componente di Dual Run che ti consente di confrontare gli output dei file previsti e reali della configurazione di Dual Run. Quando esegui un confronto, puoi impostare il livello di tolleranza per contrassegnare i risultati come equivalenti.
Il confronto dei file utilizza Dataproc, un cluster Apache Spark completamente gestito in esecuzione su Google Cloud, per eseguire il confronto. Dataproc può essere configurato in due modi, a seconda delle dimensioni dei dati che prevedi di confrontare e dei requisiti dell'infrastruttura:
- Un ambiente serverless gestito basato su Spark in esecuzione su Google Cloud Dataproc creato nell'ambito del deployment di Dual Run. Utilizza una configurazione fissa che consente di confrontare file fino a diversi GB.
- Un cluster Spark su Dataproc che crei e configuri dopo il deployment di Dual Run. Questa opzione è utile nei seguenti casi:
- Intendi utilizzare VM o configurazioni di dischi speciali.
- Devi confrontare file di dimensioni superiori a diversi GB.
- Vuoi eseguire più job di confronto contemporaneamente.
Config Manager
Config Manager è il frontend di Dual Run. Questo componente consente di configurare l'accesso e le autorizzazioni degli utenti utilizzando Google Cloud Identity and Access Management.
Configuration Manager fornisce anche l'ambiente della dashboard in cui puoi esaminare i risultati dei job di confronto dei file. La dashboard consente di visualizzare un riepilogo dei risultati del confronto in base ai filtri applicati e di esaminare i dettagli dei risultati per ogni singolo record. Consente inoltre di creare report e query personalizzati.
Env Checker
Env Checker è il componente di Dual Run che verifica che l'installazione e il deployment di Dual Run siano stati completati correttamente. Verifica che tutti i componenti necessari di Dual Run siano configurati e in esecuzione correttamente e segnala eventuali errori o configurazioni errate.
Dipendenze diGoogle Cloud
Dual Run si basa internamente su più servizi Google Cloud . Vengono attivati e configurati automaticamente durante il deployment di Dual Run e non devi configurarli manualmente.
- Google Kubernetes Engine (GKE): Dual Run utilizza GKE per eseguire i microservizi nei pod.
- Cloud Storage: Dual Run utilizza i bucket Storage per archiviare i file di configurazione dell'ambiente e gli artefatti che vuoi confrontare.
- BigQuery: Dual Run utilizza BigQuery per archiviare i risultati degli output del confronto dei file.
- Pub/Sub: Dual Run utilizza Pub/Sub come sistema di messaggistica interno per trasferire le modifiche alla configurazione tra i diversi pod.
- Dataproc: Dual Run utilizza Dataproc per creare un cluster Spark serverless che puoi utilizzare per eseguire il confronto dei file.
- Workflows e Cloud Functions: Dual Run utilizza Workflows per gestire le Cloud Functions che eseguono i job di confronto dei file.
- Identity Platform: Dual Run si basa su Identity Platform come servizio di autenticazione, che fornisce funzionalità di gestione di identità e accessi. Identity Platform ti consente di utilizzare i provider di identità Google o SAML per autenticare gli utenti e autorizzare i ruoli.
- Cloud SQL: Dual Run crea un'istanza di un database Cloud SQL per la compatibilità con gli aggiornamenti futuri.
Passaggi successivi
Scopri di più sul confronto dei file di Dual Run, il componente responsabile del confronto dei dati generati dal mainframe e dall'applicazione Google Cloud moderna.