Cette page décrit l'architecture de Dual Run pour la comparaison par lots et ses composants.
Présentation de l'architecture Dual Run
Dual Run est déployé dans votre propre projet Google Cloud privé et s'exécute sous la forme d'un ensemble de microservices sur Google Kubernetes Engine (GKE), en interagissant avec d'autres produits Google Cloud .
Le schéma suivant illustre l'architecture Dual Run pour la comparaison de fichiers par lot, comme décrit plus en détail dans les sections suivantes.
Architecture Dual Run avec un job de comparaison de fichiers entre le mainframe et Google Cloud.
Composants Dual Run
Dual Run comprend les composants suivants :
- Comparaison de fichiers
- Gestionnaire de configuration : interface utilisateur et tableaux de bord
- Vérificateur d'environnement
Comparaison de fichiers
La comparaison de fichiers est un composant Dual Run qui vous permet de comparer les fichiers de sortie attendus et réels de votre configuration Dual Run. Lorsque vous effectuez une comparaison, vous pouvez définir le niveau de tolérance pour marquer les résultats comme équivalents.
La comparaison de fichiers utilise Dataproc, un cluster Apache Spark entièrement géré s'exécutant sur Google Cloud, pour effectuer la comparaison. Vous pouvez configurer Dataproc de deux manières, en fonction de la taille des données que vous prévoyez de comparer et de vos besoins en termes d'infrastructure :
- Environnement Spark sans serveur géré s'exécutant sur Google Cloud Dataproc et créé dans le cadre du déploiement Dual Run. Il utilise une configuration fixe qui vous permet de comparer des fichiers de plusieurs Go.
- Cluster Spark sur Dataproc que vous créez et configurez après le déploiement de Dual Run. Cela s'avère utile dans les cas suivants :
- Vous prévoyez d'utiliser des VM ou des configurations de disque spéciales.
- Vous devez comparer des fichiers de plusieurs gigaoctets.
- Vous souhaitez exécuter plusieurs tâches de comparaison en même temps.
Config Manager
Le Gestionnaire de configuration est l'interface Dual Run. Ce composant vous permet de configurer les accès et les autorisations des utilisateurs à l'aide d' Google Cloud Identity and Access Management.
Config Manager fournit également l'environnement de tableau de bord dans lequel vous pouvez examiner les résultats des tâches de comparaison de fichiers. Le tableau de bord vous permet d'afficher un récapitulatif des résultats de la comparaison en fonction des filtres que vous appliquez, et d'examiner les détails des résultats pour chaque enregistrement individuel. Il vous permet également de créer des rapports et des requêtes personnalisés.
Vérificateur d'environnement
Env Checker est le composant Dual Run qui vérifie que l'installation et le déploiement de Dual Run ont réussi. Il vérifie que tous les composants Dual Run nécessaires sont correctement configurés et en cours d'exécution. Dans le cas contraire, il signale les erreurs ou les configurations incorrectes.
Google Cloud dependencies
L'exécution double repose en interne sur plusieurs services Google Cloud . Ils sont automatiquement activés et configurés lors du déploiement de Dual Run. Vous n'avez pas besoin de les configurer manuellement.
- Google Kubernetes Engine (GKE) : Dual Run utilise GKE pour exécuter ses microservices dans des pods.
- Cloud Storage : Dual Run utilise des buckets Storage pour stocker les fichiers de configuration de l'environnement et les artefacts que vous souhaitez comparer.
- BigQuery : Dual Run utilise BigQuery pour stocker les résultats des sorties de comparaison de fichiers.
- Pub/Sub : Dual Run utilise Pub/Sub comme système de messagerie interne pour transmettre les modifications de configuration entre les différents pods.
- Dataproc : l'exécution double utilise Dataproc pour créer un cluster Spark sans serveur que vous pouvez utiliser pour exécuter la comparaison de fichiers.
- Workflows et Cloud Functions : Dual Run utilise Workflows pour gérer les fonctions Cloud Functions qui exécutent les tâches de comparaison de fichiers.
- Identity Platform : Dual Run s'appuie sur Identity Platform en tant que service d'authentification, qui fournit des fonctionnalités de gestion des identités et des accès. Identity Platform vous permet d'utiliser des fournisseurs d'identité Google ou SAML pour authentifier les utilisateurs et autoriser les rôles.
- Cloud SQL : Dual Run crée une instance de base de données Cloud SQL pour assurer la compatibilité avec les futures mises à jour.
Étapes suivantes
En savoir plus sur la comparaison de fichiers Dual Run, le composant chargé de comparer les données générées par le mainframe et par l'application Google Cloud moderne