Cette page décrit la comparaison de fichiers Dual Run, conçue pour vous aider à comparer les résultats des charges de travail par lot. Cette fonctionnalité vous permet de vous assurer que les jobs par lot exécutés sur le mainframe et sur Google Cloud génèrent des sorties identiques pour les mêmes entrées.
Fonctionnement des comparaisons de fichiers
La fonctionnalité de comparaison de fichiers de Dual Run vous permet d'analyser des fichiers en configurant d'abord les paramètres de comparaison, puis en configurant les déclencheurs pour démarrer le processus et, enfin, en examinant les résultats.
Découvrez comment fonctionne la comparaison de fichiers dans les sections suivantes.
Transfert de fichiers depuis le mainframe
Avant de pouvoir comparer des fichiers, vous devez d'abord transférer les fichiers du mainframe vers un bucket Cloud Storage dans Google Cloud.
Vous pouvez transférer des fichiers depuis le mainframe de deux manières :
- avec les transferts FTP/HTTPS.
- avec Mainframe Connector.
Dans les deux cas, Dual Run peut lire les formats EBCDIC et est compatible avec la sortie UNLOAD sans nécessiter de transformation supplémentaire.
Configuration de la comparaison
L'exécution double vous offre une flexibilité totale pour comparer vos fichiers mainframe et modernisés. Pour chaque fichier, vous spécifiez les champs à comparer et leurs formats attendus.
La comparaison de fichiers Dual Run est compatible avec des options configurables avancées, telles que l'obscurcissement des données, les paramètres de tolérance, la fusion de champs, les libellés personnalisés et le filtrage, pour une analyse précise et flexible des fichiers.
- Obfusquez des champs spécifiques lorsque vous comparez les fichiers. Cela permet de masquer les données sensibles qui ne doivent pas apparaître dans les rapports ni dans les tableaux de bord en tant que contenu clairement visible.
- Autorisez une tolérance lorsque vous comparez des valeurs numériques de champs spécifiques. Cela est utile pour comparer des nombres à virgule flottante provenant de différents systèmes.
- Autoriser une tolérance lors de la comparaison des valeurs de code temporel de champs spécifiques. Cela est utile pour comparer des codes temporels provenant de différents systèmes.
- Fusionnez plusieurs champs avec une chaîne de jointure facultative et traitez-les comme un seul champ lors de la comparaison.
- Configurez des libellés personnalisés pour catégoriser vos tâches de comparaison. Les libellés sont des paires clé-valeur que vous pouvez utiliser pour taguer vos jobs de comparaison et les différencier en fonction de différents objectifs fonctionnels ou commerciaux.
- Ignorer les espaces blancs de début et de fin dans des champs spécifiques.
- Ignorer la casse dans les chaînes
- Appliquez des filtres pour ignorer des enregistrements lors de la comparaison. Vous pouvez appliquer plusieurs filtres en même temps.
Génération automatique de configurations
Dual Run fournit des outils automatisés pour vous aider à configurer la comparaison de fichiers. Ces outils créent les fichiers de configuration requis en fonction de vos copybooks mainframe ou d'exemples de fichiers JSON et CSV que vous fournissez.
Résultats de la comparaison
Lorsque vous comparez deux fichiers, l'exécution double renvoie trois résultats possibles :
- Correspondance exacte : l'enregistrement est présent dans les deux fichiers et le contenu des champs correspond aux contraintes que vous avez spécifiées.
- Correspondance partielle : l'enregistrement est présent dans les deux fichiers, mais certains champs ne correspondent pas. Vous pouvez vérifier les différences dans les résultats.
- Enregistrement manquant : l'enregistrement n'est présent que dans les fichiers réels ou attendus.
En cas d'incohérence entre les fichiers comparés, vous pouvez configurer l'exécution double pour afficher tous les enregistrements comparés dans les fichiers, et pas seulement ceux qui ne correspondent pas, afin de faciliter le dépannage.
La double exécution propose une fonctionnalité appelée comparaisons différées pour faire face aux situations où des données peuvent être temporairement manquantes. Cela est particulièrement utile pour les comparaisons itératives, comme celles effectuées sur les instantanés quotidiens de la base de données. Si un champ est absent dans une itération, mais apparaît dans la suivante, Dual Run le stocke et le compare ultérieurement, ce qui permet d'éviter toute incohérence des données. Cela permet de comparer les données de manière plus fiable et précise, en particulier pour les ensembles de données dynamiques.
Fichiers compatibles
Dual Run est compatible avec les fichiers suivants pour la comparaison :
- Fichiers séquentiels à blocs fixes z/OS
- Fichiers de tableaux JSON
- Fichiers JSON Lines (JSONL)
- Fichiers CSV
Types de données z/OS acceptés
Dual Run est compatible avec les types de données z/OS suivants, en EBCDIC et en ASCII :
- COMP1
- COMP2
- PACKED_DECIMAL
- COMP4
- COMP5
- ZONED_DECIMAL
- ALPHANUMERIC
Fichiers JSON acceptés
Dual Run est compatible avec les formats JSON suivants :
- JSONL : dans ce fichier, chaque ligne contient un seul objet JSON. L'objet ne contient aucun saut de ligne.
- Tableau JSON : ce fichier accepte deux types de fichiers :
- Tableau JSON dans lequel l'ensemble du tableau et des éléments se trouvent sur une seule ligne. Ce fichier ne contient aucun saut de ligne.
- Tableau JSON avec un retour à la ligne séparant les éléments du tableau. Chaque objet JSON peut également contenir des retours à la ligne.
Fichiers CSV acceptés
L'exécution double est compatible avec les fichiers CSV qui respectent la norme RFC 4180. Vous pouvez configurer la façon dont Dual Run analyse le fichier, y compris les délimiteurs, les en-têtes, les caractères d'échappement et les lignes multiples.
Étapes suivantes
Découvrez comment installer et commencer à utiliser Dual Run.