Mainframe Connector est généralement déployé en tant qu'application Java. Comme l' application est autonome, vous n'avez besoin d'installer qu'IBM JRE version 8 ou IBM JRE version 17 pour déployer Mainframe Connector. Une procédure de langage de contrôle des tâches (JCL) est l'interface que vous pouvez utiliser pour appeler Mainframe Connector. L'image suivante présente une vue d'ensemble de l'architecture de Mainframe Connector.
Lors de l'importation de fichiers de données dans Cloud Storage, Mainframe Connector communique directement avec l' API Cloud Storage à l'aide d' un processeur d'informations intégré IBM z (zIIP) ou d'un processeur général (GP). Vous pouvez également déployer un service à distance pour décharger une partie des calculs Google Cloud.
Une fois qu'un fichier de données est importé dans Cloud Storage, Mainframe Connector envoie un appel de procédure à distance (RPC) au service gRPC, indiquant l'emplacement du fichier, la mise en page de l'enregistrement et l'emplacement de sortie. Le service gRPC lit le fichier à partir de Cloud Storage, transcode les données et écrit un fichier ORC (Optimized Row Columnar) en plusieurs parties dans l'emplacement de sortie Cloud Storage. Mainframe Connector communique ensuite directement avec l'API BigQuery pour enregistrer le fichier ORC en tant que table externe ou charger le fichier ORC dans une table.
Vous pouvez également déployer un appareil matériel dans votre centre de données pour transférer des données directement du système de stockage mainframe vers Cloud Storage à l'aide d'une bibliothèque de bandes virtuelles (VTL). Cette approche n'utilise ni zIIP ni GP lors du transfert de données vers Cloud Storage, car l'appareil matériel reçoit les données directement du système de stockage mainframe à l'aide d'une VTL et n'utilise pas du tout le mainframe. Cela libère le mainframe pour les tâches critiques.
Chiffrement des données
IBM fournit une implémentation de l'extension Java Cryptography Extension (JCE) avec la JVM appelée Java Cryptography Extension Common Cryptographic Architecture (IBMJCECCA) (Java 8 ou Java 17) qui utilise le système de chiffrement matériel sur IBM z/OS. La connexion TLS (Transport Layer Security) entre la JVM et les points de terminaison de l'API Google Cloud utilise JCE et le chiffrement matériel pour sécuriser les données lors des opérations d'extraction, de transformation et de chargement (ETL).
Procédure JCL
Pour utiliser les procédures JCL, vous devez installer un interpréteur de shell BQSH
dans vos bibliothèques de procédures mainframe (PROCLIB). Les données d'environnement standard (STDENV) de
la procédure JCL sont utilisées pour définir les variables d'environnement, les arguments JVM et le chemin de classe Java
avant de lancer l'application Java. Une procédure JCL
lance la JVM et la classe principale com.google.cloud.bqsh.Bqsh à l'aide
du lanceur JVM IBM JVMLDM86.
Interpréteur de shell BQSH
La classe principale BQSH fait office d'interpréteur de shell. Elle lit l'entrée de flux à partir d'une procédure JCL, divise les lignes d'entrée et tente d'interpréter chaque ligne en tant que commande.
Application Java
Mainframe Connector utilise les bibliothèques clientes Java Cloud, Apache ORC et d'autres bibliothèques Open Source. Il utilise le SDK propriétaire IBM JZOS pour interagir avec le système de stockage IBM z/OS et s'exécute sur la JVM sur IBM z/OS et OpenJDK sur Linux.