Mainframe Connector 通常以 Java 应用的形式部署。由于该应用是自包含的,因此您只需安装 IBM JRE 版本 8 或 IBM JRE 版本 17 即可部署 Mainframe Connector。作业控制语言 (JCL) 过程是可用于调用 Mainframe Connector 的前端。下图概述了 Mainframe Connector 架构。
将数据文件上传到 Cloud Storage 时, Mainframe Connector 会使用 IBM z 集成信息处理器 (zIIP) 或通用处理器 (GP) 直接与 Cloud Storage API 通信。您还可以 部署远程服务,以将部分计算任务卸载到该服务 Google Cloud。
将数据文件上传到 Cloud Storage 后,Mainframe Connector 会向 gRPC 服务发送远程过程调用 (RPC),指明文件的位置、记录布局和输出位置。gRPC 服务会从 Cloud Storage 读取 文件,对数据进行转码,并将多部分 优化行式列式 (ORC) 文件写入 Cloud Storage 输出位置。然后,Mainframe Connector 会直接与 BigQuery API 通信,以将 ORC 文件注册为外部表或将 ORC 文件加载到表中。
或者,您也可以在数据中心部署硬件设备,以使用虚拟磁带库 (VTL) 将数据直接从大型机存储系统传输到 Cloud Storage。这种方法在将数据传输到 Cloud Storage 期间不使用 zIIP 或 GP,因为硬件设备使用 VTL 直接从 大型机存储系统接收数据,并且根本不使用大型机。这样,大型机就可以专注于处理业务关键型任务。
数据加密
IBM 提供了一个 Java Cryptography Extension (JCE) 实现,其中包含一个名为 Java Cryptography Extension Common Cryptographic Architecture (IBMJCECCA) (Java 8 或 Java 17) 的 JVM,该 JVM 使用 IBM z/OS 上的硬件 加密系统。 JVM 和 Google Cloud API 端点之间的传输层安全协议 (TLS) 连接使用 JCE 和硬件加密来保护提取、 转换和加载 (ETL) 操作期间的数据。
JCL 过程
如需使用 JCL 过程,您必须在大型机 过程库 (PROCLIB) 中安装 BQSH shell 解释器
。JCL 过程中的标准环境 (STDENV) 数据用于在启动 Java 应用之前设置环境变量、JVM 实参和 Java
类路径。JCL 过程
使用
IBM JVMLDM86 JVM 启动器启动 JVM 和主类 com.google.cloud.bqsh.Bqsh。
BQSH shell 解释器
BQSH 主类充当 shell 解释器。它从 JCL 过程读取流输入,拆分输入行,并尝试将每一行解释为命令。
Java 应用
Mainframe Connector 使用 Java Cloud 客户端库、 Apache ORC 和其他开源库。它使用 IBM 专有的 JZOS SDK 与 IBM z/OS 存储系统进行交互,并在 IBM z/OS 上的 JVM 和 Linux 上的 OpenJDK上运行。