IBM 메인프레임은 조직에서 중요한 컴퓨팅 작업을 실행하는 데 사용됩니다. 최근 몇 년 동안 메인프레임을 사용하는 많은 기업이 클라우드로의 마이그레이션을 추진해 왔습니다. Mainframe Connector를 사용하면 메인프레임 데이터를Google Cloud 로 이동하여 CPU 집약적인 보고서 워크로드를 Google Cloud로 오프로드할 수 있습니다.
Mainframe Connector의 주요 이점
Mainframe Connector를 사용하여 메인프레임 데이터를 Google Cloud로 이동할 때의 주요 이점은 다음과 같습니다.
- 간소화된 데이터 전송: 메인프레임 데이터를 Cloud Storage 및 BigQuery와 같은Google Cloud 스토리지 서비스로 이동하는 작업을 간소화합니다.
- 일괄 작업 통합: 작업 제어 언어(JCL)에 정의된 메인프레임 일괄 작업을 사용하여 BigQuery 작업을 제출할 수 있습니다. 데이터 세트나 파일에서 쿼리를 읽어올 때 분석가는 메인프레임 환경에 대한 최소한의 지식과 이해를 바탕으로 예약된 작업을 사용할 수 있습니다.
- 간편한 모니터링: 메인프레임 운영 담당자는 JCL을 사용하여 익숙한 일정으로 작업을 제출하므로 다른 환경을 모니터링할 필요가 없습니다.
- MIPS 감소: Mainframe Connector는 대부분의 처리에 Java 가상 머신(JVM)을 사용하여 데이터 전송 중에 메인프레임 프로세서 워크로드를 최소화하고 MIPS(초당 백만 명령)를 줄여 비용을 절감합니다. Mainframe Connector는 프로세서 집약적인 작업을 대부분 보조 프로세서로 오프로드합니다. 보조 프로세서에 부하가 걸리는 경우 Compute Engine을 사용하여 트랜스코딩 및 변환을 실행하도록 Mainframe Connector를 구성할 수도 있습니다. Mainframe Connector 구성에 대한 자세한 내용은 Mainframe Connector 구성을 참고하세요.
스트리밍 변환: 파일을 BigQuery와 같은 Google Cloud 서비스와 호환되는 ORC, JSON 또는 CSV 형식으로 트랜스코딩합니다. Mainframe Connector는 다음 파일 유형의 트랜스코딩을 지원합니다.
- 확장 바이너리 코딩 십진수 교환 코드 (EBCDIC)의 COBOL 카피북과 연관된 큐에 추가된 순차 액세스 메서드(QSAM) 또는 가상 스토리지 액세스 메서드 (VSAM) 메인프레임 데이터 세트
- ASCII UTF-8 파일
기본적으로 Mainframe Connector는 US EBCDIC: Cp037 문자 집합의 데이터 세트를 ORC, JSON, CSV 형식으로 트랜스코딩합니다. 하지만 Mainframe Connector는 다음 지역 EBCDIC 문자 집합의 데이터 세트 트랜스코딩도 지원합니다.
- 프랑스어: Cp297
- 독일어: Cp1141
- 스페인어: Cp1145
적절한 문자 집합이 IBM JVM에 포함되지 않은 경우 맞춤 문자 집합을 구현할 수 있습니다.
Mainframe Connector 작동 방식
Mainframe Connector를 사용하면 메인프레임에 있는 데이터를 Cloud Storage 안팎으로 이동하고, JCL로 정의된 메인프레임 기반 일괄 작업에서 BigQuery 작업을 제출할 수 있습니다. Mainframe Connector를 사용하면 메인프레임 데이터 세트를 최적화된 행 열 형식(ORC) 형식으로 직접 트랜스코딩할 수 있습니다.
트랜스코딩은 한 가지 형식의 코딩된 표현에서 다른 형식(이 경우 ORC)으로 정보를 변환하는 프로세스입니다. ORC는 Apache Hadoop 생태계에서 널리 사용되는 오픈소스 열 기반 데이터 형식이며 BigQuery에서 지원됩니다.
Mainframe Connector는 데이터를 전송하고 Google Cloud 서비스와 상호작용할 수 있는 Google Cloud SDK 명령줄 유틸리티의 하위 집합을 제공합니다. gsutil 및 bq 명령줄 유틸리티의 셸 인터프리터 및 JVM 기반 구현을 통해 기존 작업 스케줄러를 유지하면서 IBM z/OS에서 전체 추출, 로드, 변환 (ELT) 파이프라인을 관리할 수 있습니다.
메인프레임 데이터를 클라우드로 전송하거나 클라우드에서 전송할 때의 주요 과제 중 하나는 일반적으로 다음 단계를 실행하는 다단계 프로세스라는 점입니다.
- 파일 서버에 데이터를 복사합니다.
- 파일 서버에서 다른 위치로 데이터를 복사하여 처리합니다.
- 데이터 처리 스택을 사용하여 데이터를 최신 형식으로 변환합니다.
- 처리된 데이터를 또 다른 위치에 다시 씁니다.
- 처리된 데이터를 쿼리하거나 사용할 수 있는 데이터베이스 또는 데이터 웨어하우스에 로드합니다.
다음 그림은 메인프레임에서 Google Cloud로 데이터를 전송하는 데 일반적으로 사용되는 다단계 프로세스를 보여줍니다.
Mainframe Connector를 사용하면 Cloud Storage를 중간 저장소 위치로 사용하여 단일 명령어로 이러한 모든 단계를 실행할 수 있습니다. 이렇게 하면 다음 그림과 같이 메인프레임 데이터가 처리되어 데이터베이스 또는 데이터 웨어하우스에서 제공되는 데 걸리는 시간이 단축됩니다.
