Mainframe Connector 참조

Cloud Logging 설정

메인프레임 커넥터용 Cloud Logging 구성에 대한 자세한 내용은 Cloud Logging 설정을 참조하세요.

로드 통계 사용 설정

로드 통계 기능은 Mainframe Connector를 사용하여 실행하는 모든 명령어를 SQL 테이블에 로깅합니다. 로드 통계 기능을 사용 설정하려면 다음 명령어를 사용하여 테이블을 만들고 cp 명령어에 --stats_table TABLE_NAME 플래그를 추가합니다. 여기서 TABLE_NAME은 SQL 테이블의 이름입니다.

CREATE TABLE
  `[PROJECT_ID].[DATASET_NAME].[TABLE_NAME]` (
    timestamp TIMESTAMP,
    job_id STRING,
    job_name STRING,
    job_date DATE,
    job_time TIME,
    job_step_name STRING,
    job_type STRING,
    source STRING,
    destination STRING,
    job_json STRING,
    rows_read INT64,
    rows_written INT64,
    rows_affected INT64,
    rows_inserted INT64,
    rows_deleted INT64,
    rows_updated INT64,
    rows_unmodified INT64,
    rows_before_merge INT64,
    rows_loaded INT64,
    bq_job_id STRING,
    bq_job_project STRING,
    bq_job_location STRING,
    statement_type STRING,
    query STRING,
    execution_ms INT64,
    queued_ms INT64,
    bytes_processed INT64,
    slot_ms INT64,
    slot_utilization_rate FLOAT64,
    slot_ms_to_total_bytes_ratio FLOAT64,
    shuffle_bytes FLOAT64,
    shuffle_bytes_to_total_bytes_ratio FLOAT64,
    shuffle_spill_bytes FLOAT64,
    shuffle_spill_bytes_to_shuffle_bytes_ratio FLOAT64,
    shuffle_spill_bytes_to_total_bytes_ratio FLOAT64,
    shuffle_spill_gb FLOAT64,
    bq_stage_count INT64,
    bq_step_count INT64,
    bq_sub_step_count INT64,
    bq_stage_summary STRING)
PARTITION BY job_date
CLUSTER BY job_name, job_id, job_step_name
OPTIONS (
  partition_expiration_days=1000,
  description="Log table for mainframe jobs",
  require_partition_filter=true)

다음을 바꿉니다.

• PROJECT_NAME: 명령어를 실행할 프로젝트의 이름입니다.
• DATASET_NAME: 데이터 세트 파일의 이름입니다.
• TABLE_NAME: 세부정보를 로깅할 SQL 테이블의 이름입니다.

데이터 세트 이름

BQSH JCL 절차에서 다음 데이터 세트 정의(DD) 파일을 사용할 수 있습니다. DD 파일에서 참조하는 모든 MVS 데이터 세트가 고정 블록(FB) 레코드 형식을 사용하는지 확인합니다.

DD 이름	설명
COPYBOOK	INFILE DD에서 참조하는 데이터 세트의 COBOL 카피북이 포함된 MVS 데이터 세트입니다. 카피북 DD에는 몇 가지 제한사항이 있습니다. 자세한 내용은 COPYBOOK DD 사용 제한사항을 참조하세요.
INFILE	Cloud Storage에 업로드할 COBOL 데이터 세트가 포함된 MVS 데이터 세트입니다.
KEYFILE	Identity and Access Management 서비스 계정 JSON 키 파일이 포함된 MVS 데이터 세트입니다.
OUTFILE	BigQuery에서 로드할 COBOL 데이터 세트가 포함된 MVS 데이터 세트입니다.
QUERY	BigQuery 표준 SQL 쿼리가 포함된 MVS 데이터 세트입니다. QUERY DD는 논리 레코드 크기(LRECL)가 80인 FB 파일입니다. 즉, 파일의 모든 레코드는 길이가 80바이트입니다.
STDIN	셸 명령어를 제공하는 데 사용되는 스트림 입력입니다.