Referensi Mainframe Connector

Menyiapkan Cloud Logging

Untuk mengetahui informasi tentang cara mengonfigurasi Cloud Logging untuk Mainframe Connector, lihat Menyiapkan Cloud Logging.

Mengaktifkan statistik pemuatan

Fitur statistik pemuatan mencatat setiap perintah yang Anda jalankan menggunakan Mainframe Connector dalam tabel SQL. Untuk mengaktifkan fitur statistik pemuatan, buat tabel menggunakan perintah berikut dan tambahkan flag --stats_table TABLE_NAME ke perintah cp, dengan TABLE_NAME adalah nama tabel SQL.

CREATE TABLE
  `[PROJECT_ID].[DATASET_NAME].[TABLE_NAME]` (
    timestamp TIMESTAMP,
    job_id STRING,
    job_name STRING,
    job_date DATE,
    job_time TIME,
    job_step_name STRING,
    job_type STRING,
    source STRING,
    destination STRING,
    job_json STRING,
    rows_read INT64,
    rows_written INT64,
    rows_affected INT64,
    rows_inserted INT64,
    rows_deleted INT64,
    rows_updated INT64,
    rows_unmodified INT64,
    rows_before_merge INT64,
    rows_loaded INT64,
    bq_job_id STRING,
    bq_job_project STRING,
    bq_job_location STRING,
    statement_type STRING,
    query STRING,
    execution_ms INT64,
    queued_ms INT64,
    bytes_processed INT64,
    slot_ms INT64,
    slot_utilization_rate FLOAT64,
    slot_ms_to_total_bytes_ratio FLOAT64,
    shuffle_bytes FLOAT64,
    shuffle_bytes_to_total_bytes_ratio FLOAT64,
    shuffle_spill_bytes FLOAT64,
    shuffle_spill_bytes_to_shuffle_bytes_ratio FLOAT64,
    shuffle_spill_bytes_to_total_bytes_ratio FLOAT64,
    shuffle_spill_gb FLOAT64,
    bq_stage_count INT64,
    bq_step_count INT64,
    bq_sub_step_count INT64,
    bq_stage_summary STRING)
PARTITION BY job_date
CLUSTER BY job_name, job_id, job_step_name
OPTIONS (
  partition_expiration_days=1000,
  description="Log table for mainframe jobs",
  require_partition_filter=true)

Ganti kode berikut:

• PROJECT_NAME: nama project tempat Anda ingin menjalankan perintah.
• DATASET_NAME: nama file set data.
• TABLE_NAME: nama tabel SQL tempat Anda ingin mencatat detailnya.

Nama set data

Anda dapat menggunakan file definisi set data (DD) berikut dalam prosedur BQSH JCL. Pastikan semua set data MVS yang direferensikan oleh file DD menggunakan format data blok tetap (FB).

Nama DD	Deskripsi
COPYBOOK	Set data MVS yang berisi copybook COBOL untuk set data yang direferensikan oleh an INFILE DD. Anda dapat menggunakan copybook DD dengan beberapa batasan. Untuk mengetahui informasi selengkapnya, lihat Batasan penggunaan COPYBOOK DD.
INFILE	Set data MVS yang berisi set data COBOL yang akan diupload ke Cloud Storage.
KEYFILE	Set data MVS yang berisi file kunci JSON akun layanan Identity and Access Management JSON.
OUTFILE	Set data MVS yang berisi set data COBOL yang akan dimuat dari BigQuery.
QUERY	Set data MVS yang berisi kueri SQL standar BigQuery. QUERY DD adalah file FB dengan ukuran data logis (LRECL) sebesar 80. Artinya, setiap data dalam file memiliki panjang 80 byte.
STDIN	Input streaming yang digunakan untuk menyediakan perintah shell.