Mainframe Connector 參考資料

設定 Cloud Logging

如要瞭解如何為 Mainframe Connector 設定 Cloud Logging，請參閱「設定 Cloud Logging」。

啟用載入統計資料

負載統計資料功能會將您使用 Mainframe Connector 執行的每個指令記錄在 SQL 資料表中。如要啟用載入統計資料功能，請使用下列指令建立資料表，並將 --stats_table TABLE_NAME 旗標新增至 cp 指令，其中 TABLE_NAME 是 SQL 資料表的名稱。

CREATE TABLE
  `[PROJECT_ID].[DATASET_NAME].[TABLE_NAME]` (
    timestamp TIMESTAMP,
    job_id STRING,
    job_name STRING,
    job_date DATE,
    job_time TIME,
    job_step_name STRING,
    job_type STRING,
    source STRING,
    destination STRING,
    job_json STRING,
    rows_read INT64,
    rows_written INT64,
    rows_affected INT64,
    rows_inserted INT64,
    rows_deleted INT64,
    rows_updated INT64,
    rows_unmodified INT64,
    rows_before_merge INT64,
    rows_loaded INT64,
    bq_job_id STRING,
    bq_job_project STRING,
    bq_job_location STRING,
    statement_type STRING,
    query STRING,
    execution_ms INT64,
    queued_ms INT64,
    bytes_processed INT64,
    slot_ms INT64,
    slot_utilization_rate FLOAT64,
    slot_ms_to_total_bytes_ratio FLOAT64,
    shuffle_bytes FLOAT64,
    shuffle_bytes_to_total_bytes_ratio FLOAT64,
    shuffle_spill_bytes FLOAT64,
    shuffle_spill_bytes_to_shuffle_bytes_ratio FLOAT64,
    shuffle_spill_bytes_to_total_bytes_ratio FLOAT64,
    shuffle_spill_gb FLOAT64,
    bq_stage_count INT64,
    bq_step_count INT64,
    bq_sub_step_count INT64,
    bq_stage_summary STRING)
PARTITION BY job_date
CLUSTER BY job_name, job_id, job_step_name
OPTIONS (
  partition_expiration_days=1000,
  description="Log table for mainframe jobs",
  require_partition_filter=true)

更改下列內容：

• PROJECT_NAME：要執行指令的專案名稱。
• DATASET_NAME：資料集檔案的名稱。
• TABLE_NAME：要記錄詳細資料的 SQL 資料表名稱。

資料集名稱

您可以在 BQSH JCL 程序中使用下列資料集定義 (DD) 檔案。請確保 DD 檔案參照的所有 MVS 資料集都使用固定區塊 (FB) 記錄格式。

DD 名稱	說明
COPYBOOK	含有 COBOL 副本的 MVS 資料集，適用於 INFILE DD 參照的資料集。您可以使用 DD 副本，但須遵守幾項限制。詳情請參閱「COPYBOOK DD 使用限制」。
INFILE	含有要上傳至 Cloud Storage 的 COBOL 資料集的 MVS 資料集。
KEYFILE	包含 Identity and Access Management 服務帳戶 JSON 金鑰檔案的 MVS 資料集。
OUTFILE	包含要從 BigQuery 載入的 COBOL 資料集的 MVS 資料集。
QUERY	內含 BigQuery 標準 SQL 查詢的 MVS 資料集。QUERY DD 是 LRECL 為 80 的 FB 檔案。也就是說，檔案中的每筆記錄長度都是 80 個位元組。
STDIN	用於提供殼層指令的串流輸入內容。