Referencia de Mainframe Connector

Configura Cloud Logging

Para obtener información sobre cómo configurar Cloud Logging para Mainframe Connector, consulta Configura Cloud Logging.

Habilita las estadísticas de carga

La función de estadísticas de carga registra cada comando que ejecutas con Mainframe Connector en una tabla de SQL. Para habilitar la función de estadísticas de carga, crea una tabla con el siguiente comando y agrega la marca --stats_table TABLE_NAME al comando cp, donde TABLE_NAME es el nombre de la tabla de SQL.

CREATE TABLE
  `[PROJECT_ID].[DATASET_NAME].[TABLE_NAME]` (
    timestamp TIMESTAMP,
    job_id STRING,
    job_name STRING,
    job_date DATE,
    job_time TIME,
    job_step_name STRING,
    job_type STRING,
    source STRING,
    destination STRING,
    job_json STRING,
    rows_read INT64,
    rows_written INT64,
    rows_affected INT64,
    rows_inserted INT64,
    rows_deleted INT64,
    rows_updated INT64,
    rows_unmodified INT64,
    rows_before_merge INT64,
    rows_loaded INT64,
    bq_job_id STRING,
    bq_job_project STRING,
    bq_job_location STRING,
    statement_type STRING,
    query STRING,
    execution_ms INT64,
    queued_ms INT64,
    bytes_processed INT64,
    slot_ms INT64,
    slot_utilization_rate FLOAT64,
    slot_ms_to_total_bytes_ratio FLOAT64,
    shuffle_bytes FLOAT64,
    shuffle_bytes_to_total_bytes_ratio FLOAT64,
    shuffle_spill_bytes FLOAT64,
    shuffle_spill_bytes_to_shuffle_bytes_ratio FLOAT64,
    shuffle_spill_bytes_to_total_bytes_ratio FLOAT64,
    shuffle_spill_gb FLOAT64,
    bq_stage_count INT64,
    bq_step_count INT64,
    bq_sub_step_count INT64,
    bq_stage_summary STRING)
PARTITION BY job_date
CLUSTER BY job_name, job_id, job_step_name
OPTIONS (
  partition_expiration_days=1000,
  description="Log table for mainframe jobs",
  require_partition_filter=true)

Reemplaza lo siguiente:

  • PROJECT_NAME: Es el nombre del proyecto en el que deseas ejecutar el comando.
  • DATASET_NAME: Es el nombre del archivo del conjunto de datos.
  • TABLE_NAME: Es el nombre de la tabla de SQL en la que deseas registrar los detalles.

Nombres de conjuntos de datos

Puedes usar los siguientes archivos de definición de conjuntos de datos (DD) en tu procedimiento JCL de BQSH. Asegúrate de que todos los conjuntos de datos de MVS a los que hace referencia un archivo DD usen el formato de registro de bloque fijo (FB).

Nombre de DD Descripción
COPYBOOK Un conjunto de datos de MVS que contiene un copybook de COBOL para el conjunto de datos al que hace referencia un INFILE DD. Puedes usar el copybook DD con algunas restricciones. Para obtener más información, consulta las restricciones de uso de COPYBOOK DD.
INFILE Un conjunto de datos de MVS que contiene un conjunto de datos de COBOL que se subirá a Cloud Storage.
KEYFILE Un conjunto de datos de MVS que contiene un archivo de claves JSON de la cuenta de servicio de Identity and Access Management.
OUTFILE Un conjunto de datos de MVS que contiene un conjunto de datos de COBOL que se cargará desde BigQuery.
QUERY Un conjunto de datos de MVS que contiene una consulta en SQL estándar de BigQuery. El QUERY DD es un archivo FB con un tamaño de registro lógico (LRECL) de 80. Esto significa que cada registro del archivo tiene 80 bytes de longitud.
STDIN Es la entrada de transmisión que se usa para proporcionar comandos de shell.