Referência do Mainframe Connector

Configurar o Cloud Logging

Para informações sobre como configurar o Cloud Logging para o Mainframe Connector, consulte Configurar o Cloud Logging.

Ativar estatísticas de carregamento

O recurso de estatísticas de carregamento registra todos os comandos executados usando o Mainframe Connector em uma tabela SQL. Para ativar o recurso de estatísticas de carregamento, crie uma tabela usando o comando a seguir e adicione a flag --stats_table TABLE_NAME ao comando cp, em que TABLE_NAME é o nome da tabela SQL.

CREATE TABLE
  `[PROJECT_ID].[DATASET_NAME].[TABLE_NAME]` (
    timestamp TIMESTAMP,
    job_id STRING,
    job_name STRING,
    job_date DATE,
    job_time TIME,
    job_step_name STRING,
    job_type STRING,
    source STRING,
    destination STRING,
    job_json STRING,
    rows_read INT64,
    rows_written INT64,
    rows_affected INT64,
    rows_inserted INT64,
    rows_deleted INT64,
    rows_updated INT64,
    rows_unmodified INT64,
    rows_before_merge INT64,
    rows_loaded INT64,
    bq_job_id STRING,
    bq_job_project STRING,
    bq_job_location STRING,
    statement_type STRING,
    query STRING,
    execution_ms INT64,
    queued_ms INT64,
    bytes_processed INT64,
    slot_ms INT64,
    slot_utilization_rate FLOAT64,
    slot_ms_to_total_bytes_ratio FLOAT64,
    shuffle_bytes FLOAT64,
    shuffle_bytes_to_total_bytes_ratio FLOAT64,
    shuffle_spill_bytes FLOAT64,
    shuffle_spill_bytes_to_shuffle_bytes_ratio FLOAT64,
    shuffle_spill_bytes_to_total_bytes_ratio FLOAT64,
    shuffle_spill_gb FLOAT64,
    bq_stage_count INT64,
    bq_step_count INT64,
    bq_sub_step_count INT64,
    bq_stage_summary STRING)
PARTITION BY job_date
CLUSTER BY job_name, job_id, job_step_name
OPTIONS (
  partition_expiration_days=1000,
  description="Log table for mainframe jobs",
  require_partition_filter=true)

Substitua:

  • PROJECT_NAME: o nome do projeto em que você quer executar o comando.
  • DATASET_NAME: o nome do arquivo do conjunto de dados.
  • TABLE_NAME: o nome da tabela SQL em que você quer registrar os detalhes.

Nomes de conjuntos de dados

É possível usar os seguintes arquivos de definição de conjunto de dados (DD) no procedimento JCL do BQSH. Verifique se todos os conjuntos de dados MVS referenciados por um arquivo DD usam o formato de registro de bloco fixo (FB).

Nome do DD Descrição
COPYBOOK Um conjunto de dados MVS que contém um copybook COBOL para o conjunto de dados referenciado por um INFILE DD. É possível usar o copybook DD com algumas restrições. Para mais informações, consulte Restrições de uso do COPYBOOK DD.
INFILE Um conjunto de dados MVS que contém um conjunto de dados COBOL a ser enviado para o Cloud Storage.
KEYFILE Um conjunto de dados MVS que contém um arquivo de chave JSON da conta de serviço do Identity and Access Management.
OUTFILE Um conjunto de dados MVS que contém um conjunto de dados COBOL a ser carregado do BigQuery.
QUERY Um conjunto de dados MVS que contém uma consulta SQL padrão do BigQuery. O QUERY DD é um arquivo FB com um tamanho de registro lógico (LRECL) de 80. Isso significa que cada registro no arquivo tem 80 bytes de comprimento.
STDIN Entrada de stream usada para fornecer comandos do shell.