Configurare Cloud Logging
Per informazioni sulla configurazione di Cloud Logging per Mainframe Connector, consulta Configurare Cloud Logging.
Abilitare le statistiche di caricamento
La funzionalità delle statistiche di caricamento registra ogni comando eseguito utilizzando Mainframe Connector in una tabella SQL. Per abilitare la funzionalità delle statistiche di caricamento, crea una tabella utilizzando il seguente comando e aggiungi il
flag --stats_table TABLE_NAME al comando cp, dove TABLE_NAME è il nome della tabella SQL.
CREATE TABLE
`[PROJECT_ID].[DATASET_NAME].[TABLE_NAME]` (
timestamp TIMESTAMP,
job_id STRING,
job_name STRING,
job_date DATE,
job_time TIME,
job_step_name STRING,
job_type STRING,
source STRING,
destination STRING,
job_json STRING,
rows_read INT64,
rows_written INT64,
rows_affected INT64,
rows_inserted INT64,
rows_deleted INT64,
rows_updated INT64,
rows_unmodified INT64,
rows_before_merge INT64,
rows_loaded INT64,
bq_job_id STRING,
bq_job_project STRING,
bq_job_location STRING,
statement_type STRING,
query STRING,
execution_ms INT64,
queued_ms INT64,
bytes_processed INT64,
slot_ms INT64,
slot_utilization_rate FLOAT64,
slot_ms_to_total_bytes_ratio FLOAT64,
shuffle_bytes FLOAT64,
shuffle_bytes_to_total_bytes_ratio FLOAT64,
shuffle_spill_bytes FLOAT64,
shuffle_spill_bytes_to_shuffle_bytes_ratio FLOAT64,
shuffle_spill_bytes_to_total_bytes_ratio FLOAT64,
shuffle_spill_gb FLOAT64,
bq_stage_count INT64,
bq_step_count INT64,
bq_sub_step_count INT64,
bq_stage_summary STRING)
PARTITION BY job_date
CLUSTER BY job_name, job_id, job_step_name
OPTIONS (
partition_expiration_days=1000,
description="Log table for mainframe jobs",
require_partition_filter=true)
Sostituisci quanto segue:
PROJECT_NAME: il nome del progetto in cui vuoi eseguire il comando.DATASET_NAME: il nome del file del set di dati.TABLE_NAME: il nome della tabella SQL in cui vuoi registrare i dettagli.
Nomi dei set di dati
Puoi utilizzare i seguenti file di definizione del set di dati (DD) nella procedura JCL BQSH. Assicurati che tutti i set di dati MVS a cui fa riferimento un file DD utilizzino il formato di record a blocchi fissi (FB).
| Nome DD | Descrizione |
|---|---|
| COPYBOOK | Un set di dati MVS contenente un copybook COBOL per il set di dati a cui fa riferimento un INFILE DD. Puoi utilizzare il copybook DD con alcune limitazioni. Per saperne di più, consulta Limitazioni di utilizzo di COPYBOOK DD. |
| INFILE | Un set di dati MVS contenente un set di dati COBOL da caricare in Cloud Storage. |
| KEYFILE | Un set di dati MVS contenente un file della chiave JSON dell'account di servizio Identity and Access Management. |
| OUTFILE | Un set di dati MVS contenente un set di dati COBOL da caricare da BigQuery. |
| QUERY | Un set di dati MVS contenente una query SQL standard di BigQuery. Il QUERY DD è un file FB con una dimensione del record logico (LRECL) di 80. Ciò significa che ogni record nel file ha una lunghezza di 80 byte. |
| STDIN | Input di flusso utilizzato per fornire comandi della shell. |