Mainframe Connector-Referenz

Cloud Logging einrichten

Informationen zum Konfigurieren von Cloud Logging für Mainframe Connector finden Sie unter Cloud Logging einrichten.

Ladestatistiken aktivieren

Mit der Funktion „Ladestatistiken“ wird jeder Befehl, den Sie mit Mainframe Connector ausführen, in einer SQL-Tabelle protokolliert. Wenn Sie die Funktion „Ladestatistiken“ aktivieren möchten, erstellen Sie mit dem folgenden Befehl eine Tabelle und fügen Sie dem Befehl cp das Flag --stats_table TABLE_NAME hinzu. Dabei ist TABLE_NAME der Name der SQL-Tabelle.

CREATE TABLE
  `[PROJECT_ID].[DATASET_NAME].[TABLE_NAME]` (
    timestamp TIMESTAMP,
    job_id STRING,
    job_name STRING,
    job_date DATE,
    job_time TIME,
    job_step_name STRING,
    job_type STRING,
    source STRING,
    destination STRING,
    job_json STRING,
    rows_read INT64,
    rows_written INT64,
    rows_affected INT64,
    rows_inserted INT64,
    rows_deleted INT64,
    rows_updated INT64,
    rows_unmodified INT64,
    rows_before_merge INT64,
    rows_loaded INT64,
    bq_job_id STRING,
    bq_job_project STRING,
    bq_job_location STRING,
    statement_type STRING,
    query STRING,
    execution_ms INT64,
    queued_ms INT64,
    bytes_processed INT64,
    slot_ms INT64,
    slot_utilization_rate FLOAT64,
    slot_ms_to_total_bytes_ratio FLOAT64,
    shuffle_bytes FLOAT64,
    shuffle_bytes_to_total_bytes_ratio FLOAT64,
    shuffle_spill_bytes FLOAT64,
    shuffle_spill_bytes_to_shuffle_bytes_ratio FLOAT64,
    shuffle_spill_bytes_to_total_bytes_ratio FLOAT64,
    shuffle_spill_gb FLOAT64,
    bq_stage_count INT64,
    bq_step_count INT64,
    bq_sub_step_count INT64,
    bq_stage_summary STRING)
PARTITION BY job_date
CLUSTER BY job_name, job_id, job_step_name
OPTIONS (
  partition_expiration_days=1000,
  description="Log table for mainframe jobs",
  require_partition_filter=true)

Ersetzen Sie Folgendes:

• PROJECT_NAME: der Name des Projekts, in dem Sie den Befehl ausführen möchten.
• DATASET_NAME: der Name der Dataset-Datei.
• TABLE_NAME: der Name der SQL-Tabelle, in der Sie die Details protokollieren möchten.

Dataset-Namen

Sie können die folgenden Dataset-Definitionsdateien (DD) in Ihrer BQSH-JCL- Prozedur verwenden. Achten Sie darauf, dass alle MVS-Datasets , auf die in einer DD-Datei verwiesen wird, das Datensatzformat „Fester Block“ (FB) verwenden.

DD-Name	Beschreibung
COPYBOOK	Ein MVS-Dataset mit einem COBOL-Copybook für das Dataset, auf das von einem INFILE-DD verwiesen wird. Sie können das Copybook-DD mit einigen Einschränkungen verwenden. Weitere Informationen finden Sie unter Einschränkungen bei der Verwendung von COPYBOOK-DD.
INFILE	Ein MVS-Dataset mit einem COBOL-Dataset, das in Cloud Storage hochgeladen werden soll.
KEYFILE	Ein MVS-Dataset mit einer JSON-Schlüsseldatei für ein Dienstkonto von Identity and Access Management.
OUTFILE	Ein MVS-Dataset mit einem COBOL-Dataset, das aus BigQuery geladen werden soll.
QUERY	Ein MVS-Dataset mit einer BigQuery-Standard-SQL-Abfrage. Das QUERY-DD ist eine FB-Datei mit einer logischen Datensatzlänge (LRECL) von 80. Das bedeutet dass jeder Datensatz in der Datei 80 Byte lang ist.
STDIN	Stream-Eingabe für Shell-Befehle.