מידע על Mainframe Connector

הגדרת Cloud Logging

הכלי Mainframe Connector יכול לשלוח הודעות יומן בפורמט JSON שמכילות מידע על ההקשר אל Cloud Logging. ההקשר כולל את שם העבודה, מזהה העבודה, תאריך העבודה, שם השלב ומשתנים אחרים שסופקו על ידי z/OS.

כך תוכלו למצוא יומנים של משימות ספציפיות וליצור התראות. בנוסף, כשפורסים את Mainframe Connector ב-Cloud Run, ב-Google Kubernetes Engine או ב-Compute Engine, היומנים נאספים על ידי סוכן Cloud Logging ומופיעים ב-Logs Explorer.

כדי להגדיר את Mainframe Connector כך שיכתוב ל-Cloud Logging, צריך להגדיר את משתני הסביבה LOG_PROJECT ו-LOG_ID ב-JCL שמפעיל את העבודה. לדוגמה, LOG_PROJECT=mainframe-connector-proj ו-LOG_ID=my-mfc. השם של היומן LOG_NAME נגזר מ-LOG_PROJECT ומ-LOG_ID. בדוגמה הזו, זה יהיה projects/mainframe-connector-proj/logs/my-mfc.

סוג המשאב הוא תמיד global כי היומן הוא יומן שנוצר על ידי משתמש ולא יומן משירות הענן. במהלך ההפעלה, Mainframe Connector מציג הודעה שמציינת אם Cloud Logging מוגדר.

הפעלת נתוני טעינה

התכונה 'סטטיסטיקות טעינה' מתעדת כל פקודה שמריצים באמצעות Mainframe Connector בטבלת SQL. כדי להפעיל את התכונה 'סטטיסטיקות טעינה', יוצרים טבלה באמצעות הפקודה הבאה ומוסיפים את הדגל --stats_table TABLE_NAME לפקודה cp, כאשר TABLE_NAME הוא שם טבלת ה-SQL.

CREATE TABLE
  `[PROJECT_ID].[DATASET_NAME].[TABLE_NAME]` (
    timestamp TIMESTAMP,
    job_id STRING,
    job_name STRING,
    job_date DATE,
    job_time TIME,
    job_step_name STRING,
    job_type STRING,
    source STRING,
    destination STRING,
    job_json STRING,
    rows_read INT64,
    rows_written INT64,
    rows_affected INT64,
    rows_inserted INT64,
    rows_deleted INT64,
    rows_updated INT64,
    rows_unmodified INT64,
    rows_before_merge INT64,
    rows_loaded INT64,
    bq_job_id STRING,
    bq_job_project STRING,
    bq_job_location STRING,
    statement_type STRING,
    query STRING,
    execution_ms INT64,
    queued_ms INT64,
    bytes_processed INT64,
    slot_ms INT64,
    slot_utilization_rate FLOAT64,
    slot_ms_to_total_bytes_ratio FLOAT64,
    shuffle_bytes FLOAT64,
    shuffle_bytes_to_total_bytes_ratio FLOAT64,
    shuffle_spill_bytes FLOAT64,
    shuffle_spill_bytes_to_shuffle_bytes_ratio FLOAT64,
    shuffle_spill_bytes_to_total_bytes_ratio FLOAT64,
    shuffle_spill_gb FLOAT64,
    bq_stage_count INT64,
    bq_step_count INT64,
    bq_sub_step_count INT64,
    bq_stage_summary STRING)
PARTITION BY job_date
CLUSTER BY job_name, job_id, job_step_name
OPTIONS (
  partition_expiration_days=1000,
  description="Log table for mainframe jobs",
  require_partition_filter=true)

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_NAME: שם הפרויקט שבו רוצים להריץ את הפקודה.
• ‫DATASET_NAME: השם של קובץ מערך הנתונים.
• ‫TABLE_NAME: השם של טבלת ה-SQL שבה רוצים לרשום את הפרטים.

שמות של מערכי נתונים

אפשר להשתמש בקובצי הגדרת מערך נתונים (DD) הבאים בהליך BQSH JCL. מוודאים שכל מערכי הנתונים של MVS שמופנים על ידי קובץ DD משתמשים בפורמט הרשומה fixed block (FB).

שם ה-DD	תיאור
COPYBOOK	מערך נתונים של MVS שמכיל ספר העתקה של COBOL למערך הנתונים שאליו מתייחס INFILE DD. אפשר להשתמש ב-copybook DD עם כמה הגבלות. מידע נוסף זמין במאמר בנושא הגבלות על השימוש ב-COPYBOOK DD.
INFILE	מערך נתונים של MVS שמכיל מערך נתונים של COBOL שרוצים להעלות ל-Cloud Storage.
KEYFILE	מערך נתונים של MVS שמכיל קובץ מפתח JSON של חשבון שירות של IAM. Google Cloud
OUTFILE	מערך נתונים של MVS שמכיל מערך נתונים של COBOL לטעינה מ-BigQuery.
QUERY	מערך נתונים של MVS שמכיל שאילתת SQL סטנדרטית של BigQuery. ‫QUERY DD הוא קובץ FB עם גודל רשומה לוגית (LRECL) של 80. המשמעות היא שכל רשומה בקובץ היא באורך 80 בייט.
STDIN	קלט של זרם שמשמש להזנת פקודות של מעטפת.