Mainframe Connector מאפשר לכם לפרסם הודעות ב-Pub/Sub ממחשב מרכזי. לדוגמה, אפשר להשתמש בתכונה הזו כדי לשלב את המחשב המרכזי עם BigQuery או Cloud Storage, להוסיף נתונים להודעות באמצעות Dataflow או להפעיל פונקציות של Cloud Run.
לפני שמתחילים
- אם עוד לא עשיתם זאת, מתקינים את Mainframe Connector במחשב המרכזי.
- כדי להריץ פקודות Pub/Sub, צריך לוודא שהקציתם לחשבון המשתמש שלכם את התפקיד פרסום הודעות ב-Pub/Sub. במאמר ניהול גישה באמצעות IAM מוסבר איך מקצים תפקידים לחשבון משתמש.
- מגדירים Application Default Credentials.
פרסום הודעה בנושא Pub/Sub
כדי לפרסם הודעה לא מובנית ב-Pub/Sub מהמחשב המרכזי, משתמשים בפקודה pubsub topics publish באופן הבא:
//STEP01 EXEC BQSH //STDIN DD * pubsub topics publish TOPIC --data="Hello,World" /*
מחליפים את TOPIC בשם של נושא Pub/Sub. הפורמט הנדרש הוא projects/{project}/topics/{topic}.
פרסום הודעות בנושא Pub/Sub
Mainframe Connector מאפשר לכם לפרסם הודעות מובנות ממחשב מרכזי לנושא ב-Pub/Sub. לדוגמה, אתם יכולים להשתמש ביכולת הזו כדי להעביר רשומות של שיטת גישה רציפה בתור (QSAM) מהמחשב המרכזי שלכם אל BigQuery באמצעות Pub/Sub. היתרונות של השיטה הזו כוללים:
- אפשר לבצע טרנספורמציה של נתונים או להוסיף נתונים באמצעות AI דרך Dataflow או דרך Pub/Sub באמצעות ריבוי תהליכים סימולטני (SMT).
- אפשר להעביר רשומות ממחשב מרכזי ל-Cloud Storage.
- אפשר לסנכרן עדכונים של אפליקציות במחשב מרכזי למערכות מבוססות-ענן, בדומה ללכידת נתוני שינוי (CDC).
כדי לפרסם הודעות מובנות מהמחשב המרכזי לנושא ב-Pub/Sub, צריך לבצע את השלבים הבאים:
- יוצרים נושא Pub/Sub לפרסום הודעות. אפשר גם ליצור נושא עם סכימה כדי להוסיף הגבלות. מידע נוסף מופיע במאמרים בנושא יצירת נושא או יצירה ושיוך של סכימה כשיוצרים נושא.
- יוצרים נושא Pub/Sub כדי לתעד מידע על רשומות שלא הצליחו לעבור טרנסקוד. הנושא הזה נקרא נושא שמתפרץ. מידע על יצירת נושא Pub/Sub זמין במאמר יצירת נושא.
- (אופציונלי) כדי להמיר את הרשומות ל-JSON לפני ששולחים אותן ל-Pub/Sub, מגדירים את קובץ ההגדרות בפורמט JSON. אם לא מספקים קובץ הגדרות, נעשה שימוש בהגדרות ברירת המחדל בפורמט JSON.
(אופציונלי) כברירת מחדל, הודעות Pub/Sub לא מכילות מפתחות סדר ומאפיינים. הודעות שגולשות מעבר למכסה נשלחות לנושא הגלישה מעבר למכסה עם הסיומת
_spillover. כדי לשנות את ברירות המחדל, אפשר להגדיר את קובץ ההגדרות של פרסום ב-Pub/Sub. לדוגמה, אפשר להשתמש בהגדרה הבאה:{ "spillover-configuration": { "name": SPILLOVER_TOPIC_NAME } }מחליפים את
SPILLOVER_TOPIC_NAMEבשם של נושא הגיבוי שיצרתם בשלב 2. הפורמט הנדרש הואprojects/{project}/topics/{topic}. מידע על הודעות שלא פוענחו בצורה תקינה נשמר בנושא הזה של עודפים.כדי לפרסם רשומות של מחשב מרכזי ב-Pub/Sub באמצעות הפקודה
qsam decode, מריצים את ה-JCL הבא://STEP01 EXEC BQSH //STDIN DD * qsam decode
INPUTOUTPUT\ --copybookCOPYBOOK--transcode-configurationTRANSCODE-CONFIG--output-format=JSONL --input-parameter=json-dialect=JSON_CONFIGURATION--input-parameter=pubsub-publish-configuration=PUBSUB_CONFIGURATION/*מחליפים את מה שכתוב בשדות הבאים:
-
INPUT: נתיב הנתונים של קובץ ה-QSAM. -
OUTPUT: נתיב הנתונים של נושא ה-Pub/Sub שיצרתם בשלב 1. הפורמט הנדרש הואpubsub:projects/{project}/topics/{topic}. -
TRANSCODE-CONFIG: נתיב הנתונים של הקובץ שמכיל את הגדרות הקידוד מחדש. מידע נוסף על פורמט ההגדרה של המרת הקידוד זמין במאמר הגדרת המרת קידוד. -
JSON_CONFIGURATION: (אופציונלי) נתיב הנתונים של קובץ ההגדרות בפורמט JSON. אם לא מספקים קובץ הגדרה, נעשה שימוש בהגדרת ברירת המחדל בפורמט JSON. -
PUBSUB_CONFIGURATION: (אופציונלי) נתיב הנתונים של קובץ ההגדרות של פרסום ב-Pub/Sub. אם לא מציינים קובץ תצורה, המערכת משתמשת בהגדרות ברירת המחדל של Pub/Sub.
-