בדרך כלל, Mainframe Connector מופעל כאפליקציית Java. מכיוון שהאפליקציה היא עצמאית, צריך להתקין רק את IBM JRE גרסה 8 או את IBM JRE גרסה 17 כדי לפרוס את Mainframe Connector. פרוצדורה של שפת בקרה של עבודות (JCL) היא קצה קדמי, ואפשר להשתמש בה כדי לקרוא ל-Mainframe Connector. בתמונה הבאה מוצג סקירה כללית של ארכיטקטורת Mainframe Connector.
כשמעלים קובצי נתונים ל-Cloud Storage, Mainframe Connector מתקשר ישירות עם Cloud Storage API באמצעות IBM z Integrated Information Processor (zIIP) או מעבד כללי (GP). אפשר גם לפרוס שירות מרוחק כדי להעביר חלק מהחישובים ל Google Cloud.
אחרי שמעלים קובץ נתונים ל-Cloud Storage, Mainframe Connector שולח קריאה לפרוצדורה מרוחקת (RPC) לשירות gRPC, שמציינת את מיקום הקובץ, פריסת הרשומות ומיקום הפלט. שירות gRPC קורא את הקובץ מ-Cloud Storage, מבצע טרנסקוד של הנתונים וכותב קובץ Optimized Row Columnar (ORC) מרובה חלקים למיקום הפלט ב-Cloud Storage. לאחר מכן, Mainframe Connector מתקשר ישירות עם BigQuery API כדי לרשום את קובץ ה-ORC כטבלה חיצונית או לטעון את קובץ ה-ORC לתוך טבלה.
לחלופין, אפשר לפרוס מכשיר חומרה במרכז הנתונים כדי להעביר נתונים ישירות ממערכת האחסון של המחשב המרכזי אל Cloud Storage באמצעות ספריית סרטים וירטואלית (VTL). הגישה הזו לא משתמשת ב-zIIP או ב-GP במהלך העברת הנתונים אל Cloud Storage, כי מכשיר החומרה מקבל את הנתונים ישירות ממערכת האחסון של המחשב המרכזי באמצעות VTL, ולא משתמש במחשב המרכזי בכלל. כך מתפנה המחשב המרכזי למשימות קריטיות לעסק.
הצפנת נתונים
IBM מספקת הטמעה של Java Cryptography Extension (JCE) עם ה-JVM שנקרא Java Cryptography Extension Common Cryptographic Architecture (IBMJCECCA) (Java 8 או Java 17) שמשתמשת במערכת הקריפטוגרפית של החומרה ב-IBM z/OS. חיבור ה-TLS (אבטחת שכבת התעבורה) בין ה-JVM לבין נקודות הקצה של Google Cloud ה-API משתמש ב-JCE ובקריפטוגרפיה של חומרה כדי לאבטח את הנתונים במהלך פעולות החילוץ, השינוי והטעינה (ELT).
JCL procedure
כדי להשתמש בפרוצדורות JCL, צריך להתקין מתורגמן של מעטפת BQSH בספריות הפרוצדורות (PROCLIB) במחשב המרכזי. הנתונים של סביבת התקן (STDENV) בהליך JCL משמשים להגדרת משתני סביבה, ארגומנטים של JVM ונתיב מחלקות של Java לפני הפעלת אפליקציית Java. פרוצדורה של JCL מפעילה את ה-JVM ואת המחלקה הראשית com.google.cloud.bqsh.Bqsh באמצעות מפעיל ה-JVM של IBM JVMLDM86.
כלי תרגום של מעטפת BQSH
המחלקת הראשית של BQSH פועלת כמתורגמן של מעטפת. הוא קורא קלט של זרם מפרוצדורת JCL, מפצל שורות של קלט ומנסה לפרש כל שורה כפקודה.
אפליקציית Java
ה-Mainframe Connector משתמש בספריות לקוח של Java Cloud, ב-Apache ORC ובספריות אחרות בקוד פתוח. הוא משתמש ב-IBM proprietary JZOS SDK כדי ליצור אינטראקציה עם מערכת האחסון IBM z/OS, והוא פועל ב-JVM ב-IBM z/OS וב-OpenJDK ב-Linux.