ארגונים משתמשים במחשבי מיינפריים של IBM כדי לבצע משימות מחשוב קריטיות. בשנים האחרונות, חברות רבות שמסתמכות על מחשבי מיינפריים פועלות להעברה לענן. Mainframe Connector מאפשר להעביר את נתוני המיינפריים אלGoogle Cloud , כדי שתוכלו להעביר עומסי עבודה של דוחות שדורשים הרבה משאבי CPU אל Google Cloud.
היתרונות העיקריים של Mainframe Connector
אלה היתרונות העיקריים של שימוש ב-Mainframe Connector להעברת נתונים ממחשב מרכזי אל Google Cloud:
- העברת נתונים פשוטה: מפשטת את העברת הנתונים ממחשבי מיינפריים אלGoogle Cloud שירותי אחסון כמו Cloud Storage ו-BigQuery.
- שילוב של משימות באצווה: מאפשר לשלוח עבודות BigQuery באמצעות משימות באצווה במחשב מרכזי שהוגדרו בשפת בקרת עבודות (JCL). כששאילתות נקראות ממערכי נתונים או מקבצים, אנליסטים יכולים להשתמש במשימות מתוזמנות עם ידע מינימלי בסביבות של מחשבי מיינפריים.
- מעקב קל: אנשי התפעול של המיינפריים לא צריכים לעקוב אחרי סביבה אחרת, כי העבודות נשלחות עם לוחות זמנים מוכרים באמצעות JCL.
- צמצום MIPS: Mainframe Connector משתמש במכונה וירטואלית של Java (JVM) לרוב העיבוד כדי לצמצם את עומס העבודה של מעבד המיינפריים במהלך העברת הנתונים, וכך להקטין את מספר מיליוני ההוראות לשנייה (MIPS) ולהוזיל את העלויות. Mainframe Connector מעביר את רוב העבודה שדורשת הרבה משאבי מעבד למעבדים משניים. אם יש עומס על המעבדים המשניים, אפשר גם להגדיר את Mainframe Connector לבצע טרנסקוד והמרה באמצעות Compute Engine. מידע נוסף על ההגדרות של Mainframe Connector זמין במאמר ההגדרות של Mainframe Connector.
המרת סטרימינג: קידוד מחדש של קבצים לפורמטים ORC, JSON או CSV, שתואמים לשירותים כמו BigQuery. Google Cloud Mainframe Connector תומך בהמרת קידוד של סוגי הקבצים הבאים:
- מערכי נתונים של מחשב מרכזי בשיטת גישה רציפה בתור (QSAM) או בשיטת גישה לאחסון וירטואלי (VSAM) שמשויכים לקובצי העתקה של COBOL בקוד החלפה בינארי מקודד עשרוני מורחב (EBCDIC)
- קבצים ב-ASCII UTF-8
כברירת מחדל, Mainframe Connector מתרגם מערכי נתונים מסט התווים US EBCDIC: Cp037 לפורמטים ORC, JSON ו-CSV. עם זאת, Mainframe Connector תומך גם בהמרת קידוד של מערכי נתונים מתוך ערכות התווים האזוריות הבאות של EBCDIC:
- צרפתית: Cp297
- גרמנית: Cp1141
- ספרדית: Cp1145
אפשר להטמיע ערכת תווים מותאמת אישית אם לא נכללת ערכה מתאימה ב-IBM JVM.
איך Mainframe Connector עובד
Mainframe Connector מאפשר להעביר נתונים שנמצאים במחשב המרכזי שלכם אל Cloud Storage וממנו, ולשלוח משימות BigQuery ממשימות אצווה מבוססות מחשב מרכזי שמוגדרות ב-JCL. בעזרת Mainframe Connector אפשר לבצע טרנסקוד של מערכי נתונים במחשב מרכזי ישירות לפורמט Optimized Row Columnar (ORC).
טרנסקוד הוא תהליך של המרת מידע מצורה אחת של ייצוג מקודד לצורה אחרת, ובמקרה הזה ל-ORC. ORC הוא פורמט נתונים בקוד פתוח שמבוסס על עמודות, והוא נמצא בשימוש נרחב בסביבה העסקית של Apache Hadoop. הפורמט הזה נתמך על ידי BigQuery.
Mainframe Connector מספק קבוצת משנה של כלי שורת הפקודה של Google Cloud SDK, שמאפשרים להעביר נתונים ולקיים אינטראקציה עם שירותי Google Cloud . המעטפת (shell) וממשקי ה-API שמבוססים על JVM של gsutil ושל כלי שורת הפקודה של bq מאפשרים לכם לנהל צינור עיבוד נתונים מלא של Extract, Load, Transform (ELT) באופן מלא מ-IBM z/OS, תוך שמירה על מתזמן המשימות הקיים.
אחד האתגרים העיקריים בהעברת נתונים ממחשב מרכזי אל הענן וממנו הוא שמדובר בתהליך רב-שלבי, שבדרך כלל כולל את השלבים הבאים:
- העתקת נתונים לשרת קבצים.
- מעתיקים את הנתונים משרת הקבצים למיקום אחר לצורך עיבוד.
- משתמשים במערכת לעיבוד נתונים כדי להמיר את הנתונים לפורמט מודרני.
- לכתוב בחזרה את הנתונים שעברו עיבוד למיקום אחר.
- טוענים את הנתונים המעובדים למסד נתונים או למחסן נתונים שבהם אפשר להריץ שאילתות על הנתונים או להשתמש בהם.
באיור הבא מוצג התהליך הרב-שלבי שמשמש בדרך כלל להעברת נתונים ממחשב מרכזי אל Google Cloud.
בעזרת Mainframe Connector אפשר לבצע את כל השלבים האלה באמצעות פקודה אחת, כש-Cloud Storage משמש כמיקום אחסון ביניים. כך מקצרים את הזמן שנדרש לעיבוד הנתונים במחשב המרכזי ולהפיכתם לזמינים במסד נתונים או במחסן נתונים, כמו שמוצג באיור הבא.
