בדף הזה מוסבר על השוואה בין הפעלות כפולות של Batch, שנועדה לעזור לכם להשוות בין התוצאות של עומסי עבודה של Batch. התכונה הזו מאפשרת לוודא שעבודות אצווה שפועלות במחשב המרכזי וב- Google Cloud generate יוצרות פלט זהה עבור אותן כניסות נתונים.
איך השוואות של קבוצות פועלות
התכונה 'השוואת קבצים' ב-Dual Run מאפשרת לנתח קבצים על ידי הגדרת ההגדרות להשוואה, הגדרת הטריגרים להפעלת התהליך ובדיקת התוצאות.
בקטעים הבאים מוסבר איך השוואה בין קבוצות פועלת.
העברת קבצים מהמחשב המרכזי
לפני שמריצים השוואה בין קבצים, השלב הראשון הוא להעביר קבצים מהמחשב המרכזי לקטגוריה של Cloud Storage ב- Google Cloud.
יש שתי דרכים להעביר קבצים מהמחשב המרכזי:
- עם העברות FTP/HTTPS
- עם Mainframe Connector.
בשני המקרים, Dual Run יכול לקרוא פורמטים של EBCDIC, ויש לו תמיכה בUNLOAD פלט בלי צורך בהמרה נוספת.
הגדרות השוואה
התכונה Dual Run מאפשרת לכם גמישות מלאה בהשוואה בין קבצים במחשב המרכזי לבין קבצים שעברו מודרניזציה. לכל קובץ, מציינים אילו שדות להשוות ומה הפורמטים הצפויים שלהם.
השוואת קבצים בהפעלה כפולה תומכת באפשרויות מתקדמות שניתנות להגדרה, כמו טשטוש נתונים, הגדרות סבילות, מיזוג שדות, תוויות מותאמות אישית וסינון לניתוח מדויק וגמיש של קבצים.
- הסתרת שדות ספציפיים כשמבצעים השוואה בין קבצים. האפשרות הזו שימושית להסתרה של מידע אישי רגיש שלא צריכים להופיע בדוחות או במרכזי הבקרה כתוכן גלוי.
- הגדרת סף טעות להשוואה בין ערכים מספריים בשדות ספציפיים. האפשרות הזו שימושית כשמשווים מספרים עם נקודה עשרונית שמגיעים ממערכות שונות.
- התרה של טווח סובלנות בהשוואה של ערכי חותמת זמן בשדות ספציפיים. האפשרות הזו שימושית כשמשווים חותמות זמן שמגיעות ממערכות שונות.
- מיזוג של כמה שדות יחד עם מחרוזת אופציונלית לצירוף, והתייחסות אליהם כשדה יחיד במהלך ההשוואה.
- הגדרת תוויות מותאמות אישית לסיווג של משימות ההשוואה. תוויות הן זוגות של מפתח וערך שבהם אפשר להשתמש כדי לתייג את משימות ההשוואה, וכדי להבדיל ביניהן לפי יעדים עסקיים או פונקציונליים שונים.
- התעלמות מרווחים לבנים בתחילת הטקסט או בסופו בשדות ספציפיים.
- התעלמות מאותיות רישיות או קטנות במחרוזות.
- החלת מסננים כדי להתעלם מרשומות במהלך ההשוואה, כך שאפשר להחיל כמה מסננים בו-זמנית.
יצירת הגדרות אוטומטית
Dual Run מספק כלים אוטומטיים שיעזרו לכם להגדיר השוואת קבצים. הכלים האלה יוצרים את קובצי ההגדרות הנדרשים על סמך קובצי ה-copybook של המחשב המרכזי, או על סמך קובצי JSON ו-CSV לדוגמה שאתם מספקים.
תוצאות ההשוואה
כשמשווים בין שני קבצים, התכונה 'הפעלה כפולה' מחזירה שלוש תוצאות אפשריות:
- התאמה מלאה: הרשומה קיימת בשני הקבצים, ותוכן השדות תואם למגבלות שציינתם.
- התאמה חלקית: הרשומה מופיעה בשני הקבצים, אבל חלק מהשדות לא זהים. אפשר לבדוק את ההבדלים בפלט התוצאות.
- רשומה חסרה: הרשומה מופיעה רק בקבצים בפועל או בקבצים הצפויים.
אם יש אי התאמה בין הקבצים שהושוו, אפשר להגדיר את ההפעלה הכפולה כך שיוצגו כל הרשומות שהושוו בקבצים, ולא רק הרשומות שלא תואמות, כדי להקל על פתרון הבעיות.
ב-Dual Run יש תכונה שנקראת השוואות מושהות, שנועדה לטפל במצבים שבהם יכול להיות שנתונים חסרים באופן זמני. האפשרות הזו שימושית במיוחד להשוואות חוזרות, כמו אלה שמבוצעות על תמונות מצב יומיות של מסד נתונים. אם שדה מסוים לא מופיע באיטרציה אחת אבל מופיע באיטרציה הבאה, התכונה 'הפעלה כפולה' שומרת אותו ומשווה אותו מאוחר יותר, כדי לוודא שלא נוצרים הבדלים בנתונים. כך מתקבל תהליך השוואה חזק ומדויק יותר, במיוחד כשמדובר במערכי נתונים דינמיים.
קבצים שאפשר להשתמש בהם
הכלי Dual Run תומך בהשוואה בין הקבצים הבאים:
- קבצים רציפים של בלוקים קבועים ב-z/OS
- קובצי JSON של מערכים
- קובצי JSON Lines (JSONL)
- קובצי CSV
סוגי נתונים נתמכים ב-z/OS
הכלי Dual Run תומך בסוגי הנתונים הבאים של z/OS, גם ב-EBCDIC וגם ב-ASCII:
- COMP1
- COMP2
- PACKED_DECIMAL
- COMP4
- COMP5
- ZONED_DECIMAL
- ALPHANUMERIC
קבצי JSON נתמכים
הפעלת שני מסלולים תומכת בפורמטים הבאים של JSON:
- JSONL: בקובץ הזה, כל שורה מכילה אובייקט JSON יחיד. אין מעברי שורה באובייקט.
- מערך JSON: בקובץ הזה יש תמיכה בשני סוגים של קבצים:
- מערך JSON שבו כל המערך והרכיבים נמצאים בשורה אחת. אין בקובץ הזה שורות חדשות בכלל.
- מערך JSON עם תו שורה שמפריד בין הרכיבים במערך. כל אובייקט JSON יכול להכיל גם שורות חדשות.
קבצי CSV נתמכים
הפעלת שני מסלולים תומכת בקובצי CSV שתואמים לתקן RFC 4180. אתם יכולים להגדיר איך התכונה 'הפעלה כפולה' מנתחת את הקובץ, כולל תווי הפרדה, כותרות, תווי בריחה וריבוי שורות.