במדריך הזה מוסבר איך להפעיל את האפשרות לאיסוף נתוני מעקב של מוני ביצועים ב-Mainframe Connector.
סקירה כללית
המונים של הביצועים מתעדים מדדי ביצוע ברזולוציה גבוהה ונתוני מצב ברמת השרשור במהלך פעולות של Mainframe Connector, כמו קידוד מחדש של מערכי נתונים, העלאות ל-Cloud Storage וטעינת נתונים ב-BigQuery. אפשר להשתמש במעקב אחר מונה כדי לאבחן צווארי בקבוק בביצועים, לחץ חוזר בזיכרון או בתור, חסימת שרשור, מגבלות של רשת או קלט/פלט ושימוש במשאבי מערכת של מחשב מרכזי.
מדדים מרכזיים שנאספים
עקבות של מוני ביצועים כוללים דגימות בתדירות גבוהה של מדדים פנימיים, כמו:
- מעקב אחרי מצב העובד: הזמן שחלף במצבים
active,queue_blocked,io_blocked,compressingו-hashing. - קלט/פלט וקצב העברת נתונים: קריאה וכתיבה של בייטים, קצב העברת נתונים וקצב טרנסקוד של מקטעים.
- דינמיקה של התור: גודלי מאגרים ותורים של עובדים בשלבים של צינור הביצוע.
- מדדים של המערכת: תזמונים של פעולות ברמה נמוכה שמתואמים לחותמות זמן ברמת דיוק של ננו-שנייה.
במעקב אחר מוני ביצועים נאספים רק מטא-נתונים של ביצועים ונתונים סטטיסטיים של תזמון. הם לא אוספים את התוכן של מערך הנתונים, רשומות של לקוחות או פרטים אישיים מזהים (PII).
הפעלת מוני ביצועים
המונים של ביצועים מושבתים כברירת מחדל. כדי להפעיל אותם, צריך להגדיר את משתנה הסביבה MFC_PERF_FILE לנתיב הפלט הרצוי לפני שמריצים משימות של Mainframe Connector.
סביבות מעטפת
כדי להפעיל את מוני הביצועים בסביבת מעטפת בתוך Linux או z/OS UNIX System Services, צריך לייצא את MFC_PERF_FILE לפני שמפעילים את Mainframe Connector:
export MFC_PERF_FILE="/tmp/mfc_perf.perf"
copy binary file:/path/to/file gs://bucket/path/to/object
כדי להשבית את האיסוף של מוני ביצועים, צריך לבטל את ההגדרה של משתנה הסביבה:
unset MFC_PERF_FILE
סביבת JCL של מחשב מרכזי
כדי להפעיל את מוני הביצועים למשימת JCL שמופעלת על ידי Mainframe Connector, צריך להגדיר את MFC_PERF_FILE בהליך של Mainframe Connector או בהליך של המשימה PARM.
כשמספקים PARM משלכם, צריך תמיד לשמור גם על ברירת המחדל PARM (/I+ com.google.bqsh.Bqsh).
בדוגמה הבאה אפשר לראות איך מפעילים את מוני הביצועים למשימת JCL:
//STEP01 EXEC BQSH,PARMDD=MFCPERF
//INFILE DD DSN=HLQ.DATA.FILENAME,DISP=SHR
//COPYBOOK DD DSN=HLQ.COPYBOOK.FILENAME,DISP=SHR
//MFCPERF DD *
ENVAR("MFC_PERF_FILE=/tmp/mfc_perf.perf")/I+
com.google.bqsh.Bqsh
/*
//STDIN DD *
BUCKET=my-target-bucket-1234
gsutil cp --replace gs://$BUCKET/tablename.orc
/*
הגדרת מוני ביצועים
אפשר להגדיר את תדירות הדגימה ואת הגודל המקסימלי של קובצי היומן של מוני הביצועים באמצעות משתני הסביבה הבאים:
| משתנה הסביבה | תיאור | ערך ברירת המחדל |
|---|---|---|
MFC_PERF_FILE |
הנתיב שבו ייכתבו מדדי מונה הביצועים. אם המדיניות לא מוגדרת או ריקה, איסוף נתוני מדדי הביצועים מושבת. | מושבת |
MFC_PREF_COLLECTION_INTERVAL_MS |
תדירות הדגימה באלפיות השנייה. ההגדרה הזו קובעת באיזו תדירות המדדים נמחקים מקובץ הפלט. | 100 (0.1 שניות) |
MFC_MAX_PERF_MAX_FILE_SIZE_BYTES |
מגבלת הגודל המקסימלית של קובץ הפלט בבייטים. כשהמגבלה הזו מושגת, הכתיבה נפסקת אוטומטית כדי למנוע מילוי של נפח האחסון בדיסק. | 67108864 (64 MiB) |
שליחת קבצים של מונה לצוות התמיכה של Google לצורך ניתוח
קובץ הפלט שנוצר על ידי התכונה 'מוני ביצועים' (לדוגמה, /tmp/mfc_performance.perf) מעוצב כמערך נתונים בינארי שמכיל סכימות של מדדים מובְנים ורשומות מדידה. הוא לא טקסט פשוט שניתן לקריאה על ידי בני אדם, ואי אפשר להעריך אותו ישירות באמצעות כלי צפייה ביומנים רגילים.
כדי לפענח את המעברים בין המצבים ואת הגרפים של עומק התור, צריך להשתמש בכלים פנימיים של Google לניתוח ובהמחשות חזותיות מיוחדות של מדדים. כדי לנתח את נתוני הביצועים, שולחים את הקובץ שנוצר אל Google Cloud התמיכה או אל מנהל החשבון הטכני.
כשפותחים בקשת תמיכה בנוגע לבעיות בביצועים, לתפוקת קידוד איטית או למשך עבודה לא צפוי, צריך לפעול לפי השלבים הבאים:
- מגדירים את
MFC_PERF_FILEלנתיב תקין (לדוגמה,/tmp/mfc_perf.perf). - משחזרים את הבעיה על ידי הפעלת ביצוע המשימה במסגרת ניטור הביצועים.
- אחזור של קובץ
.perfשנוצר מהנתיב שצוין. - מצרפים את הקובץ
.perfיחד עם יומני העבודה לGoogle Cloud פנייה לתמיכה כדי שמהנדסי Google יוכלו לבדוק אותו.