מנגנון בקרה על זרימת נתונים ב-Cloud Data Fusion מונע שליחה של יותר מדי בקשות, מה שעלול לגרום להפעלות של פייפליינים להיתקע או להיכשל. המנגנון הזה חל על בקשות התחלה (Launch) של צינורות ומשימות מהסוגים הבאים בכל המהדורות של Cloud Data Fusion, גרסה 6.6 ואילך:
- צינורות עיבוד נתונים של אצווה
- צינורות עיבוד נתונים בזמן אמת
- משימות שכפול
ספים
כדי לשלוט במספר בקשות ההתחלה הפתוחות ב-Cloud Data Fusion, בקרה על זרימת נתונים מסתמכת על שני ספי ערכים:
- סף ההשקה
- מגביל את מספר הבקשות להפעלה. אם מספר הבקשות להפעלה שמתקבלות על ידי Cloud Data Fusion ושעדיין לא נמצאות במצב
Runningגדול מסף ההפעלה (מספר הבקשות להפעלה שעדיין לא פועלות > סף ההפעלה), הבקשה נדחית. המספר כולל צינורות באצווה, צינורות בזמן אמת ועבודות שכפול. - סף ההפעלה
- מגביל את מספר בקשות ההפעלה הממתינות במערכת. אם מספר הבקשות להפעלת צינורות שמתקבלות ב-Cloud Data Fusion ושעדיין לא הסתיימו גדול מסף ההפעלות שצוין (מספר הבקשות בהמתנה שעדיין לא הסתיימו > סף ההפעלות), הבקשה נדחית.
בקשות שנדחו
אם אחד מהערכים האלה יושג, כל בקשה חדשה להפעלה תידחה. לדוגמה, אם צינור להעברת נתונים של אצווה נדחה, הסטטוס שלו ביומנים יהיה Rejected, ובממשק המשתמש יופיע חלון דו-שיח עם הסבר לדחייה.
מדדים
אפשר לגשת למספר הצינורות שמופעלים ופועלים, ולמספר הצינורות שנדחו במערכת, דרך שירות המדדים באופן הבא.
מדד Launching
מספר הבקשות להפעלה במערכת. כלומר, הוא מדווח על מספר בקשות ההפעלה שנמצאות במצב Provisioning או במצב Starting.
שם המדד: flowcontrol.launching.count
POST /v3/metrics/query?metric=system.flowcontrol.launching.count
מדד Running
הפונקציה מדווחת על מספר הצינורות והמשימות שפועלים במערכת. סף ההפעלה מבוסס על סכום ערכי המדדים Launching ו-Running.
שם המדד: flowcontrol.running.count
POST /v3/metrics/query?metric=system.flowcontrol.running.count
Rejected מדד
מדווח על מספר ההרצות שנדחו בגלל מנגנון בקרה על זרימת נתונים.
שם המדד: program.rejected.runs
POST /v3/metrics/query?metric=system.program.rejected.runs
המאמרים הבאים
- דוגמאות להוספת תגים ולצבירת המדד
Rejectedעבור צינורות שונים זמינות במאמר CDAP Metrics Microservices.