בדף הזה מופיעה סקירה כללית של אמצעי הבקרה על בו-זמניות של זרמים, כמו המספר המקסימלי של משימות מקבילות של סימון נתונים שהשתנו (CDC) ומשימות של מילוי חוסרים (backfill). כדי לשלוט בביצועים של הזרם, אפשר להגדיל או להקטין את הערכים של הפרמטרים האלה.
סקירה כללית על אמצעי בקרה של בו-זמניות
באמצעות אמצעי הבקרה של הגישה בו-זמנית, אפשר להשיג מילוי חוזר מהיר יותר ו-CDC, או לאזן את העומס במסד הנתונים של המקור. אם אתם צריכים תפוקה גבוהה יותר, ויכולים להרשות לעצמכם עומס גבוה יותר על מסד הנתונים, אתם יכולים להגדיל את מספר המשימות המקבילות של CDC ומילוי חוסרים. לעומת זאת, אם העומס על מסד הנתונים גבוה ואתם רוצים להגן עליו מפני עומס יתר, אתם יכולים להקטין את הערכים של הפרמטרים האלה.
מספר המשימות המקסימלי של CDC
הפרמטר maxConcurrentCdcTasks מאפשר לכם לשלוט במספר משימות ה-CDC שמופעלות במקביל בזרם. כדי להגדיל את קצב העברת הנתונים של CDC, צריך להגדיל את הערך של הפרמטר הזה ולאפשר ל-Datastream לעבד יותר קובצי יומן של CDC בו-זמנית.
המאפיינים העיקריים של הפרמטר כוללים:
- ערך ברירת המחדל הוא
5. אפשר להגדיר את הפרמטר הזה לכל ערך בין1ל-50, כולל. - הפרמטר רלוונטי רק למקורות Oracle ו-MySQL.
- הפרמטר משפיע רק אם יש יותר קבצים של יומן מסד נתונים שזמינים לקריאה מאשר משימות CDC. ההגדרות של קובצי היומן נשלטות על ידי פרמטרי ההגדרה של מסד הנתונים המקורי: הגודל המקסימלי של קובץ היומן ומרווח הזמן המקסימלי של רוטציית היומן. מידע נוסף על הפרמטרים האלה זמין במאמרי העזרה של Oracle ו-MySQL.
- אם תקטינו את מספר משימות ה-CDC המקבילות, יכול להיות ש-Datastream יפגר אחרי יומני מסד הנתונים, מה שעלול להוביל בסופו של דבר לאובדן מיקום ביומן ולכשל בסטרימינג.
מספר מקסימלי של משימות למילוי חוסרים
הפרמטר maxConcurrentBackfillTasks מאפשר לכם לקבוע את מספר משימות המילוי החוזר ששידור יכול להריץ במקביל. כדי לשלוט בנפח התעבורה של המילוי החוזר, אפשר להגדיל או להקטין את הערך הזה.
המאפיינים העיקריים של הפרמטר כוללים:
- ערך ברירת המחדל הוא
15. אפשר להגדיר את הפרמטר הזה לכל ערך בין1ל-50, כולל. - יש סיכון גבוה בהגדלת מספר הבקשות המקבילות למילוי חוסרים, כי למשימות של מילוי חוסרים יש השפעה משמעותית על ביצועי מסד הנתונים.
כל משימת מילוי חוזר מריצה שאילתת
SELECTלא מסוננת בטבלה, ובטבלאות גדולות, שאילתות כאלה מחזירות מספר גדול של שורות. - אם מקטינים את הבו-זמניות של מילוי החוסרים, אין לכך השפעה שלילית על מסד הנתונים של המקור, מלבד העובדה שמילוי החוסרים יימשך זמן רב יותר.
שינוי הערכים של אמצעי הבקרה של הגישה בו-זמנית
אפשר לשנות את הערכים של פרמטרים של בקרת מקבילות באמצעות Datastream API.
- כדי ללמוד איך להגדיל או להקטין את מספר משימות ה-CDC המקבילות, אפשר לעיין במאמר שינוי המספר המקסימלי של משימות CDC מקבילות.
- כדי ללמוד איך להגדיל או להקטין את מספר המשימות המקבילות של מילוי חוסרים, אפשר לעיין במאמר בנושא שינוי מספר המשימות המקבילות המקסימלי של מילוי חוסרים.
המאמרים הבאים
- מידע נוסף על השימוש ב-Datastream API מופיע במאמר בנושא ניהול של מקורות נתונים.
- מידע נוסף על המשאב
Streamזמין במאמרי העזרה של Datastream API.