אמצעים לשליטה בשידור בו-זמני

אמצעי הבקרה על בו-זמניות ב-Datastream מאפשרים לכם לנהל את המספר המקסימלי של משימות מקבילות לסימון נתונים שהשתנו (CDC) ומשימות מילוי חוסרים שמופעלות בסטרימינג. אתם יכולים לשנות את הפרמטרים האלה ב-Datastream API כדי להגדיל את קצב העברת הנתונים של הרפליקציה או להגביל את העומס על מסד הנתונים של המקור.

סקירה כללית על בקרת בו-זמניות

באמצעות בקרת בו-זמניות, תוכלו להשיג מילוי חוסרים (backfill) ו-CDC מהירים יותר, או לאזן את העומס במסד הנתונים של המקור. אם אתם צריכים קצב העברת נתונים גבוה יותר, ואתם יכולים להרשות לעצמכם עומס גבוה יותר על מסד הנתונים, אתם יכולים להגדיל את מספר המשימות של CDC ומילוי חוסרים שפועלות בו-זמנית. לעומת זאת, אם יש עומס גבוה על מסד הנתונים ואתם רוצים להגן עליו מפני עומס יתר, אתם יכולים להקטין את הערכים של הפרמטרים האלה.

מספר מקסימלי של משימות CDC

הפרמטר maxConcurrentCdcTasks מאפשר לכם לקבוע את מספר משימות ה-CDC שמופעלות במקביל בסטרימינג. כדי להגדיל את קצב העברת הנתונים של ה-CDC, מגדילים את הערך של הפרמטר הזה ומאפשרים ל-Datastream לעבד יותר קובצי יומן של CDC בו-זמנית.

המאפיינים העיקריים של הפרמטר כוללים:

  • ערך ברירת המחדל הוא 5. אפשר להגדיר את הפרמטר הזה לכל ערך בין 1 ל-50, כולל.
  • הפרמטר רלוונטי רק למקורות של Oracle ו-MySQL.
  • הפרמטר משפיע רק אם יש יותר קובצי יומן של מסד נתונים שזמינים לקריאה מאשר משימות CDC. ההגדרות של קובצי היומן נקבעות לפי הפרמטרים של הגדרת מסד הנתונים של המקור: הגודל המקסימלי של קובץ היומן ומרווח הזמן המקסימלי להחלפת יומנים. למידע נוסף על הפרמטרים האלה, אפשר לעיין במסמכי התיעוד של Oracle ו-MySQL.
  • אם תקטינו את מספר משימות ה-CDC שפועלות בו-זמנית, יכול להיות ש-Datastream יפגר אחרי יומני מסד הנתונים, מה שעלול להוביל בסופו של דבר לאובדן המיקום ביומן ולכשל בסטרימינג.

המספר המקסימלי של משימות מילוי חוסרים

הפרמטר maxConcurrentBackfillTasks מאפשר לכם לקבוע את מספר המשימות למילוי חוסרים שסטרימינג יכול להריץ במקביל. אפשר להגדיל או להקטין את הערך הזה כדי לשלוט בקצב המילוי החוזר.

המאפיינים העיקריים של הפרמטר כוללים:

  • ערך ברירת המחדל הוא 15. אפשר להגדיר את הפרמטר הזה לכל ערך בין 1 ל-50, כולל.
  • יש סיכון גבוה בהגדלת מספר המשימות למילוי חוסרים שפועלות בו-זמנית, כי למשימות האלה יש השפעה משמעותית על ביצועי מסד הנתונים. כל משימת מילוי חוסרים מריצה שאילתת SELECT לא מסוננת בטבלה, ובטבלאות גדולות שאילתות כאלה מחזירות מספר גדול של שורות.
  • אם תקטינו את מספר המשימות במקביל למילוי החוסרים, לא תהיה לכך השפעה שלילית על מסד הנתונים של המקור, חוץ מכך שהמילוי יימשך יותר זמן.

שינוי הערכים של בקרת בו-זמניות

אפשר לשנות את הערכים של הפרמטרים של בקרת בו-זמניות באמצעות Datastream API.

המאמרים הבאים