הזרמת נתונים ממופעי ServiceNow

‫Datastream תומך בשכפול של אירועי שינוי ממופע של ServiceNow. ‫ServiceNow היא פלטפורמה מבוססת-ענן לפעולות ארגוניות, ואפשר לשכפל ממנה נתונים בדיוק כמו ממקורות אחרים שנתמכים ב-Datastream.

בדף הזה מופיע מידע על:

  • המונחים העיקריים שחשוב להבין כשמשכפלים מ-ServiceNow.
  • התנהגות של Datastream לגבי נתונים שהוא שולף ממופע של ServiceNow.
  • הגרסאות של ServiceNow שנתמכות על ידי Datastream.
  • מגבלות ידועות על השימוש ב-ServiceNow כמקור.

מונחי מפתח

מערכת ServiceNow פועלת באמצעות טבלאות, רשומות ושדות:

  • מופע של ServiceNow הוא סביבת ענן ייעודית ומבודדת של ServiceNow, לדוגמה, company.service-now.com.
  • טבלה היא מבנה נתונים ראשי ב-ServiceNow, ששווה לטבלת מסד נתונים.
  • רשומה היא רשומה בודדת בטבלה, ששווה לשורה במסד נתונים.
  • שדה הוא רכיב נתונים בודד ברשומה, ששווה לעמודה במסד נתונים.
  • המחבר משתמש ב-Table API כממשק ה-RESTful הראשי כדי לגשת לנתונים ישירות מטבלאות ServiceNow.
  • חלוקה לעמודים לפי היסט היא שיטה לניווט בין רשומות בטבלה של ServiceNow על ידי העברת מספר היסט ל-Table API. השיטה הזו רגישה למחיקות של רשומות במהלך חלוקה לעמודים, ולכן יכול להיות שהמחבר ידלג על נתונים.
  • חלוקה לדפים שמבוססת על קבוצת מפתחות היא שיטה שבה המחבר מנהל את החלוקה לדפים על ידי מעקב אחרי ערכים ייחודיים של רשומות, כמו מזהים או חותמות זמן, והסדר שלהם. השיטה הזו יעילה גם אם יש מחיקות של רשומות במהלך החלוקה לעמודים.

התנהגות

התמיכה במקור ServiceNow ב-Datastream מסתמכת על ServiceNow REST Table API. ב-Datastream יש תמיכה בשתי שיטות שכפול עיקריות כדי להבטיח את תקינות הנתונים ואת הביצועים.

מילוי חוסרים היסטורי

  • כשמשכפלים נתוני שינוי ממופע של ServiceNow, ‏ Datastream מבצע סנכרון היסטורי מלא של כל הרשומות הקיימות בטבלה.
  • כדי להבטיח עקביות בנתונים ולמנוע אובדן רשומות במהלך חילוץ נתונים בכמות גדולה, המחבר משתמש בהחלפת דפים שמבוססת על קבוצת מפתחות. המחבר מנהל את התהליך הזה על ידי מעקב אחרי ערכים ייחודיים של רשומות והסדר שלהן, מה שהופך את החילוץ לחזק בפני מחיקות של רשומות ומונע מהמחבר לדלג על רשומות או לשכפל אותן.
  • כדי לספק סדר יציב לטעינה הראשונית, Datastream ממיין את הנתונים לפי מאפייני הרשומה sys_updated_on ו-sys_id. בטבלה sys_journal_field, שמכילה רשומות שלא ניתן לשנות וחסר בה השדה sys_updated_on, המחבר ממיין לפי המאפיינים sys_created_on ו-sys_id.

סנכרון מצטבר

  • כשמשכפלים נתונים שהשתנו ממופע של ServiceNow,‏ Datastream מתעד שינויים כמו הוספות ועדכונים שמתרחשים אחרי המילוי הראשוני.
  • סנכרון מצטבר בצד השרת: המחבר שולח שאילתה אל ServiceNow API כדי לאתר רשומות ששונו מאז הסנכרון האחרון שהושלם בהצלחה, באמצעות מסנן במאפיינים sys_updated_on ו-sys_id (או sys_created_on ו-sys_id בטבלה sys_journal_field).
  • תהליך הסנכרון משתמש בסמן מורכב שכולל את ‫sys_updated_on (או sys_created_on עבור הטבלה sys_journal_field) וסמני ‫sys_id. הסמנים sys_updated_on ו-sys_created_on מבטיחים שרק רשומות עם חותמת זמן ששווה לזמן שצוין או מאוחרת ממנו יסונכרנו במחזור הבא, והסמן sys_id מבטיח עקביות ברשומות עם חותמות זמן שוות.

גרסאות

המחבר של ServiceNow פועל עם Table API (גרסה 2) של ServiceNow REST. הפונקציונליות שנתמכת ב-Datastream מאומתת מול הגרסה Zurich.

אובייקטים ששוכפלו

מחבר ServiceNow משתמש במנגנון גילוי דינמי כדי לזהות את כל קבוצת הטבלאות (אובייקטים) במופע. כדי להבטיח שמשכפלים רק נתונים עסקיים בעלי ערך גבוה, המחבר מבצע תהליך סינון רב-שכבתי כדי להחריג ארכיטקטורה פנימית, יומנים טכניים וטבלאות מטא-נתונים של המערכת.

לוגיקת סינון

  • גישה לשירותי אינטרנט: אפשר לשכפל רק טבלאות שהוגדרה בהן במפורש גישה לשירותי אינטרנט (ws_access=true). אם ההגדרה הזו חסרה, המחבר לא יכול לאחזר נתוני רשומות מהטבלה.
  • סופר-קלאסים שמוחרגים: המחבר מחריג טבלאות שמוגדרות בירושה מטבלת ההגדרות של מערכת sys_metadata או שהן חלק מהיררכיה של טבלאות מסובבות, כדי למנוע שכפול של מטא-נתונים טכניים או של תמונות מצב לא עקביות.
  • קידומת של מערכת פנימית: המחבר מסנן טבלאות שמתחילות בקידומות טכניות ספציפיות שמייצגות את התשתית של הפלטפורמה או תכונות מדור קודם.
  • רשימת הזהב (החרגות מהמערכת): המחבר מחריג את רוב הטבלאות sys_, אבל הוא מאפשר באופן מפורש להוסיף לרשימת ההיתרים ישויות עסקיות קריטיות, כמו sys_user, sys_choice ו-sys_journal_field.

קידומות מערכת שמסוננות כברירת מחדל

קטגוריה קידומות תיאור
רכיבי ליבה פנימיים v_, ts_, imp_, ecc_, wf_, sh$, bin_, var_, gs_ טבלאות וירטואליות, אינדקסים של חיפוש, הכנה לייבוא, תורים של ECC והקשרים של תהליכי עבודה.
Analytics & AI pa_, ua_, ml_, ais_, promin_, di_ ציונים של ניתוח ביצועים, טלמטריה של ספקים, וקטורים של ML ופרופילים של חיפוש מבוסס-AI.
מודולים טכניים sa_, sla_, atf_, cxs_, automation_, ids_ דפוסי מיפוי שירותים, יומנים של מנוע SLA ויומני ביקורת אבטחה.
Legacy & admin pf_, clone_, upgrade_, rollback_, expert_, dscy_ היסטוריית תיקוני האבטחה של המופע, יומני השדרוג ומודולים מדור קודם שיצאו משימוש.

טבלאות מערכת מותרות

  • משתמשים ואבטחה: sys_user, sys_user_group, sys_user_grmember, sys_user_role, sys_user_has_role.
  • מידע נוסף: sys_choice (אפשרויות בתפריט הנפתח), sys_company,‏ sys_domain, ‏ sys_location.
  • נתיבי ביקורת: sys_journal_field (היסטוריית הערות ותגובות).

מגבלות ידועות

המגבלות הידועות על השימוש ב-ServiceNow כמקור כוללות:

  • ‫Datastream לא תומך בתיעוד של רשומות שנמחקו.
  • כברירת מחדל, Datastream לא כולל הרבה טבלאות פנימיות של פלטפורמות, למשל טבלאות שמתחילות ב-ts_,‏ v_ או imp_.
  • אפשר לשכפל רק טבלאות שהגדרתם במפורש עם גישה לשירותי אינטרנט (ws_access=true). זוהי הגדרת ברירת המחדל ברוב הטבלאות.
  • המחבר משכפל את ערכי השדות באופן שבו הם מופיעים במופע של מסד הנתונים הבסיסי של ServiceNow. הערכים האלה נקראים ערכים בפועל. המשמעות היא שהערכים בפועל ש-Datastream משכפל ליעד עשויים להיות שונים מהערכים שמוצגים בממשק המשתמש של ServiceNow (שנקראים ערכי תצוגה). מידע נוסף זמין במאגר הידע של ServiceNow.

המאמרים הבאים