從 ServiceNow 執行個體串流資料

Datastream 支援從 ServiceNow 執行個體複製變更事件。ServiceNow 是企業營運專用的雲端平台,您可以從中複製資料,就像從 Datastream 支援的其他來源複製資料一樣。

本頁面提供以下資訊:

  • 從 ServiceNow 複製資料時,您需要瞭解的重要用語。
  • Datastream 從 ServiceNow 執行個體擷取資料時的處理方式。
  • Datastream 支援的 ServiceNow 版本。
  • 使用 ServiceNow 做為來源時的已知限制。

重要詞彙

ServiceNow 透過資料表、記錄和欄位運作:

  • ServiceNow 執行個體是專屬的獨立 ServiceNow 雲端環境,例如 company.service-now.com
  • 資料表是 ServiceNow 中的主要資料結構,相當於資料庫資料表。
  • 記錄是資料表中的個別項目,相當於資料庫中的資料列。
  • 欄位是記錄中的個別資料元素,相當於資料庫資料欄。
  • 連接器會使用 Table API 做為主要的 RESTful 介面,直接從 ServiceNow 資料表存取資料。
  • 以偏移量為準的分頁是一種方法,可將偏移量數字傳遞至 Table API,在 ServiceNow 表格中瀏覽記錄。這個方法對分頁期間的記錄刪除作業很敏感,可能會導致連接器略過資料。
  • 以鍵集為準的分頁方法:連接器會追蹤專屬記錄值 (例如 ID 或時間戳記) 及其順序,藉此管理分頁。即使在分頁期間刪除記錄,這個方法仍有效。

行為

Datastream 中的 ServiceNow 來源支援功能,是依據 ServiceNow REST Table API 而來。Datastream 支援兩種主要複製方法,可確保資料完整性和效能。

歷來資料補充作業

  • 從 ServiceNow 執行個體複製異動資料時,Datastream 會完整同步處理資料表中的所有現有記錄。
  • 為確保資料一致性,並避免在大量擷取資料時遺失記錄,連接器會使用以鍵集為準的分頁。連接器會追蹤不重複的記錄值及其順序,藉此管理這項程序,確保擷取作業不會因記錄刪除而中斷,並防止連接器略過或重複記錄。
  • Datastream 會依據 sys_updated_onsys_id 記錄屬性排序資料,確保初始載入作業的順序穩定。對於包含不可變更記錄且缺少 sys_updated_on 欄位的 sys_journal_field 資料表,連接器會依 sys_created_onsys_id 屬性排序。

遞增同步

  • 從 ServiceNow 執行個體複製變更資料時,Datastream 會擷取初始回填後發生的變更,例如插入和更新。
  • 伺服器端遞增同步:連接器會使用 sys_updated_onsys_id 屬性 (或 sys_journal_field 表格的 sys_created_onsys_id) 的篩選器,查詢 ServiceNow API 中自上次成功同步後修改的記錄。
  • 同步程序會使用複合游標,其中包含 sys_updated_on (或 sys_journal_field 資料表的 sys_created_on) 和 sys_id 標記。sys_updated_onsys_created_on 標記可確保在下一個週期中,只有時間戳記等於或晚於指定時間的記錄會同步處理,而 sys_id 標記則可確保時間戳記相同的記錄保持一致。

版本

ServiceNow 連接器可搭配 ServiceNow REST Table API (V2) 使用。Datastream 支援的功能會根據「Zurich」版本進行驗證。

複製的物件

ServiceNow 連接器會使用動態探索機制,識別執行個體中的整組資料表 (物件)。為確保只複製高價值的業務資料,連接器會套用多層篩選程序,排除內部架構、技術記錄和系統中繼資料表。

篩選邏輯

  • Web 服務存取權:您只能複製明確設定並啟用 Web 服務存取權 (ws_access=true) 的表格。如果缺少這項設定,連接器就無法從表格擷取記錄資料。
  • 排除的超類別:連接器會排除從 sys_metadata 系統設定資料表繼承的資料表,或屬於輪替資料表階層的資料表,以防止複製技術中繼資料或不一致的快照。
  • 內部系統前置字元:連接器會篩除以特定技術前置字元開頭的資料表,這些前置字元代表平台管道或舊版功能。
  • 黃金清單 (系統例外狀況):雖然連接器會排除大多數 sys_ 資料表,但會明確允許重要業務實體,例如 sys_usersys_choicesys_journal_field

系統前置碼預設會經過篩選

類別 前置字串 說明
核心內部 v_ts_imp_ecc_wf_sh$bin_var_gs_ 虛擬資料表、搜尋索引、匯入暫存、ECC 佇列和工作流程環境。
數據分析與 AI pa_ua_ml_ais_promin_di_ 效能分析分數、供應商遙測、機器學習向量和 AI 搜尋設定檔。
技術模組 sa_sla_atf_cxs_automation_ids_ 服務對應模式、服務等級協議引擎記錄和安全稽核追蹤記錄。
舊版和管理員 pf_clone_upgrade_rollback_expert_dscy_ 執行個體修補記錄、升級記錄和過時的舊版模組。

允許的系統資料表

  • 使用者與安全性sys_usersys_user_groupsys_user_grmembersys_user_rolesys_user_has_role
  • 核心參考資料sys_choice (下拉式選項)、sys_companysys_domainsys_location
  • 稽核追蹤記錄sys_journal_field (工作附註和註解記錄)。

已知限制

使用 ServiceNow 做為來源時,已知限制包括:

  • Datastream 不支援擷取已刪除的記錄。
  • Datastream 預設會排除許多內部平台資料表,例如以 ts_v_imp_ 開頭的資料表。
  • 您只能複製明確設定為啟用 Web 服務存取權 (ws_access=true) 的資料表。大多數資料表預設會啟用這項設定。
  • 連接器會複製欄位值,並以這些值在基礎 ServiceNow 資料庫例項中的顯示方式呈現。這些值稱為「實際值」。也就是說,Datastream 複製到目的地的實際值,可能與 ServiceNow 使用者介面中顯示的值 (稱為「顯示值」) 不同。詳情請參閱 ServiceNow 知識庫

後續步驟