ServiceNow インスタンスからデータをストリーミングする

ServiceNow インスタンスを Datastream に接続すると、分析とデータ統合のために過去のデータと増分変更を複製できます。ServiceNow は、組織がエンタープライズ オペレーションを管理、自動化するのに役立つクラウドベースのプラットフォームです。

Datastream で ServiceNow ソースを設定する前に、主な用語、レプリケーションの動作、サポートされているバージョン、レプリケートされたオブジェクト、既知の制限事項を確認してください。

主な用語

ServiceNow は、テーブル、レコード、フィールドを使用して動作します。

  • ServiceNow インスタンスは、専用の分離された ServiceNow クラウド環境です(例: company.service-now.com)。
  • テーブルは、ServiceNow のプライマリ データ構造であり、データベース テーブルと同等です。
  • レコードは、テーブル内の個々のエントリで、データベースの行に相当します。
  • フィールドは、レコード内の個々のデータ要素であり、データベースの列に相当します。
  • このコネクタは、ServiceNow テーブルから直接データにアクセスするための主要な RESTful インターフェースとして Table API を使用します。
  • オフセットベースのページネーションは、オフセット番号を Table API に渡して ServiceNow テーブル内のレコードを移動する方法です。このメソッドは、ページネーション中のレコードの削除に敏感であり、コネクタがデータをスキップする可能性があります。
  • キーセットベースのページネーションは、コネクタが識別子やタイムスタンプなどの一意のレコード値とその順序を追跡してページネーションを管理する方法です。この方法は、ページネーション中にレコードが削除された場合でも有効です。

動作

Datastream の ServiceNow ソースのサポートは、ServiceNow REST Table API に依存しています。Datastream は、データの完全性とパフォーマンスを確保するために、2 つの主要なレプリケーション方法をサポートしています。

履歴のバックフィル

  • ServiceNow インスタンスから変更データをレプリケートする場合、Datastream はテーブル内のすべての既存レコードの完全な履歴同期を実行します。
  • 大規模な抽出中にデータの整合性を確保し、レコードの損失を防ぐため、コネクタはキーセットベースのページネーションを使用します。コネクタは、一意のレコード値とその順序を追跡することでこのプロセスを管理します。これにより、レコードの削除に対して抽出が堅牢になり、コネクタがレコードをスキップしたり重複したりすることを防ぎます。
  • Datastream は、sys_updated_on レコード プロパティと sys_id レコード プロパティでデータを並べ替えて、初期読み込みの安定した順序を提供します。sys_journal_field テーブルには不変のレコードが含まれており、sys_updated_on フィールドがないため、コネクタは sys_created_on プロパティと sys_id プロパティで並べ替えます。

増分同期

  • ServiceNow インスタンスから変更データを複製する場合、Datastream は、最初のバックフィル後に発生した変更(挿入や更新など)をキャプチャします。
  • サーバー側の増分同期: コネクタは、sys_updated_on プロパティと sys_id プロパティ(または sys_journal_field テーブルの sys_created_on と sys_id)のフィルタを使用して、前回の同期が成功した後に変更されたレコードを ServiceNow API にクエリします。
  • 同期プロセスでは、sys_updated_on(または sys_journal_field テーブルの sys_created_on)と sys_id マーカーで構成される複合カーソルが使用されます。sys_updated_on マーカーと sys_created_on マーカーは、指定された時刻以降のタイムスタンプを持つレコードのみが次のサイクルで同期されるようにします。sys_id マーカーは、タイムスタンプが同じレコードの整合性を確保します。

バージョン

ServiceNow コネクタは、ServiceNow REST Table API(V2)と連携します。Datastream がサポートする機能は、Zurich リリースに対して検証されています。

レプリケートされたオブジェクト

ServiceNow コネクタは、動的検出メカニズムを使用して、インスタンス内のテーブル(オブジェクト)のセット全体を識別します。価値の高いビジネスデータのみを複製するため、コネクタは多層フィルタリング プロセスを適用して、内部アーキテクチャ、技術ログ、システム メタデータ テーブルを除外します。

フィルタリング ロジック

  • ウェブサービス アクセス: ウェブサービス アクセスを有効にして明示的に構成したテーブルのみを複製できます(ws_access=true)。この構成がない場合、コネクタはテーブルからレコードデータを取得できません。
  • 除外されたスーパークラス: コネクタは、sys_metadata システム構成テーブルから継承されたテーブル、またはローテーションされたテーブル階層の一部であるテーブルを除外して、技術メタデータや不整合なスナップショットの複製を防ぎます。
  • 内部システム接頭辞: コネクタは、プラットフォームの配管やレガシー機能を表す特定の技術的な接頭辞で始まるテーブルを除外します。
  • ゴールデン リスト(システム例外): コネクタはほとんどの sys_ テーブルを除外しますが、sys_user、sys_choice、sys_journal_field などの重要なビジネス エンティティを明示的に許可リストに登録します。

デフォルトでフィルタされるシステム プレフィックス

カテゴリ 接頭辞 説明
コアの内部 v_、ts_、imp_、ecc_、wf_、sh$、bin_、var_、gs_ 仮想テーブル、検索インデックス、インポート ステージング、ECC キュー、ワークフロー コンテキスト。
分析と AI pa_、ua_、ml_、ais_、promin_、di_ パフォーマンス分析スコア、ベンダーのテレメトリー、ML ベクトル、AI 検索プロファイル。
技術モジュール sa_、sla_、atf_、cxs_、automation_、ids_ サービス マッピング パターン、SLA エンジンログ、セキュリティ監査証跡。
以前のバージョンと管理 pf_、clone_、upgrade_、rollback_、expert_、dscy_ インスタンスのパッチ適用履歴、アップグレード ログ、廃止された以前のモジュール。

許可されたシステム テーブル

  • ユーザーとセキュリティ: sys_user、sys_user_group、sys_user_grmember、sys_user_role、sys_user_has_role
  • コア リファレンス: sys_choice(プルダウン オプション)、sys_company、sys_domain、sys_location。
  • 監査証跡: sys_journal_field(作業メモとコメントの履歴)。

既知の制限事項

ServiceNow をソースとして使用する場合の既知の制限事項は次のとおりです。

  • Datastream は、削除されたレコードのキャプチャをサポートしていません。
  • Datastream は、デフォルトで多くの内部プラットフォーム テーブルを除外します。たとえば、ts_、v_、imp_ で始まるテーブルです。
  • 複製できるのは、ウェブサービス アクセスを有効にして明示的に構成したテーブル(ws_access=true)のみです。これは、ほとんどのテーブルのデフォルトです。
  • コネクタは、基盤となる ServiceNow データベース インスタンスに表示される方法でフィールド値を複製します。これらの値は実際の値と呼ばれます。つまり、Datastream が宛先に複製する実際の値は、ServiceNow ユーザー インターフェースに表示される値(表示値)とは異なる場合があります。詳細については、ServiceNow ナレッジベースをご覧ください。

次のステップ