Streaming data dari instance ServiceNow

Menghubungkan instance ServiceNow ke Datastream memungkinkan Anda mereplikasi data historis dan perubahan inkremental untuk analisis dan integrasi data. ServiceNow adalah platform berbasis cloud yang membantu organisasi mengelola dan mengotomatiskan operasi perusahaan.

Sebelum menyiapkan sumber ServiceNow di Datastream, tinjau istilah utama, perilaku replikasi, versi yang didukung, objek yang direplikasi, dan batasan yang diketahui.

Istilah utama

ServiceNow beroperasi menggunakan tabel, data, dan kolom:

  • Instance ServiceNow adalah lingkungan cloud ServiceNow khusus yang terisolasi, misalnya, company.service-now.com.
  • Tabel adalah struktur data utama di ServiceNow, yang setara dengan tabel database.
  • Kumpulan data adalah entri individual dalam tabel, yang setara dengan baris dalam database.
  • Kolom adalah elemen data individual dalam data, yang setara dengan kolom database.
  • Konektor menggunakan Table API sebagai antarmuka RESTful utama untuk mengakses data langsung dari tabel ServiceNow.
  • Penomoran halaman berbasis offset adalah metode untuk menavigasi data dalam tabel ServiceNow dengan meneruskan nomor offset ke Table API. Metode ini sensitif terhadap penghapusan data selama penomoran halaman, yang dapat menyebabkan konektor melewati data.
  • Penomoran halaman berbasis keyset adalah metode yang digunakan konektor untuk mengelola penomoran halaman dengan melacak nilai kumpulan data unik, seperti ID atau stempel waktu, dan urutannya. Metode ini efektif meskipun ada penghapusan data selama penomoran halaman.

Perilaku

Dukungan sumber ServiceNow di Datastream mengandalkan ServiceNow REST Table API. Datastream mendukung dua metode replikasi utama untuk memastikan integritas dan performa data.

Pengisian ulang historis

  • Saat mereplikasi data perubahan dari instance ServiceNow, Datastream melakukan sinkronisasi historis penuh dari semua data yang ada dalam tabel.
  • Untuk memastikan konsistensi data dan mencegah hilangnya data selama ekstraksi besar, konektor menggunakan penomoran halaman berbasis keyset. Konektor mengelola proses ini dengan melacak nilai kumpulan data unik dan urutannya, yang membuat ekstraksi menjadi kuat terhadap penghapusan kumpulan data dan mencegah konektor melewati atau menduplikasi kumpulan data.
  • Datastream mengurutkan data berdasarkan properti data sys_updated_on dan sys_id untuk memberikan urutan yang stabil untuk pemuatan awal. Untuk tabel sys_journal_field, yang berisi kumpulan data yang tidak dapat diubah dan tidak memiliki kolom sys_updated_on, konektor mengurutkan berdasarkan properti sys_created_on dan sys_id.

Sinkronisasi inkremental

  • Saat mereplikasi data perubahan dari instance ServiceNow, Datastream menangkap perubahan, seperti penyisipan dan pembaruan, yang terjadi setelah pengisian ulang awal.
  • Sinkronisasi inkremental sisi server: konektor mengkueri ServiceNow API untuk data yang diubah sejak sinkronisasi terakhir yang berhasil menggunakan filter pada properti sys_updated_on dan sys_id (atau sys_created_on dan sys_id untuk tabel sys_journal_field).
  • Proses sinkronisasi menggunakan kursor gabungan yang terdiri dari penanda sys_updated_on (atau sys_created_on untuk tabel sys_journal_field) dan sys_id. Penanda sys_updated_on dan sys_created_on memastikan bahwa hanya data dengan stempel waktu yang sama dengan atau lebih baru dari waktu yang ditentukan yang disinkronkan dalam siklus berikutnya, sedangkan penanda sys_id memastikan konsistensi untuk data dengan stempel waktu yang sama.

Versi

Konektor ServiceNow berfungsi dengan Table API (V2) REST ServiceNow. Fungsi yang didukung Datastream divalidasi terhadap rilis Zurich.

Objek yang direplikasi

Konektor ServiceNow menggunakan mekanisme penemuan dinamis untuk mengidentifikasi seluruh kumpulan tabel (objek) dalam sebuah instance. Untuk memastikan bahwa Anda hanya mereplikasi data bisnis bernilai tinggi, konektor menerapkan proses pemfilteran berlapis untuk mengecualikan arsitektur internal, log teknis, dan tabel metadata sistem.

Logika pemfilteran

  • Akses layanan web: Anda hanya dapat mereplikasi tabel yang secara eksplisit dikonfigurasi dengan Akses Layanan Web diaktifkan (ws_access=true). Jika konfigurasi ini tidak ada, konektor tidak dapat mengambil data kumpulan data dari tabel.
  • Superclass yang dikecualikan: konektor mengecualikan tabel yang diwarisi dari tabel konfigurasi sistem sys_metadata atau merupakan bagian dari hierarki tabel yang dirotasi untuk mencegah replikasi metadata teknis atau snapshot yang tidak konsisten.
  • Awalan sistem internal: konektor memfilter tabel yang dimulai dengan awalan teknis tertentu yang mewakili plumbing platform atau fitur lama.
  • Daftar Emas (pengecualian sistem): meskipun konektor mengecualikan sebagian besar tabel sys_, konektor secara eksplisit mengizinkan entitas bisnis penting, seperti sys_user, sys_choice, dan sys_journal_field.

Awalan sistem difilter secara default

Kategori Awalan Deskripsi
Internal inti v_, ts_, imp_, ecc_, wf_, sh$, bin_, var_, gs_ Tabel virtual, indeks penelusuran, staging impor, antrean ECC, dan konteks alur kerja.
Analisis & AI pa_, ua_, ml_, ais_, promin_, di_ Skor Performance Analytics, telemetri vendor, vektor ML, dan profil penelusuran AI.
Modul teknis sa_, sla_, atf_, cxs_, automation_, ids_ Pola Service Mapping, log mesin SLA, dan jejak audit keamanan.
Lama & admin pf_, clone_, upgrade_, rollback_, expert_, dscy_ Histori patching instance, log upgrade, dan modul lama yang sudah tidak digunakan lagi.

Tabel sistem yang diizinkan

  • Pengguna & keamanan: sys_user, sys_user_group, sys_user_grmember, sys_user_role, sys_user_has_role.
  • Referensi inti: sys_choice (opsi drop-down), sys_company, sys_domain, sys_location.
  • Jejak audit: sys_journal_field (histori catatan dan komentar kerja).

Batasan umum

Batasan umum penggunaan ServiceNow sebagai sumber meliputi:

  • Datastream tidak mendukung pengambilan data yang dihapus.
  • Datastream mengecualikan banyak tabel platform internal secara default, misalnya, tabel yang diawali dengan ts_, v_, atau imp_.
  • Anda hanya dapat mereplikasi tabel yang Anda konfigurasi secara eksplisit dengan Web Services Access yang diaktifkan (ws_access=true). Ini adalah setelan default untuk sebagian besar tabel.
  • Konektor mereplikasi nilai kolom dengan cara yang muncul di instance database ServiceNow yang mendasarinya. Nilai ini disebut sebagai nilai aktual. Artinya, nilai sebenarnya yang direplikasi Datastream ke tujuan mungkin berbeda dari nilai yang ditampilkan di antarmuka pengguna ServiceNow (disebut sebagai nilai tampilan). Untuk mengetahui informasi selengkapnya, lihat basis pengetahuan ServiceNow.

Langkah berikutnya