Streaming data dari instance ServiceNow

Datastream mendukung replikasi peristiwa perubahan dari instance ServiceNow. ServiceNow adalah platform berbasis cloud untuk operasi perusahaan, dan Anda dapat mereplikasi data dari platform tersebut seperti yang Anda lakukan dari sumber lain yang didukung Datastream.

Halaman ini berisi informasi tentang:

  • Istilah utama yang perlu Anda pahami saat mereplikasi dari ServiceNow.
  • Perilaku cara Datastream menangani data yang diambil dari instance ServiceNow.
  • Versi ServiceNow yang didukung Datastream.
  • Batasan yang diketahui untuk menggunakan ServiceNow sebagai sumber.

Istilah utama

ServiceNow beroperasi menggunakan tabel, data, dan kolom:

  • Instance ServiceNow adalah lingkungan cloud ServiceNow khusus dan terisolasi, misalnya, company.service-now.com.
  • Tabel adalah struktur data utama di ServiceNow, yang setara dengan tabel database.
  • Data adalah entri individual dalam tabel, yang setara dengan baris dalam database.
  • Kolom adalah elemen data individual dalam data, yang setara dengan kolom database.
  • Konektor menggunakan Table API sebagai antarmuka RESTful utama untuk mengakses data langsung dari tabel ServiceNow.
  • Pagination berbasis offset adalah metode untuk menavigasi data dalam tabel ServiceNow dengan meneruskan nomor offset ke Table API. Metode ini sensitif terhadap penghapusan data selama pagination, yang dapat menyebabkan konektor melewati data.
  • Pagination berbasis keyset adalah metode saat konektor mengelola pagination dengan melacak nilai data unik, seperti ID atau stempel waktu, dan urutannya. Metode ini efektif meskipun ada penghapusan data selama pagination.

Perilaku

Dukungan sumber ServiceNow di Datastream mengandalkan ServiceNow REST Table API. Datastream mendukung dua metode replikasi utama untuk memastikan integritas dan performa data.

Pengisian ulang historis

  • Saat mereplikasi data perubahan dari instance ServiceNow, Datastream melakukan sinkronisasi historis penuh dari semua data yang ada dalam tabel.
  • Untuk memastikan konsistensi data dan mencegah kehilangan data selama ekstraksi besar, konektor menggunakan pagination berbasis keyset. Konektor mengelola proses ini dengan melacak nilai data unik dan urutannya, yang membuat ekstraksi menjadi kuat terhadap penghapusan data dan mencegah konektor melewati atau menduplikasi data.
  • Datastream mengurutkan data berdasarkan properti data sys_updated_on dan sys_id untuk memberikan urutan yang stabil untuk pemuatan awal. Untuk tabel sys_journal_field, yang berisi data yang tidak dapat diubah dan tidak memiliki kolom sys_updated_on, konektor mengurutkan berdasarkan properti sys_created_on dan sys_id.

Sinkronisasi inkremental

  • Saat mereplikasi data perubahan dari instance ServiceNow, Datastream menangkap perubahan, seperti penyisipan dan pembaruan, yang terjadi setelah pengisian ulang awal.
  • Sinkronisasi inkremental sisi server: konektor mengkueri ServiceNow API untuk data yang diubah sejak sinkronisasi terakhir yang berhasil menggunakan filter pada properti sys_updated_on dan sys_id (atau sys_created_on dan sys_id untuk tabel sys_journal_field).
  • Proses sinkronisasi menggunakan kursor gabungan yang terdiri dari penanda sys_updated_on (atau sys_created_on untuk tabel sys_journal_field) dan sys_id. Penanda sys_updated_on dan sys_created_on memastikan bahwa hanya data dengan stempel waktu yang sama dengan atau lebih baru dari waktu yang ditentukan yang disinkronkan pada siklus berikutnya, sedangkan penanda sys_id memastikan konsistensi untuk data dengan stempel waktu yang sama.

Versi

Konektor ServiceNow berfungsi dengan ServiceNow REST Table API (V2). Fungsi yang didukung Datastream divalidasi terhadap rilis Zurich.

Objek yang direplikasi

Konektor ServiceNow menggunakan mekanisme penemuan dinamis untuk mengidentifikasi seluruh kumpulan tabel (objek) dalam instance. Untuk memastikan bahwa Anda hanya mereplikasi data bisnis bernilai tinggi, konektor menerapkan proses pemfilteran berlapis untuk mengecualikan tabel metadata sistem, log teknis, dan arsitektur internal.

Logika pemfilteran

  • Akses layanan web: Anda hanya dapat mereplikasi tabel yang secara eksplisit Anda konfigurasi dengan Akses Layanan Web diaktifkan (ws_access=true). Jika konfigurasi ini tidak ada, konektor tidak dapat mengambil data dari tabel.
  • Superclass yang dikecualikan: konektor mengecualikan tabel yang mewarisi dari tabel konfigurasi sistem sys_metadata atau merupakan bagian dari hierarki tabel yang dirotasi untuk mencegah replikasi metadata teknis atau snapshot yang tidak konsisten.
  • Awalan sistem internal: konektor memfilter tabel yang dimulai dengan awalan teknis tertentu yang mewakili plumbing platform atau fitur lama.
  • **_Daftar Emas_** (pengecualian sistem): meskipun konektor mengecualikan sebagian besar sys_ tabel, konektor secara eksplisit mengizinkan entitas bisnis penting, seperti sys_user, sys_choice, dan sys_journal_field.

Awalan sistem yang difilter secara default

Kategori Awalan Deskripsi
Internal inti v_, ts_, imp_, ecc_, wf_, sh$, bin_, var_, gs_ Tabel virtual, indeks penelusuran, penahapan impor, antrean ECC, dan konteks alur kerja.
Analytics &AI pa_, ua_, ml_, ais_, promin_, di_ Skor Performa Analytics, telemetri vendor, vektor ML, dan profil penelusuran AI.
Modul teknis sa_, sla_, atf_, cxs_, automation_, ids_ Pola Pemetaan Layanan, log mesin SLA, dan jejak audit keamanan.
Lama &admin pf_, clone_, upgrade_, rollback_, expert_, dscy_ Histori patching instance, log upgrade, dan modul lama yang tidak digunakan.

Tabel sistem yang diizinkan

  • Pengguna & keamanan: sys_user, sys_user_group, sys_user_grmember, sys_user_role, sys_user_has_role.
  • Referensi inti: sys_choice (opsi drop-down), sys_company, sys_domain, sys_location.
  • Jejak audit: sys_journal_field (catatan kerja dan histori komentar).

Batasan umum

Batasan umum untuk menggunakan ServiceNow sebagai sumber mencakup:

  • Datastream tidak mendukung pengambilan data yang dihapus.
  • Datastream mengecualikan banyak tabel platform internal secara default, misalnya, tabel yang dimulai dengan ts_, v_, atau imp_.
  • Anda hanya dapat mereplikasi tabel yang secara eksplisit Anda konfigurasi dengan Akses Layanan Web diaktifkan (ws_access=true). Ini adalah setelan default untuk sebagian besar tabel.
  • Konektor mereplikasi nilai kolom seperti yang muncul di instance database ServiceNow yang mendasarinya. Nilai ini disebut sebagai nilai sebenarnya. Artinya, nilai sebenarnya yang direplikasi Datastream ke tujuan mungkin berbeda dengan nilai yang ditampilkan di antarmuka pengguna ServiceNow (disebut sebagai nilai tampilan). Untuk mengetahui informasi selengkapnya, lihat pusat informasi ServiceNow.

Langkah berikutnya