Daten aus ServiceNow-Instanzen streamen

Datastream unterstützt die Replikation von Änderungsereignissen aus einer ServiceNow-Instanz. ServiceNow ist eine cloudbasierte Plattform für Unternehmensvorgänge. Sie können Daten daraus genauso replizieren wie aus anderen Quellen, die von Datastream unterstützt werden.

Diese Seite enthält Informationen zu folgenden Themen:

  • Die wichtigsten Begriffe, die Sie bei der Replikation aus ServiceNow kennen müssen.
  • Das Verhalten von Datastream bei der Verarbeitung von Daten, die aus einer ServiceNow-Instanz abgerufen werden.
  • Die von Datastream unterstützten Versionen von ServiceNow.
  • Bekannte Einschränkungen bei Verwendung von ServiceNow als Quelle

Wichtige Begriffe

ServiceNow arbeitet mit Tabellen, Datensätzen und Feldern:

  • Eine ServiceNow-Instanz ist eine dedizierte, isolierte ServiceNow-Cloudumgebung, z. B. company.service-now.com.
  • Eine Tabelle ist eine primäre Datenstruktur in ServiceNow, die einer Datenbanktabelle entspricht.
  • Ein Datensatz ist ein einzelner Eintrag in einer Tabelle, der einer Zeile in einer Datenbank entspricht.
  • Ein Feld ist ein einzelnes Datenelement in einem Datensatz, das einer Datenbankspalte entspricht.
  • Der Connector verwendet die Table API als primäre RESTful-Schnittstelle für den direkten Zugriff auf Daten aus ServiceNow-Tabellen.
  • Die seitenweise Navigation auf Grundlage von Offsets ist eine Methode zum Navigieren durch Datensätze in einer ServiceNow-Tabelle, indem eine Offset-Nummer an die Table API übergeben wird. Diese Methode reagiert empfindlich auf das Löschen von Datensätzen während der Paginierung, was dazu führen kann, dass der Connector Daten überspringt.
  • Bei der keyset-basierten Paginierung verwaltet der Connector die Paginierung, indem er eindeutige Datensatzwerte wie Kennungen oder Zeitstempel und deren Reihenfolge erfasst. Diese Methode funktioniert auch dann, wenn während der Paginierung Datensätze gelöscht werden.

Verhalten

Die Unterstützung von ServiceNow-Quellen in Datastream basiert auf der ServiceNow REST Table API. Datastream unterstützt zwei primäre Replikationsmethoden, um Datenintegrität und Leistung zu gewährleisten.

Verlaufsdaten-Backfill

  • Wenn Änderungsdaten aus einer ServiceNow-Instanz repliziert werden, führt Datastream eine vollständige Synchronisierung des Verlaufs aller vorhandenen Datensätze in einer Tabelle durch.
  • Um die Datenkonsistenz zu gewährleisten und den Verlust von Datensätzen bei großen Extraktionen zu verhindern, verwendet der Connector die schlüsselbasierte Paginierung. Der Connector verwaltet diesen Prozess, indem er eindeutige Datensatzwerte und ihre Reihenfolge erfasst. Dadurch ist die Extraktion robust gegenüber dem Löschen von Datensätzen und der Connector überspringt oder dupliziert keine Datensätze.
  • Im Datastream werden Daten nach den Datensatzattributen sys_updated_on und sys_id sortiert, um eine stabile Reihenfolge für den anfänglichen Ladevorgang zu gewährleisten. Für die Tabelle sys_journal_field, die unveränderliche Datensätze enthält und kein sys_updated_on-Feld hat, sortiert der Connector nach den Attributen sys_created_on und sys_id.

Inkrementelle Synchronisierung

  • Beim Replizieren von Änderungsdaten aus einer ServiceNow-Instanz erfasst Datastream Änderungen wie Einfügungen und Aktualisierungen, die nach dem anfänglichen Backfill auftreten.
  • Inkrementelle Synchronisierung auf Serverseite: Der Connector fragt die ServiceNow API nach Datensätzen ab, die seit der letzten erfolgreichen Synchronisierung geändert wurden. Dazu wird ein Filter für die Eigenschaften sys_updated_on und sys_id (oder sys_created_on und sys_id für die Tabelle sys_journal_field) verwendet.
  • Für die Synchronisierung wird ein zusammengesetzter Cursor verwendet, der aus sys_updated_on (oder sys_created_on für die Tabelle sys_journal_field) und sys_id-Markierungen besteht. Die Markierungen sys_updated_on und sys_created_on sorgen dafür, dass im nächsten Zyklus nur Datensätze mit einem Zeitstempel synchronisiert werden, der gleich oder später als ein bestimmter Zeitpunkt ist. Die Markierung sys_id sorgt für Konsistenz bei Datensätzen mit gleichen Zeitstempeln.

Versionen

Der ServiceNow-Connector funktioniert mit der ServiceNow REST Table API (V2). Die von Datastream unterstützte Funktionalität wird anhand des Zurich-Release validiert.

Replizierte Objekte

Der ServiceNow-Connector verwendet einen dynamischen Ermittlungsmechanismus, um alle Tabellen (Objekte) in einer Instanz zu identifizieren. Damit nur Geschäftsdaten mit hohem Wert repliziert werden, wendet der Connector einen mehrschichtigen Filterprozess an, um interne Architektur-, technische Protokoll- und Systemmetadatentabellen auszuschließen.

Filterlogik

  • Webservice-Zugriff: Sie können nur Tabellen replizieren, die Sie explizit mit aktiviertem Webservice-Zugriff (ws_access=true) konfigurieren. Wenn diese Konfiguration fehlt, kann der Connector keine Datensatzdaten aus der Tabelle abrufen.
  • Ausgeschlossene Superklassen: Der Connector schließt Tabellen aus, die von der Systemkonfigurationstabelle sys_metadata abgeleitet sind oder Teil einer rotierten Tabellenhierarchie sind, um die Replikation technischer Metadaten oder inkonsistenter Snapshots zu verhindern.
  • Präfix für internes System: Der Connector filtert Tabellen heraus, die mit bestimmten technischen Präfixen beginnen, die für die Plattforminfrastruktur oder Legacy-Funktionen stehen.
  • Goldene Liste (Systemausnahmen): Der Connector schließt zwar die meisten sys_-Tabellen aus, lässt aber wichtige Geschäftseinheiten wie sys_user, sys_choice und sys_journal_field explizit zu.

Systempräfixe, die standardmäßig gefiltert werden

Kategorie Präfixe Beschreibung
Interne Strukturen des Kerns v_, ts_, imp_, ecc_, wf_, sh$, bin_, var_, gs_ Virtuelle Tabellen, Suchindexe, Import-Staging, ECC-Warteschlangen und Workflow-Kontexte.
Analytics und KI pa_, ua_, ml_, ais_, promin_, di_ Performance Analytics-Werte, Telemetriedaten von Anbietern, ML-Vektoren und KI-Suchprofile.
Technische Module sa_, sla_, atf_, cxs_, automation_, ids_ Dienstzuordnungsmuster, SLA-Engine-Logs und Sicherheitsprüfpfade.
Legacy und Verwaltung pf_, clone_, upgrade_, rollback_, expert_, dscy_ Verlauf der Instanz-Patches, Upgrade-Logs und veraltete Legacy-Module.

Zulässige Systemtabellen

  • Nutzer & Sicherheit: sys_user, sys_user_group, sys_user_grmember, sys_user_role, sys_user_has_role.
  • Kernreferenz: sys_choice (Drop-down-Optionen), sys_company, sys_domain, sys_location.
  • Prüfpfade: sys_journal_field (Arbeitsnotizen und Kommentarverlauf).

Bekannte Einschränkungen

Bekannte Einschränkungen bei Verwendung von ServiceNow als Quelle:

  • Datastream unterstützt das Erfassen gelöschter Datensätze nicht.
  • Datastream werden standardmäßig viele interne Plattformtabellen ausgeschlossen, z. B. Tabellen, die mit ts_, v_ oder imp_ beginnen.
  • Sie können nur Tabellen replizieren, die Sie explizit mit aktiviertem Web Services Access (ws_access=true) konfigurieren. Dies ist die Standardeinstellung für die meisten Tabellen.
  • Der Connector repliziert Feldwerte so, wie sie in der zugrunde liegenden ServiceNow-Datenbankinstanz angezeigt werden. Diese Werte werden als Istwerte bezeichnet. Das bedeutet, dass sich die tatsächlichen Werte, die von Datastream in das Ziel repliziert werden, von den Werten unterscheiden können, die in der ServiceNow-Benutzeroberfläche angezeigt werden (Anzeigewerte). Weitere Informationen finden Sie in der ServiceNow-Wissensdatenbank.

Nächste Schritte