Daten aus ServiceNow-Instanzen streamen

Wenn Sie eine ServiceNow-Instanz mit Datastream verbinden, können Sie Verlaufsdaten und inkrementelle Änderungen für Analysen und Datenintegration replizieren. ServiceNow ist eine cloudbasierte Plattform, mit der Unternehmen ihre Abläufe verwalten und automatisieren können.

Bevor Sie eine ServiceNow-Quelle in Datastream einrichten, sollten Sie sich die wichtigsten Begriffe, das Replikationsverhalten, die unterstützten Versionen, die replizierten Objekte und die bekannten Einschränkungen ansehen.

Wichtige Begriffe

ServiceNow verwendet Tabellen, Datensätze und Felder:

  • Eine ServiceNow-Instanz ist eine dedizierte, isolierte ServiceNow-Cloud-Umgebung, z. B. company.service-now.com.
  • Eine Tabelle ist eine primäre Datenstruktur in ServiceNow, die einer Datenbanktabelle entspricht.
  • Ein Eintrag ist ein einzelner Eintrag in einer Tabelle, der einer Zeile in einer Datenbank entspricht.
  • Ein Feld ist ein einzelnes Datenelement innerhalb eines Datensatzes, das einer Datenbankspalte entspricht.
  • Der Connector verwendet die Table API als primäre RESTful-Schnittstelle, um direkt auf Daten aus ServiceNow-Tabellen zuzugreifen.
  • Die offsetbasierte Paginierung ist eine Methode, um durch Datensätze in einer ServiceNow-Tabelle zu navigieren, indem eine Offsetnummer an die Table API übergeben wird. Diese Methode ist anfällig für das Löschen von Datensätzen während der Paginierung, was dazu führen kann, dass der Connector Daten überspringt.
  • Die schlüsselbasierte Paginierung ist eine Methode, bei der der Connector die Paginierung verwaltet, indem er eindeutige Datensatzwerte wie Kennungen oder Zeitstempel und deren Reihenfolge verfolgt. Diese Methode ist auch dann effektiv, wenn während der Paginierung Datensätze gelöscht werden.

Verhalten

Die Unterstützung von ServiceNow-Quellen in Datastream basiert auf der ServiceNow REST Table API. Datastream unterstützt zwei primäre Replikationsmethoden, um die Datenintegrität und ‑leistung zu gewährleisten.

Verlaufsdaten-Backfill

  • Wenn Änderungsdaten aus einer ServiceNow-Instanz repliziert werden, führt Datastream eine vollständige Synchronisierung aller vorhandenen Datensätze in einer Tabelle durch.
  • Um die Datenkonsistenz zu gewährleisten und den Verlust von Datensätzen bei großen Extraktionen zu verhindern, verwendet der Connector die schlüsselbasierte Paginierung. Der Connector verwaltet diesen Prozess, indem er eindeutige Datensatzwerte und ihre Reihenfolge verfolgt. Dadurch ist die Extraktion robust gegenüber dem Löschen von Datensätzen und der Connector überspringt oder dupliziert keine Datensätze.
  • Datastream sortiert Daten nach den Datensatzattributen sys_updated_on und sys_id, um eine stabile Reihenfolge für den anfänglichen Ladevorgang zu gewährleisten. Bei der Tabelle sys_journal_field, die unveränderliche Datensätze enthält und kein sys_updated_on-Feld hat, sortiert der Connector nach den Attributen sys_created_on und sys_id.

Inkrementelle Synchronisierung

  • Beim Replizieren von Änderungsdaten aus einer ServiceNow-Instanz erfasst Datastream Änderungen wie Einfügungen und Aktualisierungen, die nach dem ersten Backfill auftreten.
  • Serverseitige inkrementelle Synchronisierung: Der Connector fragt die ServiceNow API nach Datensätzen ab, die seit der letzten erfolgreichen Synchronisierung geändert wurden. Dazu wird ein Filter für die Attribute sys_updated_on und sys_id (oder sys_created_on und sys_id für die Tabelle sys_journal_field) verwendet.
  • Der Synchronisierungsprozess verwendet einen zusammengesetzten Cursor, der aus sys_updated_on- (oder sys_created_on für die Tabelle sys_journal_field) und sys_id-Markierungen besteht. Die Markierungen sys_updated_on und sys_created_on sorgen dafür, dass im nächsten Zyklus nur Datensätze mit einem Zeitstempel synchronisiert werden, der gleich oder später als eine angegebene Zeit ist. Die Markierung sys_id sorgt für Konsistenz bei Datensätzen mit gleichen Zeitstempeln.

Versionen

Der ServiceNow-Connector funktioniert mit der ServiceNow REST Table API (V2). Die von Datastream unterstützten Funktionen werden anhand der Zurich-Version validiert.

Replizierte Objekte

Der ServiceNow-Connector verwendet einen dynamischen Erkennungsmechanismus, um alle Tabellen (Objekte) in einer Instanz zu identifizieren. Damit nur hochwertige Geschäftsdaten repliziert werden, wendet der Connector einen mehrstufigen Filterprozess an, um interne Architektur, technische Logs und Systemmetadatentabellen auszuschließen.

Filterlogik

  • Webdienstzugriff: Sie können nur Tabellen replizieren, die Sie explizit mit aktiviertem Webdienstzugriff (ws_access=true) konfigurieren. Wenn diese Konfiguration fehlt, kann der Connector keine Eintragsdaten aus der Tabelle abrufen.
  • Ausgeschlossene Basisklassen: Der Connector schließt Tabellen aus, die von der Systemkonfigurationstabelle sys_metadata erben oder Teil einer rotierten Tabellenhierarchie sind, um die Replikation technischer Metadaten oder inkonsistenter Snapshots zu verhindern.
  • Präfix für internes System: Der Connector filtert Tabellen heraus, die mit bestimmten technischen Präfixen beginnen, die für Plattform-Plumbing oder Legacy-Funktionen stehen.
  • Die Golden List (Systemausnahmen): Der Connector schließt zwar die meisten sys_-Tabellen aus, setzt aber explizit wichtige Geschäftsentitäten wie sys_user, sys_choice und sys_journal_field auf die Zulassungsliste.

Standardmäßig gefilterte Systempräfixe

Kategorie Präfixe Beschreibung
Wichtige interne Komponenten v_, ts_, imp_, ecc_, wf_, sh$, bin_, var_, gs_ Virtuelle Tabellen, Suchindexe, Import-Staging, ECC-Warteschlangen und Workflow-Kontexte.
Analysen und KI pa_, ua_, ml_, ais_, promin_, di_ Performance Analytics-Werte, Telemetriedaten von Anbietern, ML-Vektoren und KI-Suchprofile.
Technische Module sa_, sla_, atf_, cxs_, automation_, ids_ Service Mapping-Muster, SLA-Engine-Logs und Sicherheits-Audit-Trails.
Legacy und Verwaltung pf_, clone_, upgrade_, rollback_, expert_, dscy_ Patchverlauf der Instanz, Upgrade-Logs und veraltete Legacy-Module.

Zulässige Systemtabellen

  • Nutzer und Sicherheit: sys_user, sys_user_group, sys_user_grmember, sys_user_role, sys_user_has_role.
  • Core-Referenz: sys_choice (Drop-down-Optionen), sys_company, sys_domain, sys_location.
  • Audit-Trails: sys_journal_field (Verlauf der Arbeitsnotizen und Kommentare).

Bekannte Einschränkungen

Bekannte Einschränkungen bei der Verwendung von ServiceNow als Quelle:

  • Datastream unterstützt das Erfassen gelöschter Datensätze nicht.
  • Datastream schließt standardmäßig viele interne Plattformtabellen aus, z. B. Tabellen, die mit ts_, v_ oder imp_ beginnen.
  • Sie können nur Tabellen replizieren, die Sie explizit mit aktiviertem Webdienstzugriff (ws_access=true) konfigurieren. Dies ist die Standardeinstellung für die meisten Tabellen.
  • Der Connector repliziert Feldwerte so, wie sie in der zugrunde liegenden ServiceNow-Datenbankinstanz angezeigt werden. Diese Werte werden als Istwerte bezeichnet. Das bedeutet, dass die tatsächlichen Werte, die Datastream in das Ziel repliziert, von den Werten abweichen können, die in der ServiceNow-Benutzeroberfläche angezeigt werden (als Anzeigewerte bezeichnet). Weitere Informationen finden Sie in der ServiceNow-Wissensdatenbank.

Nächste Schritte