Trasmettere dati in streaming dalle istanze ServiceNow

La connessione di un'istanza ServiceNow a Datastream ti consente di replicare i dati storici e le modifiche incrementali per l'analisi e l'integrazione dei dati. ServiceNow è una piattaforma basata su cloud che aiuta le organizzazioni a gestire e automatizzare le operazioni aziendali.

Prima di configurare un'origine ServiceNow in Datastream, esamina i termini chiave, il comportamento di replica, le versioni supportate, gli oggetti replicati e le limitazioni note.

Termini chiave

ServiceNow opera utilizzando tabelle, record e campi:

  • Un'istanza ServiceNow è un ambiente cloud ServiceNow dedicato e isolato, ad esempio company.service-now.com.
  • Una tabella è una struttura di dati principale in ServiceNow, equivalente a una tabella di database.
  • Un record è una singola voce di una tabella, equivalente a una riga di un database.
  • Un campo è un singolo elemento di dati all'interno di un record, equivalente a una colonna del database.
  • Il connettore utilizza l'API Table come interfaccia RESTful principale per accedere ai dati direttamente dalle tabelle ServiceNow.
  • La paginazione basata su offset è un metodo per navigare tra i record di una tabella ServiceNow passando un numero di offset all'API Table. Questo metodo è sensibile alle eliminazioni di record durante l'impaginazione, il che può causare l'omissione di dati da parte del connettore.
  • La paginazione basata su set di chiavi è un metodo in cui il connettore gestisce la paginazione monitorando i valori univoci dei record, come identificatori o timestamp, e il loro ordine. Questo metodo è efficace anche se vengono eliminati record durante l'impaginazione.

Comportamento

Il supporto dell'origine ServiceNow in Datastream si basa sull'API REST Table di ServiceNow. Datastream supporta due metodi di replica principali per garantire l'integrità e le prestazioni dei dati.

Backfill storico

  • Quando replica i dati delle modifiche da un'istanza ServiceNow, Datastream esegue una sincronizzazione cronologica completa di tutti i record esistenti in una tabella.
  • Per garantire la coerenza dei dati ed evitare la perdita di record durante estrazioni di grandi dimensioni, il connettore utilizza l'impaginazione basata su set di chiavi. Il connettore gestisce questo processo monitorando i valori dei record univoci e il loro ordine, il che rende l'estrazione efficace per le eliminazioni dei record e impedisce al connettore di saltare o duplicare i record.
  • Datastream ordina i dati in base alle proprietà dei record sys_updated_on e sys_id per fornire un ordine stabile per il caricamento iniziale. Per la tabella sys_journal_field, che contiene record immutabili e non ha un campo sys_updated_on, il connettore ordina in base alle proprietà sys_created_on e sys_id.

Sincronizzazione incrementale

  • Durante la replica dei dati di modifica da un'istanza ServiceNow, Datastream acquisisce le modifiche, come inserimenti e aggiornamenti, che si verificano dopo il backfill iniziale.
  • Sincronizzazione incrementale lato server: il connettore esegue query sull'API ServiceNow per i record modificati dall'ultima sincronizzazione riuscita utilizzando un filtro sulle proprietà sys_updated_on e sys_id (o sys_created_on e sys_id per la tabella sys_journal_field).
  • Il processo di sincronizzazione utilizza un cursore composto costituito da sys_updated_on (o sys_created_on per la tabella sys_journal_field) e indicatori sys_id. Gli indicatori sys_updated_on e sys_created_on assicurano che solo i record con un timestamp uguale o successivo a un'ora specificata vengano sincronizzati nel ciclo successivo, mentre l'indicatore sys_id garantisce la coerenza per i record con timestamp uguali.

Versioni

Il connettore ServiceNow funziona con l'API Table (V2) REST di ServiceNow. La funzionalità supportata da Datastream è convalidata rispetto alla release Zurigo.

Oggetti replicati

Il connettore ServiceNow utilizza un meccanismo di rilevamento dinamico per identificare l'intero insieme di tabelle (oggetti) all'interno di un'istanza. Per assicurarti di replicare solo dati aziendali di alto valore, il connettore applica un processo di filtro multilivello per escludere l'architettura interna, i log tecnici e le tabelle dei metadati di sistema.

Logica di filtro

  • Accesso ai servizi web: puoi replicare solo le tabelle che configuri esplicitamente con l'accesso ai servizi web abilitato (ws_access=true). Se questa configurazione non è presente, il connettore non può recuperare i dati dei record dalla tabella.
  • Superclassi escluse: il connettore esclude le tabelle che ereditano dalla tabella di configurazione di sistema sys_metadata o fanno parte di una gerarchia di tabelle ruotate per impedire la replica di metadati tecnici o snapshot incoerenti.
  • Prefisso del sistema interno: il connettore filtra le tabelle che iniziano con prefissi tecnici specifici che rappresentano l'infrastruttura della piattaforma o le funzionalità legacy.
  • Golden List (eccezioni di sistema): sebbene il connettore escluda la maggior parte delle tabelle sys_, inserisce esplicitamente nella lista consentita le organizzazioni aziendali critiche, come sys_user, sys_choice e sys_journal_field.

Prefissi di sistema filtrati per impostazione predefinita

Categoria Prefissi Descrizione
Componenti interni principali v_, ts_, imp_, ecc_, wf_, sh$, bin_, var_, gs_ Tabelle virtuali, indici della Ricerca, gestione temporanea dell'importazione, code ECC e contesti del workflow.
Analytics e AI pa_, ua_, ml_, ais_, promin_, di_ Punteggi di Performance Analytics, telemetria dei fornitori, vettori di ML e profili della Ricerca AI.
Moduli tecnici sa_, sla_, atf_, cxs_, automation_, ids_ Pattern di mappatura dei servizi, log del motore SLA e tracce di audit di sicurezza.
Legacy e amministratore pf_, clone_, upgrade_, rollback_, expert_, dscy_ Cronologia delle patch delle istanze, log di upgrade e moduli legacy obsoleti.

Tabelle di sistema consentite

  • Utenti e sicurezza: sys_user, sys_user_group, sys_user_grmember, sys_user_role, sys_user_has_role.
  • Riferimento principale: sys_choice (opzioni del menu a discesa), sys_company, sys_domain, sys_location.
  • Tracce di audit: sys_journal_field (cronologia delle note di lavoro e dei commenti).

Limitazioni note

Le limitazioni note per l'utilizzo di ServiceNow come origine includono:

  • Datastream non supporta l'acquisizione dei record eliminati.
  • Datastream esclude per impostazione predefinita molte tabelle della piattaforma interna, ad esempio le tabelle che iniziano con ts_, v_ o imp_.
  • Puoi replicare solo le tabelle che configuri esplicitamente con l'accesso ai servizi web attivato (ws_access=true). Questa è l'impostazione predefinita per la maggior parte delle tabelle.
  • Il connettore replica i valori dei campi nel modo in cui vengono visualizzati nell'istanza del database ServiceNow sottostante. Questi valori sono definiti valori effettivi. Ciò significa che i valori effettivi che Datastream replica nella destinazione potrebbero differire dai valori visualizzati nell'interfaccia utente di ServiceNow (denominati valori visualizzati). Per saperne di più, consulta la knowledge base di ServiceNow.

Passaggi successivi