Trasmettere dati in streaming da Microsoft Dataverse

Datastream supporta la replica degli eventi di modifica da un'istanza di Microsoft Dataverse. Dataverse è una piattaforma dati basata sul cloud che ti consente di archiviare e gestire in modo sicuro i dati utilizzati dalle applicazioni aziendali.

Questa pagina contiene informazioni su:

  • I termini chiave che devi comprendere quando esegui la replica da Dataverse.
  • Il comportamento di Datastream nella gestione dei dati estratti da un ambiente Dataverse di origine.
  • Le versioni di Dataverse supportate da Datastream.
  • Limitazioni note per l'utilizzo di Dataverse come origine.

Termini chiave

Dataverse funziona utilizzando i seguenti concetti:

  • Una tabella, in precedenza un'entità, è simile a una tabella nei database relazionali. Dataverse include tabelle standard per impostazione predefinita, ma puoi anche creare tabelle personalizzate.
  • Una colonna, in precedenza un campo, è un attributo di una tabella ed è simile a una colonna nei database relazionali.
  • Una riga è un record specifico in una tabella ed è simile a una riga nei database relazionali.

Comportamento

Il supporto dell'origine Dataverse in Datastream si basa sull'API web Dataverse, che utilizza il protocollo Open Data Protocol (OData). Datastream esegue il polling per le modifiche all'origine in base all'intervallo impostato.

Quando vengono replicati i dati da un'origine Dataverse, si osserva il seguente comportamento:

  • Interazione API: Datastream interagisce con l'API web Dataverse utilizzando richieste RESTful. L'URL dell'ambiente di base è https://ORGANIZATION_ID.crm.dynamics.com/api/data/v9.1/. Vengono utilizzate le intestazioni standard (Accept: application/json, OData-MaxVersion: 4.0, OData-Version: 4.0).
  • Autenticazione: Datastream gestisce l'autenticazione utilizzando OAuth 2.0 con il tipo di concessione delle credenziali client. Datastream ottiene token da Microsoft identity Platform.

  • Rilevamento dello schema: gli schemi Dataverse sono dinamici. Datastream rileva i nomi e gli schemi degli oggetti eseguendo query sull'endpoint /EntityDefinitions.

    • Nomi degli oggetti: Datastream recupera i nomi degli oggetti inviando una richiesta GET al percorso del set di entità /EntityDefinitions con il filtro $filter=TableType ne 'Virtual' and IsPrivate eq false e il parametro $select=EntitySetName.
    • Schema dell'oggetto: Datastream recupera lo schema dell'oggetto per entità inviando una richiesta GET al percorso del set di entità /EntityDefinitions con il parametro $expand=Attributes($select=LogicalName,AttributeType,AttributeTypeName) e il filtro $filter=EntitySetName eq '[objectName]'.

  • Replica dei dati:

    • Datastream replica le tabelle Dataverse standard e personalizzate. Sono escluse le tabelle virtuali e private.
    • Backfill storico: se configurato per uno stream, Datastream replica tutti i dati storici per le tabelle incluse. Ciò si ottiene inviando una richiesta GET iniziale al set di entità e scorrendo tutte le pagine utilizzando la proprietà @odata.nextLink fornita nelle risposte API. Viene utilizzata l'intestazione Prefer: odata.maxpagesize=5000.
    • Sincronizzazione incrementale: Datastream replica gli eventi di inserimento e aggiornamento. Ciò si ottiene utilizzando la sincronizzazione basata sul timestamp, filtrando i record in cui il campo modifiedon è maggiore dell'ultima ora di sincronizzazione ($filter=modifiedon gt [last_sync_timestamp]). Datastream non acquisisce gli eventi di eliminazione.

  • Intervallo di polling: Datastream esegue il polling per rilevare le modifiche in base all'intervallo di polling impostato durante la creazione dello stream. L'intervallo si riflette nella metrica di aggiornamento dei dati dello stream.

Tutti gli oggetti replicati supportano sia la sincronizzazione incrementale, utilizzando il campo modifiedon, sia il backfill completo.

Versioni

Datastream utilizza la versione v9.1 dell'API web Dataverse.

Limitazioni note

Le limitazioni note per l'utilizzo di Dataverse come origine includono:

  • Il metodo di sincronizzazione incrementale, basato sul timestamp modifiedon, non acquisisce gli eventi di eliminazione.
  • Datastream non supporta la funzionalità di monitoraggio delle modifiche consigliata da Dataverse che utilizza i link delta (@odata.deltaLink). Questo perché non è supportato l'archiviazione dell'URL del link delta richiesto per i pull incrementali successivi.
  • La replica è limitata alle tabelle standard e personalizzate. Le tabelle virtuali e private non sono supportate.
  • L'aggiornamento accurato del campo modifiedon nelle tabelle di origine è fondamentale per garantire che la sincronizzazione incrementale funzioni come previsto.
  • Per recuperare le etichette per i campi Picklist, le richieste di dati devono includere l'intestazione Prefer: data.include-annotations="*", non solo i valori interi.

Passaggi successivi