Nozioni fondamentali sui dati

Il livello di base dei dati di Cortex Framework è una rappresentazione standardizzata e pulita degli ultimi record dei dati di origine e alimenta il livello del prodotto di dati. Questo livello viene aggiornato in modo incrementale per le origini abilitate per CDC e utilizza le visualizzazioni per le origini non abilitate per CDC e per le origini CDC implementate esternamente. L'implementazione si adatta alle funzionalità del sistema di origine:

• Per le origini abilitate per CDC (CDC gestito da Cortex Framework): una pipeline Dataform dedicata elabora in modo incrementale i log del livello non elaborato in una tabella "stato attuale" persistente e aggiornata continuamente del set di dati del sistema di origine, alimentando prodotti di dati, analisi downstream e agenti AI.

  Oltre all'elaborazione CDC, l'architettura flessibile consente di ignorare l'elaborazione CDC integrata e di collegare altre pipeline CDC consolidate direttamente al livello di base.

• Per le origini non abilitate per CDC (CDC esterno): per le origini in cui lo strumento di replica o il sistema di origine esegue il CDC, Cortex Framework salterà le pipeline per il CDC e utilizzerà il set di dati della zona di destinazione come origine per alimentare i prodotti di dati. Funge da livello di astrazione semantica basato su visualizzazioni e applica la pulizia al volo, proteggendo i prodotti di dati downstream dalle modifiche dello schema.

Il livello di base dei dati di Cortex Framework supporta anche gli schemi di tabelle dinamiche, consentendo l'acquisizione automatica dei campi personalizzati presenti nel livello non elaborato senza richiedere modifiche manuali del codice ai modelli SQL sottostanti.

Inoltre, per colmare il divario tra i dati tecnici e gli utenti aziendali, il livello di base dei dati di Cortex Framework utilizza una vasta libreria di annotazioni (src/data_foundation/{foundation_name}/annotations/) per migliorare l'usabilità aggiungendo descrizioni leggibili dallo schema della tabella. Ad esempio, durante il processo di compilazione, Cortex Framework aggiunge a una colonna di tabella SAP criptica come bukrs la descrizione con semantica aziendale leggibile come Company Code.

Sistemi di origine supportati

Il livello di base dei dati di Cortex Framework supporta i seguenti sistemi di origine:

Dati replicati non elaborati da SAP ERP:

• SAP ECC
• SAP S/4HANA

Per saperne di più, consulta la documentazione sulla preparazione dei dati di origine per SAP ERP.