Nozioni fondamentali sui dati
Il livello di base dei dati di Cortex Framework è una rappresentazione standardizzata e pulita dei record più recenti dei dati di origine e alimenta il livello dei prodotti di dati. Questo livello viene aggiornato in modo incrementale per le origini abilitate a CDC e utilizza le visualizzazioni per le origini non abilitate a CDC e per le origini CDC implementate esternamente. L'implementazione si adatta alle funzionalità del sistema di origine:
Per le origini abilitate per CDC (CDC gestito da Cortex Framework): una pipeline Dataform dedicata elabora in modo incrementale i log del livello raw in una tabella "Stato attuale" aggiornata e persistente. Il livello di base dei dati trasforma queste modifiche incrementali in righe che rappresentano lo stato attuale del set di dati del sistema di origine, alimentando i prodotti di dati, l'analisi downstream e gli agenti AI.
Oltre all'elaborazione CDC, l'architettura flessibile consente di bypassare l'elaborazione CDC integrata e di connettere direttamente altre pipeline CDC consolidate al livello di base.
Per le origini non abilitate a CDC (CDC esterno): per le origini in cui lo strumento di replica o il sistema di origine esegue CDC, Cortex Framework salterà le pipeline per CDC e utilizzerà il set di dati della landing zone come origine per l'inserimento dei data product. Funge da livello di astrazione semantica basato sulla visualizzazione e applica la pulizia e la protezione in tempo reale dei prodotti di dati downstream dalle modifiche dello schema.
Il livello di base dei dati di Cortex Framework supporta anche schemi di tabelle dinamici, consentendo l'importazione automatica dei campi personalizzati presenti nel livello non elaborato senza richiedere modifiche manuali al codice dei modelli SQL sottostanti.
Inoltre, per colmare il divario tra i dati tecnici e gli utenti aziendali, il livello di base dei dati di Cortex Framework utilizza una vasta libreria di annotazioni (src/data_foundation/{foundation_name}/annotations/) per migliorare l'usabilità aggiungendo descrizioni leggibili alle persone allo schema della tabella. Ad esempio, durante il processo di compilazione, Cortex Framework aggiunge a una colonna di tabella SAP criptica come bukrs la descrizione con una semantica aziendale leggibile come Company Code.
Sistemi di origine supportati
Il livello di base dei dati di Cortex Framework supporta i seguenti sistemi di origine:
Dati replicati non elaborati da SAP ERP:
- SAP ECC
- SAP S/4HANA
Per saperne di più, consulta la documentazione sulla preparazione dei dati di origine per SAP ERP.