Principes de base des données

Le niveau de base des données de Cortex Framework est une représentation standardisée et propre des derniers enregistrements des données sources et alimente le niveau des produits de données. Ce niveau est mis à jour de manière incrémentale pour les sources compatibles avec la capture des données modifiées (CDC, Change Data Capture). Il utilise des vues pour les sources non compatibles avec la CDC, ainsi que pour les sources CDC implémentées en externe. L'implémentation s'adapte aux fonctionnalités du système source :

• Pour les sources compatibles avec la CDC (CDC gérée par Cortex Framework) : un pipeline Dataform dédié traite de manière incrémentale les journaux du niveau brut dans une table "État actuel" persistante et mise à jour en continu. Le niveau de base des données transforme ces modifications incrémentales en lignes représentant l'état actuel de l'ensemble de données du système source, alimentant ainsi les produits de données, les analyses en aval et les agents d'IA.

  Au-delà du traitement CDC, l'architecture flexible permet de contourner le traitement CDC intégré et de connecter d'autres pipelines CDC établis directement au niveau de base.

• Pour les sources non compatibles avec la CDC (CDC externe) : pour les sources où l' outil de réplication ou le système source effectue la CDC, Cortex Framework ignore les pipelines pour la CDC et utilise l'ensemble de données de la zone d'atterrissage comme source pour alimenter les produits de données. Il agit comme un niveau d'abstraction sémantique basé sur une vue et applique un nettoyage à la volée, protégeant ainsi les produits de données en aval des modifications de schéma.

Le niveau de base des données de Cortex Framework est également compatible avec les schémas de table dynamiques, ce qui permet l'ingestion automatique des champs personnalisés présents dans le niveau brut sans nécessiter de modifications manuelles du code des modèles SQL sous-jacents.

De plus, pour combler le fossé entre les données techniques et les utilisateurs professionnels, le niveau de base des données de Cortex Framework utilise une vaste bibliothèque d'annotations (src/data_foundation/{foundation_name}/annotations/) afin d'améliorer la convivialité en ajoutant des descriptions lisibles par l'homme au schéma de la table. Par exemple, lors du processus de compilation, Cortex Framework ajoute à une colonne de table SAP cryptique comme bukrs la description avec une sémantique métier lisible comme Company Code.

Systèmes sources compatibles

Le niveau de base des données de Cortex Framework est compatible avec les systèmes sources suivants :

Données répliquées brutes à partir de SAP ERP :

• SAP ECC
• SAP S/4HANA

Pour en savoir plus, consultez la documentation Préparer les données sources pour SAP ERP.