Data Foundation

Die Data Foundation-Schicht von Cortex Framework ist eine standardisierte, bereinigte Darstellung der neuesten Datensätze der Quelldaten und speist die Datenproduktschicht. Diese Schicht wird inkrementell für CDC-fähige Quellen aktualisiert und verwendet Ansichten für nicht CDC-fähige sowie extern implementierte CDC-Quellen. Die Implementierung wird an die Funktionen des Quellsystems angepasst:

  • Für CDC-fähige Quellen (von Cortex Framework verwaltetes CDC): Eine spezielle Dataform-Pipeline verarbeitet Rohschichtprotokolle inkrementell Prozesse Rohschicht Protokolle in eine kontinuierlich aktualisierte, persistente Tabelle „Current State“ . Die Data Foundation-Schicht wandelt diese inkrementellen Änderungen in Zeilen um, die den aktuellen Status des Datasets des Quellsystems darstellen. So werden Datenprodukte, nachgelagerte Analysen und KI-Agents unterstützt.

    Über die CDC-Verarbeitung hinaus ermöglicht die flexible Architektur, die integrierte CDC-Verarbeitung zu umgehen und andere etablierte CDC-Pipelines direkt mit der Foundation-Schicht zu verbinden.

  • Für nicht CDC-fähige Quellen (externes CDC): Bei Quellen, bei denen das Replikationstool oder das Quellsystem das CDC ausführt, überspringt Cortex Framework die Pipelines für CDC und verwendet das Landing Zone-Dataset als Quelle für die Datenprodukte. Es fungiert als ansichtsbasierte, semantische Abstraktionsschicht und wendet die Bereinigung im laufenden Betrieb an, um nachgelagerte Datenprodukte vor Schemaänderungen zu schützen.

Die Data Foundation-Schicht von Cortex Framework unterstützt auch dynamische Tabellenschemas, die die automatische Aufnahme benutzerdefinierter Felder in der Rohschicht ermöglichen, ohne dass manuelle Codeänderungen an den zugrunde liegenden SQL-Modellen erforderlich sind.

Darüber hinaus verwendet die Data Foundation-Schicht von Cortex Framework eine umfangreiche Bibliothek mit Anmerkungen (src/data_foundation/{foundation_name}/annotations/), um die Nutzerfreundlichkeit zu verbessern, indem dem Tabellenschema für Menschen lesbare Beschreibungen hinzugefügt werden. Während des Build-Prozesses fügt Cortex Framework beispielsweise für eine kryptische SAP-Tabellenspalte wie bukrs die Beschreibung mit lesbarer Geschäftssemantik wie Company Code hinzu.

Unterstützte Quellsysteme

Die Data Foundation-Schicht von Cortex Framework unterstützt die folgenden Quellsysteme:

Rohdaten aus SAP ERP:

  • SAP ECC
  • SAP S/4HANA

Weitere Informationen finden Sie in der Dokumentation zum Vorbereiten von Quelldaten für SAP ERP.