Datengrundlage

Die Datengrundlagenebene von Cortex Framework ist eine standardisierte, bereinigte Darstellung der neuesten Datensätze der Quelldaten und wird in die Datenproduktebene eingespeist. Diese Ebene wird für CDC-fähige Quellen inkrementell aktualisiert und verwendet Ansichten für nicht CDC-fähige sowie extern implementierte CDC-Quellen. Die Implementierung passt sich an die Funktionen des Quellsystems an:

• Für CDC-fähige Quellen (Cortex Framework-verwaltetes CDC): Eine dedizierte Dataform-Pipeline verarbeitet Rohdaten-Logs inkrementell in eine kontinuierlich aktualisierte, persistente Tabelle mit dem aktuellen Status des Quellsystem-Datasets. Diese Tabelle dient als Grundlage für Datenprodukte, Downstream-Analysen und KI-Agents.

  Über die CDC-Verarbeitung hinaus ermöglicht die flexible Architektur, die integrierte CDC-Verarbeitung zu umgehen und andere etablierte CDC-Pipelines direkt mit der Fundierungsebene zu verbinden.

• Für Quellen, die nicht für CDC aktiviert sind (externe CDC): Bei Quellen, bei denen das Replikationstool oder das Quellsystem die CDC durchführt, überspringt das Cortex Framework die Pipelines für CDC und verwendet das Landing Zone-Dataset als Quelle für die Datenprodukte. Sie fungiert als ansichtsbasierte, semantische Abstraktionsschicht und wendet die Bereinigung in Echtzeit an, wodurch Downstream-Datenprodukte vor Schemaänderungen geschützt werden.

Die Datenschicht des Cortex Framework unterstützt auch dynamische Tabellenschemas. So können benutzerdefinierte Felder in der Rohdatenschicht automatisch aufgenommen werden, ohne dass manuelle Codeänderungen an den zugrunde liegenden SQL-Modellen erforderlich sind.

Um die Lücke zwischen technischen Daten und Geschäftsanwendern zu schließen, verwendet die Datenschicht von Cortex Framework eine umfangreiche Bibliothek mit Anmerkungen (src/data_foundation/{foundation_name}/annotations/), um die Benutzerfreundlichkeit zu verbessern, indem dem Tabellenschema lesbare Beschreibungen hinzugefügt werden. Während des Build-Prozesses fügt Cortex Framework beispielsweise für eine kryptische SAP-Tabellenspalte wie bukrs die Beschreibung mit lesbarer Geschäftssemantik wie Company Code hinzu.

Unterstützte Quellsysteme

Die Data Foundation-Ebene des Cortex Framework unterstützt die folgenden Quellsysteme:

Unbearbeitete replizierte Daten aus SAP ERP:

• SAP ECC
• SAP S/4HANA

Weitere Informationen finden Sie in der Dokumentation zum Vorbereiten von Quelldaten für SAP ERP.