データ基盤
Cortex Framework データ基盤レイヤ は、ソースの最新レコードを標準化してクリーンな表現にしたもので、データ プロダクト レイヤにデータを供給します。 このレイヤは、CDC 対応ソースの場合は増分方式で更新され、CDC 非対応ソースと外部実装の CDC ソースの場合はビューを使用します。実装は、ソース システムの機能に合わせて調整されます。
CDC 対応ソース（Cortex Framework マネージド CDC）の場合: 専用の Dataform パイプラインは、未加工レイヤのログを増分方式で処理し、継続的に更新される永続的な「現在の状態」テーブルに格納します。データ基盤レイヤは、これらの増分変更をソース システム データセットの現在の状態を表す行に変換し、データ プロダクト、ダウンストリーム分析、AI エージェントを強化します。
CDC 処理に加えて、柔軟なアーキテクチャにより、組み込みの CDC 処理をバイパスして、他の確立された CDC パイプラインを基盤レイヤに直接接続できます。
CDC 非対応ソース（外部 CDC）の場合: レプリケーション ツールまたはソース システムが CDC を行うソースの場合、Cortex Framework は CDC のパイプラインをスキップし、ランディング ゾーン データセットをデータ プロダクトの供給元として使用します。ビューベースのセマンティック抽象化レイヤとして機能し、オンザフライでクレンジングを適用して、ダウンストリームのデータ プロダクトをスキーマ変更から保護します。
Cortex Framework のデータ基盤レイヤは動的テーブル スキーマもサポートしているため、基盤となる SQL モデルを手動で変更しなくても、未加工レイヤにあるカスタム フィールドを自動的に取り込むことができます。
また、技術データとビジネス ユーザーのギャップを埋めるために、Cortex Framework のデータ基盤レイヤは、豊富なアノテーション ライブラリ（src/data_foundation/{foundation_name}/annotations/）を使用して、テーブル
スキーマに人間が読める説明を追加することで使いやすさを向上させています。たとえば、ビルド プロセス中に、Cortex Framework
は、bukrs のようなわかりにくい SAP テーブル列に、Company Code のような読みやすいビジネス セマンティクスを含む説明を追加します。
サポート対象のソース システム
Cortex Framework のデータ基盤レイヤは、次のソース システムをサポートしています。
SAP ERP から複製された未加工データ:
- SAP ECC
- SAP S/4HANA
詳細については、 SAP ERP のソースデータの準備に関するドキュメントをご覧ください。