データ基盤

Cortex Framework のデータ基盤レイヤは、ソースデータの最新レコードを標準化してクリーンに表現したもので、データ プロダクト レイヤにデータを供給します。このレイヤは、CDC 対応のソースに対して増分方式で更新され、CDC 非対応のソースと外部実装の CDC ソースにはビューが使用されます。実装は、ソースシステムの機能に適応します。

• CDC 対応のソース（Cortex Framework マネージド CDC）の場合: 専用の Dataform パイプラインが、未加工レイヤのログをソースシステムのデータセットの継続的に更新される永続的な「現在の状態」テーブルに増分処理し、データ プロダクト、ダウンストリーム分析、AI エージェントを強化します。

  柔軟なアーキテクチャにより、CDC 処理だけでなく、組み込みの CDC 処理をバイパスして、他の確立された CDC パイプラインを基盤レイヤに直接接続することもできます。

• CDC が有効になっていないソース（外部 CDC）の場合: 複製ツールまたはソースシステムが CDC を行うソースの場合、Cortex Framework は CDC のパイプラインをスキップし、ランディング ゾーン データセットをデータ プロダクトのフィードのソースとして使用します。ビューベースのセマンティック抽象化レイヤとして機能し、オンザフライのクレンジングを適用して、スキーマの変更からダウンストリームのデータ プロダクトを保護します。

Cortex Framework のデータ基盤レイヤは動的テーブル スキーマもサポートしているため、基盤となる SQL モデルを手動で変更することなく、未加工レイヤにあるカスタム フィールドを自動的に取り込むことができます。

また、技術データとビジネス ユーザーのギャップを埋めるために、Cortex Framework のデータ基盤レイヤは、広範なアノテーション ライブラリ（src/data_foundation/{foundation_name}/annotations/）を使用して、テーブル スキーマに人間が読める説明を追加することで、ユーザビリティを向上させます。たとえば、ビルドプロセス中に、Cortex Framework は、bukrs などの難解な SAP テーブル列に、Company Code などの読み取り可能なビジネス セマンティクスを含む説明を追加します。

サポートされているソースシステム

Cortex Framework のデータ基盤レイヤは、次のソースシステムをサポートしています。

SAP ERP から複製された元データ:

• SAP ECC
• SAP S/4HANA

詳細については、SAP ERP のソースデータの準備に関するドキュメントをご覧ください。