Dasar data

Lapisan fondasi data Cortex Framework adalah representasi standar dan bersih dari catatan terbaru sumber data dan menyediakan data untuk lapisan produk data. Lapisan ini diupdate secara inkremental untuk sumber yang mendukung CDC dan menggunakan tampilan untuk sumber yang tidak mendukung CDC serta sumber CDC yang diterapkan secara eksternal. Penerapan ini disesuaikan dengan kemampuan sistem sumber:

  • Untuk sumber yang mendukung CDC (CDC yang dikelola Cortex Framework): Pipeline Dataform khusus memproses log lapisan mentah secara inkremental ke dalam tabel "Status Saat Ini" yang terus diperbarui dan dipertahankan. Lapisan fondasi data mengubah perubahan inkremental ini menjadi baris yang merepresentasikan status saat ini dari set data sistem sumber, yang mendukung produk data, analisis hilir, dan agen AI.

    Selain pemrosesan CDC, arsitektur yang fleksibel memungkinkan melewati pemrosesan CDC bawaan dan menghubungkan pipeline CDC lain yang sudah ada langsung ke lapisan dasar.

  • Untuk sumber yang tidak mendukung CDC (CDC Eksternal): Untuk sumber tempat alat replikasi atau sistem sumber melakukan CDC, Cortex Framework akan melewati pipeline untuk CDC dan menggunakan set data area landing sebagai sumber untuk memasukkan produk data. Lapisan ini berfungsi sebagai lapisan abstraksi semantik berbasis tampilan dan menerapkan pembersihan secara langsung, melindungi produk data downstream dari perubahan skema.

Lapisan fondasi data Cortex Framework juga mendukung skema tabel dinamis, sehingga memungkinkan penyerapan otomatis kolom kustom yang ada di lapisan mentah tanpa memerlukan perubahan kode manual pada model SQL yang mendasarinya.

Selain itu, untuk menjembatani kesenjangan antara data teknis dan pengguna bisnis, lapisan fondasi data Cortex Framework menggunakan library anotasi (src/data_foundation/{foundation_name}/annotations/) yang ekstensif untuk meningkatkan kegunaan dengan menambahkan deskripsi yang mudah dibaca ke skema tabel. Misalnya, selama proses pembangunan, Cortex Framework menambahkan deskripsi dengan semantik bisnis yang mudah dibaca seperti Company Code untuk kolom tabel SAP yang sulit dipahami seperti bukrs.

Sistem sumber yang didukung

Lapisan fondasi data Cortex Framework mendukung sistem sumber berikut:

Data mentah yang direplikasi dari SAP ERP:

  • SAP ECC
  • SAP S/4HANA

Untuk mengetahui informasi selengkapnya, lihat dokumentasi penyiapan data sumber untuk SAP ERP.