Sumber data SAP ERP

Penting: Langkah-langkah yang diuraikan di halaman ini diperlukan untuk deployment Cortex Framework. Untuk deployment demo, Anda dapat melewati halaman ini.

Lapisan fondasi data Google Cloud Cortex Framework untuk SAP ERP memerlukan konektivitas ke data mentah sistem sumber. SAP ECC dan SAP S/4HANA didukung.

Sebelum men-deploy konten Cortex Framework, tabel SAP ERP yang relevan harus direplikasi ke BigQuery. Anda dapat melakukannya dengan menempatkan data di set data lapisan mentah khusus untuk pemrosesan Pengambilan Data Perubahan (CDC) atau dengan menggunakan pipeline CDC yang sudah ada untuk memasukkan data langsung ke lapisan dasar data. Untuk mengetahui informasi selengkapnya, lihat Persyaratan teknis untuk mereplikasi data SAP ERP.

Anda dapat menggunakan alat replikasi pilihan Anda, asalkan alat tersebut dapat mereplikasi data dalam format tabel mentah ke BigQuery. Misalnya, solusi mencakup BigQuery Connector untuk SAP (memerlukan SAP SLT), dan BigQuery Toolkit untuk SAP.Google Cloud

Untuk memastikan kompatibilitas antara set data mentah yang direplikasi dari SAP ERP dan lapisan dasar data Cortex Framework, pastikan Anda memenuhi persyaratan berikut.

Persyaratan teknis untuk mereplikasi data SAP ERP

Pastikan untuk meninjau dan menyelesaikan persyaratan teknis berikut untuk mereplikasi data SAP ke Cortex Framework di BigQuery.

1. Struktur data mentah: Data dari ECC atau S/4HANA harus masuk ke BigQuery dengan struktur yang sama seperti tabel dasar di SAP dan tanpa transformasi bisnis. Tabel harus direplikasi dengan nama kolom, jenis, dan perincian yang diperlukan seperti yang ada di SAP.

2. Konfigurasi tabel: Daftar tabel yang akan diubah ditentukan dalam file table_settings.yaml (terletak di bagian config/cortex/data_foundation/sap). Jika tabel yang diperlukan tidak ada selama deployment, produk data tertentu yang bergantung padanya akan gagal.

3. Persyaratan metadata: Anda harus mereplikasi tabel DD03L dari sumber SAP Anda. Tabel ini sangat penting untuk pemecah dependensi karena berisi metadata dan kunci kolom.

4. Penggunaan huruf: Nama tabel SAP yang direplikasi di BigQuery harus menggunakan huruf kecil agar kompatibel dengan model data Cortex Framework (misalnya, tabel SAP MARA menjadi mara di BigQuery).

5. Nama objek (kolom) dan karakter khusus: Untuk nama objek (kolom) yang berisi karakter khusus (seperti /, -, atau garis bawah di awal _), Cortex mengharapkan pola pembersihan umum:

   • Semua karakter non-alfanumerik diganti dengan garis bawah _.
   • Garis bawah dan digit di awal tidak diizinkan. Misalnya, /GOOG/TEST menjadi goog_test, dan _DATAAGING menjadi dataaging. Jika alat replikasi Anda menyimpan data dengan mempertahankan garis bawah di depannya, langkah normalisasi (pemberian alias) di lapisan Data Foundation diperlukan.

6. Kolom propagasi data: Untuk mendukung CDC (Change Data Capture) dan propagasi data, tabel SAP yang direplikasi harus memiliki:

   • Flag operasi bernama operation_flag (L = pemuatan awal, I = penyisipan, U = update, D = penghapusan).
   • Stempel waktu bernama recordstamp (diisi dengan stempel waktu saat ini pada saat pemuatan).
   • Opsional: Kolom tambahan is_deleted (BOOLEAN) dipilih di tabel _DS_RAW yang direplikasi (secara default bernilai salah saat pemuatan awal). Tampilan runtime yang dihasilkan oleh Cortex mereferensikan kolom ini, tetapi kolom ini dapat dihapus dari template CDC dan tampilan sebelum eksekusi jika alat replikasi tidak menghasilkannya.

7. Jenis data: Pemetaan jenis data SAP yang diperlukan dengan jenis data BigQuery agar kompatibel:

   Diperlukan untuk operasi standar:

   Jenis data SAP	Jenis data BigQuery	Deskripsi
   DATS	DATE	Jenis data tanggal
   TIMS	TIME	Jenis data waktu

8. Sangat Direkomendasikan untuk presisi dan kompatibilitas:

   • CURR (Mata Uang) dan QUAN (Kuantitas) dipetakan ke NUMERIC atau BIGNUMERIC (Hindari FLOAT64 untuk mencegah kesalahan pembulatan dalam perhitungan keuangan).
   • NUMC (Karakter Numerik) dipetakan ke STRING (Untuk mempertahankan angka nol di depan untuk nomor dokumen dan nomor item, sehingga memastikan gabungan berhasil).
   Catatan: Secara umum, Anda dapat mengasumsikan pemetaan default selama operasi yang sama pada kolom target dapat diterapkan. Jika pemetaan diubah, pelanggan dapat mengubah jenis data secara manual CAST di template.

9. Kompresi Payload: Untuk mencegah kolom SAP kosong (nilai awal seperti spasi atau nol) diisi dengan NULL di BigQuery, pastikan kompresi payload dinonaktifkan dalam konfigurasi konektor (atau "Send Uncompressed" diaktifkan). Hal ini memastikan bahwa string kosong atau nol dipertahankan seperti itu di target, bukan ditetapkan ke nilai default NULL.