Sumber batch SAP BW Open Hub

Panduan ini menjelaskan cara men-deploy, mengonfigurasi, dan menjalankan pipeline data yang menggunakan plugin SAP BW Open Hub Batch Source. Anda dapat menggunakan SAP sebagai sumber untuk ekstraksi data berbasis batch dan delta di Cloud Data Fusion melalui BW Open Hub Service.

Plugin ini memungkinkan integrasi data massal dari aplikasi SAP dengan Cloud Data Fusion. Anda dapat mengonfigurasi dan menjalankan transfer data massal dari DataSources SAP tanpa coding apa pun.

Untuk mengetahui aplikasi dan objek SAP yang didukung untuk ekstraksi, lihat Detail dukungan. Untuk mengetahui informasi selengkapnya tentang cara menjalankan SAP di Google Cloud, lihat Ringkasan SAP di Google Cloud.

Tujuan

  • Konfigurasi sistem SAP BW.
  • Deploy plugin di lingkungan Cloud Data Fusion Anda.
  • Download transport SAP dari Cloud Data Fusion dan instal di SAP.
  • Gunakan Cloud Data Fusion dan SAP BW Open Hub Batch Source untuk membuat pipeline data guna mengintegrasikan data SAP.

Sebelum memulai

Untuk menggunakan plugin ini, Anda memerlukan pengetahuan domain di area berikut:

Peran pengguna

Tugas di halaman ini dilakukan oleh orang dengan peran berikut di Google Cloud atau di sistem SAP mereka:

Jenis pengguna Deskripsi
Google Cloud Admin Pengguna yang diberi peran ini adalah administrator akun Google Cloud.
Pengguna Cloud Data Fusion Pengguna yang diberi peran ini diberi otorisasi untuk mendesain dan menjalankan pipeline data. Mereka diberi, minimal, peran Data Fusion Viewer ( roles/datafusion.viewer). Jika menggunakan kontrol akses berbasis peran, Anda mungkin memerlukan peran tambahan.
Admin SAP Pengguna yang diberi peran ini adalah administrator sistem SAP. Mereka memiliki akses untuk mendownload software dari situs layanan SAP. Ini bukan peran IAM.
Pengguna SAP Pengguna yang diberi peran ini diberi otorisasi untuk terhubung ke sistem SAP. Ini bukan peran IAM.

Prasyarat untuk SAP BW

Anda memerlukan SAP HANA Studio untuk membuat dan mengedit Proses Transfer Data dan Rantai Proses.

Prasyarat untuk Cloud Data Fusion

  • Jaringan VPC diperlukan untuk pembuatan instance Cloud Data Fusion.
  • Diperlukan instance Cloud Data Fusion, versi 6.8.0 atau yang lebih baru, edisi apa pun.
  • Peran yang diperlukan harus diberikan ke akun layanan yang ditetapkan ke instance Cloud Data Fusion. Untuk mengetahui informasi selengkapnya, lihat Memberikan izin pengguna akun layanan.
  • Anda harus menggunakan koneksi peering antara VPC Anda dan jaringan VPC bersama Google.

Mengonfigurasi sistem SAP BW

SAP BW Open Hub Batch Source menggunakan Remote Function Module (RFM), yang harus diinstal di setiap Server SAP tempat data diekstrak. RFM ini dikirimkan sebagai transpor SAP.

Untuk mengonfigurasi sistem SAP Anda, ikuti langkah-langkah berikut:

  1. Pengguna Cloud Data Fusion harus mendownload file ZIP yang berisi transport SAP dan memberikannya kepada Admin SAP. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan Cloud Data Fusion.
  2. Admin SAP harus mengimpor transport SAP ke sistem SAP dan memverifikasi objek yang dibuat. Untuk mengetahui informasi selengkapnya, lihat Menginstal transportasi SAP.
  3. Opsional: Pengguna SAP dapat mengubah Objek Otorisasi Standar SAP dari peran yang diberikan /GOOG/BWOH_CDF_AUTH berdasarkan kebijakan keamanan organisasi mereka.

Menginstal file transport SAP

Untuk mendesain dan menjalankan pipeline data di Cloud Data Fusion, komponen SAP dikirimkan dalam file transport SAP, yang diarsipkan dalam file zip. Download tersedia saat Anda men-deploy plugin di Hub Cloud Data Fusion.

Untuk menginstal transport SAP, ikuti langkah-langkah berikut:

Langkah 1: Upload file permintaan transportasi

  1. Login ke sistem operasi Instance SAP.
  2. Gunakan kode transaksi SAP AL11 untuk mendapatkan jalur folder DIR_TRANS. Biasanya, jalurnya adalah /usr/sap/trans/.
  3. Salin cofile ke folder DIR_TRANS/cofiles.
  4. Salin file data ke folder DIR_TRANS/data.
  5. Tetapkan Pengguna dan Grup data dan cofile ke <sid>adm dan sapsys.

Langkah 2: Impor file permintaan transpor

Administrator SAP dapat mengimpor file permintaan transpor menggunakan salah satu opsi berikut:

Opsi 1: Impor file permintaan transpor menggunakan sistem pengelolaan transpor SAP
  1. Login ke sistem SAP sebagai administrator SAP.
  2. Masukkan transaksi STMS.
  3. Klik Ringkasan > Impor.
  4. Di kolom Antrean, klik dua kali SID saat ini.
  5. Klik Ekstra > Permintaan Lainnya > Tambahkan.
  6. Pilih ID permintaan transpor, lalu klik Lanjutkan.
  7. Pilih permintaan transportasi dalam antrean impor, lalu klik Permintaan > Impor.
  8. Masukkan nomor Klien.

  9. Di tab Options, pilih Overwrite Originals dan Ignore Invalid Component Version.

    Opsional: Pilih Tinggalkan Permintaan Transportasi dalam Antrean untuk Impor Nanti. Hal ini menyebabkan permintaan diimpor lagi dalam urutan yang benar dengan impor semua permintaan berikutnya. Opsi ini berguna jika Anda harus melakukan impor awal untuk setiap permintaan.

  10. Klik Lanjutkan.

  11. Pastikan modul fungsi dan peran otorisasi berhasil diimpor menggunakan transaksi yang sesuai, seperti SE80 dan PFCG.

Opsi 2: Impor file permintaan transportasi di tingkat sistem operasi
  1. Login ke sistem SAP sebagai administrator SAP.

  2. Tambahkan permintaan yang sesuai ke buffer impor:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Contoh: tp addtobuffer BW1K900054 DD1

  3. Impor permintaan transpor:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Ganti NNN dengan nomor klien. Contoh:

    tp import BW1K900054 DD1 client=100 U1238

  4. Pastikan modul fungsi dan peran otorisasi berhasil diimpor menggunakan transaksi yang sesuai, seperti SE80 dan PFCG.

Otorisasi SAP yang diperlukan

Untuk menjalankan pipeline data di Cloud Data Fusion, Anda memerlukan Pengguna SAP. Pengguna SAP harus berjenis Communications atau Dialog. Untuk menghindari penggunaan resource dialog SAP, sebaiknya gunakan jenis Communications. Administrator SAP dapat membuat pengguna menggunakan kode transaksi SAP SU01.

Otorisasi SAP diperlukan untuk mengonfigurasi konektor untuk SAP. Objek otorisasi SAP khusus konektor dikirimkan sebagai bagian dari Permintaan Transportasi. Impor Transport Peran Otorisasi seperti yang dijelaskan dalam Menginstal transport SAP untuk memasukkan Peran ke dalam sistem Anda dan membuat peran dari kode transaksi PFCG.

Untuk objek otorisasi SAP standar, organisasi Anda mengelola izin dengan mekanisme keamanannya sendiri. Anda dapat mengelola objek otorisasi berdasarkan kebijakan keamanan organisasi Anda.

Buat Rantai Proses (PC) dan Proses Transfer Data (DTP)

Membuat rantai proses dan proses transfer data memerlukan beberapa keterampilan tambahan dan pengetahuan latar belakang.

Konsep latar belakang

Untuk membuat atau mengedit PC dan DTP, gunakan SAP HANA Studio.

Keterampilan prasyarat

  • Anda telah menggunakan transformasi untuk menentukan alur data antara sumber dan objek target.
  • Anda memahami dengan baik konsep dasar BW dan HANA, seperti Objek DataStore (DSO), Transformasi Data, InfoCube, Pengoptimalan kueri, Pemodelan HANA, dan fitur DB HANA menggunakan HANA Studio. Untuk mengetahui informasi selengkapnya tentang konsep ini, lihat tutorial SAP tentang BW dan HANA.

Jenis ekstraksi

Ada dua mode ekstraksi data untuk Proses Transfer Data—Penuh (Full) dan Delta.

  • Penuh: Memilih semua data yang tersedia di sumber berdasarkan kondisi Filter yang disebutkan dalam DTP. Jika sumber data adalah salah satu InfoProvider berikut, hanya mode ekstraksi Penuh yang tersedia:

    • InfoObjects
    • InfoSets
    • Objek DataStore untuk Update Langsung

  • Delta: Tidak seperti InfoPackage, transfer Delta menggunakan DTP tidak memerlukan inisialisasi eksplisit. Saat DTP dieksekusi dengan mode ekstraksi Delta untuk pertama kalinya, semua permintaan yang ada hingga waktu ekstraksi akan diambil dari sumber, lalu delta akan diinisialisasi secara otomatis.

    Opsi berikut tersedia untuk DTP dengan mode ekstraksi Delta:

    • Hanya Dapatkan Delta Sekali
    • Mendapatkan Semua Permintaan Data Baru Berdasarkan Permintaan
    • Ambil Hingga Tidak Ada Lagi Data Baru

Ukuran paket: Ini adalah jumlah catatan data yang ada dalam setiap paket data. Nilai defaultnya adalah 50,000.

Membuat Rantai Proses

Untuk membuat Rantai Proses (PC), gunakan transaksi RSPC di SAP GUI. Tentukan proses awal, lalu tambahkan langkah-langkah proses dan DTP. Untuk mengetahui informasi selengkapnya, lihat dokumentasi SAP tentang Membuat Rantai Proses.

Berbagai opsi tersedia di HANA Studio untuk memantau dan mengelola PC. Untuk mengetahui informasi selengkapnya, lihat Operasi Rantai Proses SAP BW/4HANA.

Membuat Proses Transfer Data menggunakan Rantai Proses

Buka tampilan Planning dari Rantai Proses yang ingin Anda gunakan untuk Proses Transfer Data. Dari tampilan Planning, Anda dapat membuat DTP menggunakan HANA Studio. Untuk mengetahui informasi selengkapnya, lihat dokumentasi SAP untuk Membuat Proses Transfer Data.

Untuk mengetahui informasi selengkapnya tentang opsi konfigurasi, lihat Semua tentang Proses Transfer Data (DTP) – SAP BW 7.

Koneksi RFC

Untuk memberi tahu sistem callback, seperti plugin SAP BW Open Hub Batch Source, bahwa data tersedia, Rantai Proses harus diperbarui untuk menggunakan tujuan RFC:

  1. Di SM59, buat koneksi RFC jenis TCP/IP Connections untuk memberi tahu sistem target dari BW setelah pemuatan data selesai di BI.

  2. Pastikan Program ID dikonfigurasi di koneksi RFC dengan mengklik dua kali koneksi RFC. ID Program harus unik untuk setiap tujuan RFC guna menghindari konflik pendengar runtime.

  3. Gunakan koneksi TCP/IP yang baru dibuat di Rantai Proses untuk mengirim notifikasi, agar tugas batch Cloud Data Fusion selesai. Nama rantai proses tidak peka huruf besar/kecil. Harus ditentukan dengan benar dalam huruf besar dalam proses integrasi menyeluruh.

Menampilkan log Rantai Proses dan Proses Transfer Data

  1. Buka Tcode : RSPC, lalu klik Process Chains.

  2. Klik kanan Rantai Proses yang lognya ingin Anda tampilkan, lalu klik Tampilkan Log.

Mengonfigurasi cluster Managed Service untuk Apache Spark saat menggunakan Rantai Proses

Untuk mengaktifkan komunikasi melalui server RFC, Anda harus menambahkan entri port SAP Gateway dalam file /etc/services di node cluster Managed Service untuk Apache Spark. Sebaiknya gunakan init action, skrip yang akan dieksekusi saat cluster diinisialisasi. Untuk mengetahui informasi selengkapnya, lihat Tindakan Inisialisasi.

Buat file skrip dan simpan ke bucket Cloud Storage. Contoh berikut menunjukkan konten file skrip:

gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services

Dalam contoh sebelumnya, perhatikan hal-hal berikut:

  • Entri dalam bentuk sapgwxx 33xx/tcp, dengan XX adalah nomor instance SAP.

  • Port untuk instance SAP 00 hingga 04 ditambahkan.

Lakukan langkah-langkah berikut jika Anda menggunakan cluster Managed Service untuk Apache Spark persisten yang baru dibuat atau sementara, atau cluster Managed Service untuk Apache Spark persisten yang sudah ada.

Cluster Managed Service untuk Apache Spark sementara

Jika Anda menggunakan cluster Managed Service untuk Apache Spark efemeral, tambahkan jalur skrip init ke properti cluster:

  1. Di monitor tugas, dari halaman pipeline di Cloud Data Fusion, klik Configure.
  2. Pilih profil Compute, lalu klik Sesuaikan.
  3. Di bagian Setelan Lanjutan, di kolom Tindakan Inisialisasi, masukkan jalur ke skrip init.

Cluster Managed Service untuk Apache Spark persisten baru

Jika Anda menggunakan cluster Dataproc persisten yang baru dibuat, gunakan skrip init dalam perintah gcloud untuk membuat cluster. Misalnya:

gcloud dataproc clusters create cluster-name \
  --region=${REGION} \
  --initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
  ... other flags ...

Cluster Managed Service untuk Apache Spark persisten yang ada

Jika Anda menggunakan cluster Dataproc persisten yang sudah ada, ikuti langkah-langkah berikut:

Jika cluster telah dibuat tanpa menggunakan skrip init, tambahkan entri secara manual di node Master dan Worker cluster Managed Service for Apache Spark.

  1. SSH ke Node Master dan Cluster.
  2. Login ke ID pengguna root.
  3. Buka /etc/, lalu buka file /etc/services di editor VI.
  4. Tambahkan entri sapgwxx 33xx/tcp. Ganti xx dengan nomor instance SAP Anda.
  5. Simpan file /etc/services.

Menyiapkan Cloud Data Fusion

Pastikan komunikasi diaktifkan antara instance Cloud Data Fusion dan server SAP. Untuk instance pribadi, siapkan peering jaringan. Setelah peering jaringan dibuat dengan project tempat sistem SAP dihosting, tidak ada konfigurasi tambahan yang diperlukan untuk terhubung ke instance Cloud Data Fusion Anda. Sistem SAP dan instance Cloud Data Fusion harus berada dalam project yang sama.

Langkah-langkah untuk pengguna Cloud Data Fusion

  1. Buka detail instance:

    1. Di konsol Google Cloud , buka halaman Cloud Data Fusion.

    2. Klik Instance, lalu klik nama instance untuk membuka halaman Instance details.

      Buka Instance

  2. Pastikan instance telah diupgrade ke versi 6.8.0 atau yang lebih baru. Jika instance berada dalam versi yang lebih lama, Anda harus mengupgradenya.
  3. Buka instance. Saat UI Cloud Data Fusion terbuka, klik Hub.
  4. Pilih tab SAP > SAP BW. Jika tab SAP tidak terlihat, lihat Memecahkan masalah integrasi SAP.
  5. Klik Deploy SAP BW Plugin. Plugin akan muncul di menu Sumber di halaman Studio.

Langkah-langkah untuk Admin SAP dan Admin Google Cloud

Admin SAP mendownload artefak JCo berikut dari situs Dukungan SAP dan memberikannya kepada Admin Google Cloud .

  • Satu platform independen (sapjco3.jar)
  • Satu yang bergantung pada platform (libsapjco3.so di Unix)

Untuk mendownload file, ikuti langkah-langkah berikut:

  1. Buka halaman SAP Connectors.
  2. Klik SAP Java Connector/Tools and Services. Anda dapat memilih link khusus platform untuk download.

  3. Pilih platform tempat instance Cloud Data Fusion Anda berjalan:

    1. Jika Anda menggunakan image Google Cloud standar untuk VM di cluster, yang merupakan default untuk Cloud Data Fusion, pilih Linux untuk prosesor yang kompatibel dengan Intel 64-bit x86.
    2. Jika Anda menggunakan gambar kustom, pilih platform yang sesuai.

  4. Admin Google Cloud harus menyalin file JCo ke bucket Cloud Storage yang dapat dibaca. Berikan jalur bucket kepada pengguna Cloud Data Fusion agar dapat memasukkannya di properti plugin yang sesuai di Cloud Data Fusion: SAP JCo Library GCS Path. Lihat Mengonfigurasi plugin.

  5. Admin Google Cloud harus memberikan akses baca untuk kedua file tersebut ke akun layanan Cloud Data Fusion untuk lingkungan desain dan akun layanan Managed Service for Apache Spark untuk lingkungan eksekusi. Untuk mengetahui informasi selengkapnya, lihat Akun layanan Cloud Data Fusion.

Mengonfigurasi plugin

Plugin SAP BW Open Hub Batch Source membaca konten SAP DataSource.

Untuk memfilter data, Anda dapat mengonfigurasi properti berikut untuk SAP BW Open Hub Batch Source.

Indikator berikut digunakan untuk menentukan kolom:

  • (M): Menunjukkan bahwa Makro didukung untuk kolom terkait
  • (O): Kolom opsional

Label: Label plugin di kanvas.

Dasar

Dalam daftar properti berikut, (M) berarti opsi mendukung makro, dan dapat digunakan untuk mengelola koneksi SAP secara terpusat. Misalnya, Anda dapat menggunakan makro untuk properti koneksi dan menetapkan nilai saat runtime menggunakan parameter runtime atau plugin Argument Setter.

  • Nama Referensi: Nama yang digunakan untuk mengidentifikasi sumber ini secara unik untuk silsilah dan menganotasi metadata.

  • Gunakan koneksi (Tombol aktif/nonaktif): Apakah akan menggunakan koneksi yang ada (lihat Mengelola koneksi). Jika memilih untuk menggunakan koneksi yang ada, Anda tidak perlu memberikan detail koneksi SAP apa pun.

  • Koneksi (jelajahi koneksi): Pilih koneksi yang ada untuk digunakan. Anda juga dapat menggunakan fungsi makro ${conn(connection-name)}.

  • Klien SAP (M): Klien SAP yang akan digunakan. Contoh, 100.

  • Bahasa SAP (M): Bahasa login SAP. Contoh, EN.

  • Jenis Koneksi: Jenis koneksi SAP—langsung atau load balanced. Koneksi yang di-load balance tidak didukung untuk ekstraksi berbasis Rantai Proses. Untuk mengetahui informasi selengkapnya, lihat Detail dukungan.

    Memilih jenis koneksi akan mengubah kolom yang tersedia.

    Untuk koneksi langsung, kolom berikut tersedia:

    • Host Server Aplikasi SAP (M): Nama server atau alamat IP SAP.
    • Nomor Sistem SAP (M): Nomor sistem SAP. Contoh, 00.
    • SAP Router (M, O): String router.

    Untuk koneksi yang di-load balance, kolom berikut tersedia:

    • SAP Message Server Host (M): Nama host atau alamat IP server pesan SAP.
    • Nomor Port atau Layanan Message Server SAP (M): Nomor port atau layanan message server SAP. Contoh, sapms02.
    • ID Sistem (SID) SAP (M): ID sistem SAP. Contoh, N75.
    • Nama Grup Logon SAP (M): Nama grup logon SAP. Contoh, PUBLIC.

  • Gunakan Rantai Proses (M): Kolom ini berisi dua opsi.

    Jika Anda mengaktifkan Rantai Proses menggunakan opsi Ya, properti berikut akan diaktifkan:

    • Otomatis Menyelesaikan Error PC dan DTP: Mengontrol perilaku saat ditemukan eksekusi yang sebelumnya gagal. Jika dinonaktifkan, plugin akan gagal pipeline dengan error yang relevan. Jika diaktifkan (default), plugin akan memeriksa status Rantai Proses dan Proses Transfer Data di SAP. Jika salah satu error berikut teridentifikasi, plugin akan otomatis mencoba menyelesaikannya:

    • Data Transfer Process in error state: Plugin menghapus permintaan sebelumnya

    • Rantai Proses dalam status Merah dengan error previous request status has not been set: Plugin menghapus permintaan pemblokiran setelah mendapatkan ID permintaan dari log Rantai Proses, lalu mencoba menjalankan PC.

    • Waktu Tunggu Notifikasi Status Rantai Proses (dalam menit) (M, O): Menunggu selama waktu yang ditentukan, dalam menit, hingga Rantai Proses menyelesaikan penyusunan data dan memberi tahu pipeline untuk memulai ekstraksi. Jika Anda menentukan 0 atau mengosongkannya, nilai akan dianggap sebagai 10 menit, yang merupakan nilai default.

    • Rantai Proses (M): Nama Rantai Proses SAP. Contoh, PC_RFC.

    Jika Anda menonaktifkan Rantai Proses menggunakan opsi Tidak, properti berikut akan diaktifkan:

    • Open Hub Destination (M): Buka nama Open Hub Destination untuk dibaca.
    • ID Permintaan (M,O): ID Permintaan untuk Proses Transfer Data yang sudah dijalankan.

Kredensial

  • Nama Pengguna SAP Logon (M): Nama pengguna SAP. Direkomendasikan: Jika nama pengguna login SAP berubah secara berkala, gunakan makro.
  • Sandi Logon SAP (M): Sandi pengguna SAP. Direkomendasikan: Untuk nilai sensitif seperti Sandi pengguna, gunakan makro aman

Detail SAP JCo

  • ID Project GCP (M): ID project, yang mengidentifikasi project secara unik. Google Cloud Anda dapat menemukannya di Dasbor di konsolGoogle Cloud .
  • Jalur GCS Library SAP JCo (M): Jalur Cloud Storage yang berisi file library SAP JCo yang diupload pengguna.
  • Dapatkan Skema: Klik ini jika Anda ingin plugin membuat skema berdasarkan metadata dari SAP, dengan pemetaan otomatis jenis data SAP ke jenis data Cloud Data Fusion yang sesuai. Fungsi ini sama dengan tombol Validasi.

Untuk mengetahui informasi selengkapnya tentang sertifikat klien, lihat Menggunakan Sertifikat Klien X.509 di Server Aplikasi SAP NetWeaver untuk ABAP.

Lanjutan

  • Jumlah Pemisahan yang Akan Dibuat (M, O): Jumlah pemisahan digunakan untuk mempartisi data input. Lebih banyak partisi akan meningkatkan tingkat paralelisme, tetapi memerlukan lebih banyak resource dan overhead. Dalam kasus sistem SAP on-premise, jika nilai tidak ditentukan di UI, pembagiannya adalah 50% dari proses tugas dialog yang tersedia di SAP. Jika tidak, pemisahan dioptimalkan antara proses kerja yang ditentukan pengguna dan 50% dari proses kerja yang tersedia.

    Direkomendasikan: Biarkan properti kosong, kecuali jika Anda memahami setelan sistem SAP Anda.

  • Properti Koneksi SAP Tambahan (M, O): Tetapkan properti SAP JCo tambahan yang menggantikan nilai default SAP JCo. Misalnya, menetapkan jco.destination.pool_capacity = 10 akan menggantikan kapasitas kumpulan koneksi default.

    Tabel berikut mencantumkan properti SAP JCo yang didukung:

Properti Deskripsi
jco.destination.peak_limit Jumlah maksimum koneksi aktif yang dapat dibuat untuk tujuan secara bersamaan.
jco.destination.pool_capacity Jumlah maksimum koneksi tidak ada aktivitas yang tetap terbuka oleh tujuan. Nilai 0 akan menyebabkan tidak ada penggabungan koneksi, yaitu, koneksi akan ditutup setelah setiap permintaan.
jco.destination.expiration_time Waktu dalam ms setelah koneksi yang ditahan oleh pool internal dapat ditutup.
jco.destination.expiration_check_period Interval dalam ms yang digunakan oleh thread pemeriksa waktu tunggu untuk memeriksa koneksi dalam kumpulan untuk mengetahui apakah koneksi sudah berakhir.
jco.destination.max_get_client_time Waktu maksimum dalam ms untuk menunggu koneksi, jika jumlah koneksi maksimum yang diizinkan dialokasikan oleh aplikasi.

Perilaku mode ekstraksi data

Mode ekstraksi data dikontrol melalui setelan Proses Transfer Data. Perilakunya berbeda saat menggunakan Rantai Proses dibandingkan dengan menggunakan Tujuan Open Hub.

Saat menggunakan Rantai Proses

Setelan di tingkat Proses Transfer Data mengontrol apakah pemuatan penuh atau delta dilakukan. ID Permintaan tiba sebagai notifikasi dari SAP ke plugin. Plugin membaca data paket yang terkait dengan satu ID permintaan ini.

Saat menggunakan Tujuan Hub Terbuka tanpa ID permintaan

Pemuatan penuh: Menjalankan pipeline untuk pertama kalinya akan mendapatkan semua ID permintaan yang tersedia dalam tabel Open Hub. Plugin membaca data paket yang terkait dengan ID permintaan ini.

Pemuatan delta: Menjalankan pipeline yang sama untuk waktu berikutnya akan mengambil semua ID permintaan delta yang tersedia, setelah ID permintaan yang terakhir diambil. Plugin membaca data paket yang terkait dengan ID permintaan ini.

Saat menggunakan Tujuan Hub Terbuka dengan ID permintaan

Pemuatan Penuh: Menjalankan pipeline untuk pertama kalinya akan mendapatkan semua ID permintaan berikutnya yang tersedia yang lebih besar dari ID permintaan yang ditentukan. Plugin membaca data paket yang terkait dengan ID permintaan ini.

Pemuatan Delta: Menjalankan pipeline yang sama untuk waktu berikutnya akan mengambil semua ID permintaan delta yang tersedia, setelah ID permintaan yang terakhir diambil. Plugin membaca data paket yang terkait dengan ID permintaan ini.

Pemetaan jenis data

Tabel berikut menunjukkan pemetaan antara jenis data yang digunakan di SAP BW dan Cloud Data Fusion.

Jenis data BW Jenis ABAP Deskripsi (SAP) Jenis data Cloud Data Fusion
Numerik
INT1 b Bilangan bulat 1 byte integer
INT2 s Bilangan bulat 2 byte integer
INT4 i Bilangan bulat 4 byte integer
INT8 8 Bilangan bulat 8 byte long
DES p Angka yang dikemas dalam format BCD (DEC) decimal
DF16_DEC
DF16_RAW		 a Floating point desimal 8 byte IEEE 754r decimal
DF34_DEC
DF34_RAW		 e Floating point desimal 16 byte IEEE 754r decimal
FLTP f Bilangan floating point biner double
Karakter
CHAR
LCHR		 c String karakter string
SSTRING
GEOM_EWKB		 string String karakter string
STRING string CLOB string karakter bytes
NUMC
ACCP		 n Teks numerik string
Byte
RAW
LRAW		 x Data biner bytes
RAWSTRING xstring BLOB string byte bytes
Date/Time
DATS d Tanggal date
TIMS t Waktu time
TIMESTAMP utcl TimeStamp
Utclong		 timestamp

Validasi

Klik Validasi atau Dapatkan Skema.

Plugin memvalidasi properti dan menghasilkan skema berdasarkan metadata dari SAP. Plugin ini otomatis memetakan jenis data SAP ke jenis data Cloud Data Fusion yang sesuai.

Menjalankan pipeline data

  1. Setelah men-deploy pipeline, klik Konfigurasi.
  2. Pilih Sumber.
  3. Jika perlu, ubah CPU Executor dan Memori berdasarkan ukuran data keseluruhan dan jumlah transformasi yang digunakan dalam pipeline.
  4. Klik Simpan.
  5. Untuk memulai pipeline data, klik Run.

Optimalkan performa

Mengoptimalkan konfigurasi plugin

Gunakan properti berikut untuk performa optimal saat Anda menjalankan pipeline:

  • Number of Splits to Generate di properti plugin Cloud Data Fusion: Ini secara langsung mengontrol paralelisme di sisi Cloud Data Fusion. Mesin runtime membuat jumlah partisi dan koneksi SAP yang ditentukan saat mengekstrak rekaman tabel. Nilai antara 8 dan 16 direkomendasikan, tetapi Anda dapat meningkatkannya hingga 32 atau 64 dengan konfigurasi yang sesuai di sisi SAP, dengan mengalokasikan resource memori yang sesuai untuk proses kerja di SAP.

    Jika nilainya adalah 0 atau dibiarkan kosong (direkomendasikan), sistem akan otomatis memilih nilai yang sesuai berdasarkan jumlah proses kerja SAP yang tersedia, kumpulan data yang akan diekstrak, dan ukuran paket.

  • Ukuran Paket di properti Proses Transfer Data BW: Ini mengontrol jumlah catatan data yang ada dalam setiap paket data. Nilai defaultnya adalah 50,000. Meningkatkan nilai ini dapat menghasilkan performa yang lebih baik, tetapi beban resource yang lebih tinggi. Jika Anda sudah menggunakan nilai yang lebih tinggi, turunkan nilai tersebut untuk memungkinkan paralelisme ekstraksi yang lebih baik.

Setelan resource Cloud Data Fusion

Direkomendasikan: Gunakan 1 CPU dan memori 4 GB per eksekutor. Nilai ini berlaku untuk setiap proses eksekutor. Tetapkan nilai ini dalam dialog Configure > Resources.

Setelan cluster Managed Service untuk Apache Spark

Direkomendasikan: Setidaknya, alokasikan total CPU di seluruh pekerja, yang lebih besar dari jumlah pemisahan yang diinginkan. Lihat Konfigurasi plugin.

Misalnya, jika Anda memiliki 16 pemisahan, tentukan total 20 CPU atau lebih, di semua pekerja. Ada overhead 4 CPU yang digunakan untuk koordinasi.

Direkomendasikan: Gunakan cluster Managed Service untuk Apache Spark yang persisten guna mengurangi waktu proses pipeline data. Hal ini menghilangkan langkah penyediaan, yang mungkin memerlukan waktu beberapa menit atau lebih. Tetapkan ini di bagian konfigurasi Compute Engine.

Detail dukungan

Produk dan versi SAP yang didukung

Sumber yang didukung:

  • SAP NW BW 7.5 dan yang lebih baru
  • SAP BW4HANA 2.0 SP9 (untuk menyertakan Open Hub Destination API; rilis BW4HANA sebelumnya tidak mendukung Open Hub Destination API)

Dukungan untuk koneksi SAP load balanced (server pesan)

Koneksi SAP yang di-load balance (server pesan) didukung untuk ekstraksi berbasis Tujuan Open Hub, yang tidak menggunakan Server RFC.

Koneksi SAP yang di-load balance (server pesan) tidak didukung untuk ekstraksi berbasis rantai proses. Alasannya adalah batasan SAP saat memberikan notifikasi data ready ke sistem klien, yang mengharuskan pendaftaran Server RFC (pendengar plugin) di setiap Server SAP dalam lanskap BW, sehingga meningkatkan footprint konektor dan berpotensi memengaruhi performa SAP dan penggunaan resource. Untuk mengetahui informasi selengkapnya, lihat SAP Note 2572564 (login dukungan SAP diperlukan untuk melihat).

Model deployment SAP yang didukung

Plugin diuji dengan server SAP yang di-deploy di Google Cloud.

Objek SAP yang Didukung

Sumber data untuk Tujuan Hub Terbuka: InfoProvider (InfoObject, InfoCube, Objek DataStore, Objek Data Store Lanjutan, Composite Provider)

Rantai Proses untuk otomatis menjalankan Proses Transfer Data ke Tujuan OpenHub.

Lisensi terpisah untuk menggunakan Oracle HTTP Server guna mengekstrak data dari SAP

Anda tidak memerlukan lisensi terpisah untuk menggunakan Oracle HTTP Server (OHS) untuk mengekstrak data dari SAP; namun, hubungi perwakilan SAP Anda untuk mengetahui perjanjian dan kasus penggunaan spesifik Anda.

Throughput plugin yang diharapkan

Untuk lingkungan yang dikonfigurasi sesuai dengan panduan di Mengoptimalkan performa, plugin dapat mengekstrak sekitar 38 GB per jam. Performa sebenarnya dapat bervariasi dengan beban sistem Cloud Data Fusion dan SAP atau traffic jaringan.

Langkah berikutnya