Langkah 5: Mengonfigurasi deployment

Halaman ini menjelaskan langkah kelima untuk men-deploy Cortex Framework Data Foundation, inti dari Cortex Framework. Pada langkah ini, Anda akan mengubah file konfigurasi di repositori Cortex Framework Data Foundation agar sesuai dengan persyaratan Anda.

File konfigurasi

Perilaku deployment dikontrol oleh file konfigurasi config.json di Cortex Framework Data Foundation. File ini berisi konfigurasi global, konfigurasi khusus untuk setiap workload. Edit file config.json sesuai kebutuhan Anda dengan langkah-langkah berikut:

  1. Buka file config.json dari Cloud Shell.

  2. Edit file config.json sesuai dengan parameter berikut:

    <td"> Parameter <td">Artinya <td">Nilai Default <td">Deskripsi </td"></td"></td"></td"><td">testData <td">Men-deploy Data Uji <td">true <td">Project tempat set data sumber berada dan build dijalankan. Catatan: Deployment data uji hanya akan dijalankan jika set data mentah kosong dan tidak memiliki tabel. </td"></td"></td"></td"><td">deploySAP <td">Men-deploy SAP <td">true <td">Menjalankan deployment untuk workload SAP (ECC atau S/4 HANA). </td"></td"></td"></td"><td">deploySFDC <td">Men-deploy Salesforce <td">true <td">Menjalankan deployment untuk workload Salesforce. </td"></td"></td"></td"><td">deployMarketing <td">Men-deploy Pemasaran <td">true <td">Menjalankan deployment untuk sumber Pemasaran (Google Ads, CM360, dan TikTok). </td"></td"></td"></td"><td">deployOracleEBS <td">Men-deploy Oracle EBS <td">true <td">Menjalankan deployment untuk workload Oracle EBS. </td"></td"></td"></td"><td">enableTaskDependencies <td">DAG yang bergantung pada tugas <td">false <td">Mengaktifkan DAG yang bergantung pada tugas sehingga yang didukung tabel SQL akan dieksekusi berdasarkan urutan dependensi, dalam satu DAG. Untuk mengetahui informasi selengkapnya, lihat DAG yang bergantung pada tugas. </td"></td"></td"></td"><td">turboMode <td">Men-deploy dalam mode Turbo. <td">true <td">Menjalankan semua build tampilan sebagai langkah dalam proses Cloud Build yang sama, secara paralel untuk deployment yang lebih cepat. Jika disetel ke false, setiap tampilan pelaporan akan dibuat dalam langkah build berurutan sendiri. Sebaiknya setel ke true hanya saat menggunakan data uji atau setelah ketidakcocokan antara kolom pelaporan dan data sumber diselesaikan. </td"></td"></td"></td"><td">projectIdSource <td">Project ID Sumber <td">- <td">Project tempat set data sumber berada dan build dijalankan. </td"></td"></td"></td"><td">projectIdTarget <td">Project ID Target <td">- <td">Project target untuk set data yang ditampilkan kepada pengguna. </td"></td"></td"></td"><td">targetBucket <td">Bucket Target untuk menyimpan skrip DAG yang dibuat <td">- <td">Bucket yang dibuat sebelumnya tempat DAG (dan file sementara Dataflow) dibuat. Hindari penggunaan bucket Airflow yang sebenarnya. </td"></td"></td"></td"><td">location <td">Lokasi atau Region <td">"US" <td">Lokasi tempat set data BigQuery dataset dan bucket Cloud Storage berada.

    Lihat batasan yang tercantum di bagian Lokasi set data BigQuery.

    </td"></td"></td"></td"><td">testDataProject <td">Sumber untuk test harness <td">kittycorn-public <td">Sumber data uji untuk demo deployment. Berlaku jika testData adalah true.

    Jangan ubah nilai ini, kecuali jika Anda memiliki test harness sendiri.

    </td"></td"></td"></td"><td">k9.datasets.processing <td">Set data K9 - Pemrosesan <td">"K9_PROCESSING" <td">Menjalankan template lintas-workload (misalnya, dimensi tanggal) seperti yang ditentukan dalam file konfigurasi K9. Template ini biasanya diperlukan oleh workload hilir. </td"></td"></td"></td"><td">k9.datasets.reporting <td">Set data K9 - Pelaporan <td">"K9_REPORTING" <td">Menjalankan template lintas-workload dan sumber data eksternal (misalnya: cuaca) seperti yang ditentukan dalam file konfigurasi K9. Dikomentari secara default. </td"></td"></td"></td">

  3. Konfigurasi workload yang diperlukan sesuai kebutuhan. Anda tidak perlu mengonfigurasinya jika parameter deployment (misalnya, deploySAP atau deployMarketing) untuk workload disetel ke False. Untuk mengetahui informasi selengkapnya, lihat Langkah 3: Menentukan mekanisme integrasi.

Untuk penyesuaian deployment yang lebih baik, lihat langkah opsional berikut:

Pengoptimalan performa untuk tampilan pelaporan

Artefak pelaporan dapat dibuat sebagai tampilan atau sebagai tabel yang diperbarui secara berkala melalui DAG. Di satu sisi, tampilan menghitung data pada setiap eksekusi kueri, yang membuat hasilnya selalu baru. Di sisi lain, tabel menjalankan komputasi satu kali, dan hasilnya dapat dikueri beberapa kali tanpa menimbulkan biaya komputasi yang lebih tinggi dan mencapai runtime yang lebih cepat. Setiap pelanggan membuat konfigurasi sendiri sesuai dengan kebutuhannya.

Hasil terwujud diperbarui ke dalam tabel. Tabel ini dapat disesuaikan lebih lanjut dengan menambahkan Pemartisian dan Pengelompokan ke tabel ini.

File konfigurasi untuk setiap workload terletak di jalur berikut dalam repositori Cortex Framework Data Foundation:

<td">Sumber Data <td">File setelan </td"></td"><td">Operasional - SAP <td">src/SAP/SAP_REPORTING/reporting_settings_ecc.yaml </td"></td"><td">Operasional - Salesforce Sales Cloud <td">src/SFDC/config/reporting_settings.yaml </td"></td"><td">Operasional - Oracle EBS <td">src/oracleEBS/config/reporting_settings.yaml </td"></td"><td">Pemasaran - Google Ads <td">src/marketing/src/GoogleAds/config/reporting_settings.yaml </td"></td"><td">Pemasaran - CM360 <td">src/marketing/src/CM360/config/reporting_settings.yaml </td"></td"><td">Pemasaran - Meta <td">src/marketing/src/Meta/config/reporting_settings.yaml </td"></td"><td">Pemasaran - Salesforce Marketing Cloud <td">src/marketing/src/SFMC/config/reporting_settings.yaml </td"></td"><td">Pemasaran - TikTok <td">src/marketing/src/TikTok/config/reporting_settings.yaml </td"></td"><td"> Pemasaran - YouTube (dengan DV360) <td">src/marketing/src/DV360/config/reporting_settings.yaml </td"></td"><td">Pemasaran - Google Analytics 4 <td">src/marketing/src/GA4/config/reporting_settings.yaml </td"></td"><td">Pemasaran - Cross Media & Product Connected Insights <td">src/marketing/src/CrossMedia/config/reporting_settings.yaml </td"></td">

Menyesuaikan file setelan pelaporan

File reporting_settings menentukan cara objek BigQuery (tabel atau tampilan) dibuat untuk set data pelaporan. Sesuaikan file Anda dengan deskripsi parameter berikut. Perhatikan bahwa file ini berisi dua bagian:

  1. bq_independent_objects: Semua objek BigQuery yang dapat dibuat secara independen, tanpa dependensi lainnya. Jika Turbo mode diaktifkan, objek BigQuery ini akan dibuat secara paralel selama waktu deployment, sehingga mempercepat proses deployment.
  2. bq_dependent_objects: Semua objek BigQuery yang perlu dibuat dalam urutan tertentu karena dependensi pada objek BigQuery lainnya. Turbo mode tidak berlaku untuk bagian ini.

Deployer pertama-tama membuat semua objek BigQuery yang tercantum di bq_independent_objects, lalu semua objek yang tercantum di bq_dependent_objects. Tentukan properti berikut untuk setiap objek:

  1. sql_file: Nama file SQL yang membuat objek tertentu.
  2. type: Jenis objek BigQuery. Kemungkinan nilai:
    • view : Jika Anda ingin objek menjadi tampilan BigQuery.
    • table: Jika Anda ingin objek menjadi tabel BigQuery.
    • script: Ini digunakan untuk membuat jenis objek lainnya (misalnya, fungsi BigQuery dan proses tersimpan).
  3. Jika type disetel ke table, properti opsional berikut dapat ditentukan:
    • load_frequency: Frekuensi DAG Composer dijalankan untuk memperbarui tabel ini. Lihat dokumentasi Airflow untuk mengetahui detail tentang kemungkinan nilai.
    • partition_details: Cara tabel harus dipartisi. Nilai ini opsional. Untuk mengetahui informasi selengkapnya, lihat bagian Partisi tabel.
    • cluster_details: Cara tabel harus dikelompokkan. Nilai ini opsional. Untuk mengetahui informasi selengkapnya, lihat bagian Setelan cluster.

Partisi tabel

File setelan tertentu memungkinkan Anda mengonfigurasi tabel terwujud dengan opsi pengelompokan dan pemartisian kustom. Hal ini dapat meningkatkan performa kueri secara signifikan untuk set data besar. Opsi ini hanya berlaku untuk SAP cdc_settings.yaml dan semua file reporting_settings.yaml.

Pemartisian Tabel dapat diaktifkan dengan menentukan partition_details berikut:

- base_table: vbap
  load_frequency: "@daily"
  partition_details: {
    column: "erdat", partition_type: "time", time_grain: "day" }

Gunakan parameter berikut untuk mengontrol detail pemartisian untuk tabel tertentu:

<td">Properti <td">Deskripsi <td">Nilai </td"></td"></td"><td">column <td">Kolom yang digunakan untuk mempartisi tabel CDC. <td">Nama kolom. </td"></td"></td"><td">partition_type <td">Jenis partisi. <td">"time" untuk partisi berbasis waktu. Untuk mengetahui informasi selengkapnya, lihat Tabel berpartisi stempel waktu. "integer_range" untuk partisi berbasis bilangan bulat. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi rentang bilangan bulat. </td"></td"></td"><td">time_grain <td">Bagian waktu untuk dipartisi dengan Wajib jika partition_type = "time". <td">"hour", "day", "month", atau "year". </td"></td"></td"><td">integer_range_bucket <td">Rentang bucket Wajib jika partition_type = "integer_range" <td">"start" = Nilai awal, "end" = Nilai akhir, dan "interval" = Interval rentang. </td"></td"></td">

Untuk mengetahui informasi selengkapnya tentang opsi dan batasan terkait, lihat Partisi Tabel BigQuery.

Setelan cluster

Pengelompokan tabel dapat diaktifkan dengan menentukan cluster_details:

  - base_table: vbak
    load_frequency: "@daily"
    cluster_details: {columns: ["vkorg"]}

Gunakan parameter berikut untuk mengontrol detail cluster untuk tabel tertentu:

<td">Properti <td">Deskripsi <td">Nilai </td"></td"></td"><td">columns <td">Kolom yang digunakan untuk mengelompokkan tabel. <td">Daftar nama kolom. Misalnya, "mjahr" dan "matnr". </td"></td"></td">

Untuk mengetahui informasi selengkapnya tentang opsi dan batasan terkait, lihat Dokumentasi cluster tabel.

Langkah berikutnya

Setelah menyelesaikan langkah ini, lanjutkan ke langkah deployment berikut:

  1. Menetapkan workload.
  2. Membuat clone repositori.
  3. Menentukan mekanisme integrasi.
  4. Menyiapkan komponen.
  5. Mengonfigurasi deployment (halaman ini).
  6. Menjalankan deployment.