Deployment

Halaman ini memandu Anda melalui langkah-langkah deployment Cortex Framework untuk data perusahaan Anda.

Sebelum memulai

Pastikan Anda telah menyelesaikan prasyarat yang diuraikan di halaman Prasyarat sebelum melanjutkan deployment.

Sebelum men-deploy Cortex Framework, tabel SAP ERP yang relevan harus direplikasi ke BigQuery. Untuk mengetahui informasi selengkapnya, lihat halaman sumber data SAP ERP.

Deployment

Setelah lingkungan Anda disiapkan, Anda siap untuk menjalankan deployment. Gunakan skrip uvCortex Framework untuk membangun dan mengirim aset data ke project Google Cloud Anda, mengubah konfigurasi lokal menjadi arsitektur data yang aktif dan skalabel.

Konfigurasi

Sebelum deployment, lapisan fondasi data dan produk data dikonfigurasi melalui pendekatan konfigurasi sebagai kode yang terpusat. Cortex Framework menggunakan file config/config.yaml untuk mengonfigurasi deployment Cortex Framework. File ini berisi pemetaan penting antara data sumber dan lingkungan target Google Cloud. Konfigurasi yang tepat memastikan bahwa Cortex Framework mengetahui dengan tepat tempat menemukan data mentah Anda dan tempat mewujudkan lapisan yang dihasilkan.

Agar deployment Cortex Framework berhasil, nilai wajib berikut harus ditambahkan:

• YOUR_BUILD_PROJECT_ID: Project tempat orkestrasi deployment dan skrip uv dijalankan.
• YOUR_SOURCE_PROJECT_ID: Project yang berisi data sumber mentah Anda.
• YOUR_TARGET_PROJECT_ID: Project tujuan tempat produk data yang diproses dan set data BigQuery akan berada.
• YOUR_REPO_PROJECT_ID: Project yang menghosting repositori Dataform dan artefak deployment.

Untuk mengetahui informasi mendetail tentang file konfigurasi, lihat Konfigurasi deployment.

Mengonfigurasi peran IAM

Konfigurasi izin Identity and Access Management (IAM) yang diperlukan untuk men-deploy konten Cortex Framework dalam project yang diperlukan Google Cloud .

Peran untuk project build

Untuk mendapatkan izin yang diperlukan untuk membangun Cortex Framework, minta administrator untuk memberi Anda peran IAM BigQuery Data JobUser (roles/bigquery.jobUser) di project build Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Peran untuk project sumber

Untuk mendapatkan izin yang diperlukan untuk men-deploy Cortex Framework, minta administrator untuk memberi Anda peran IAM BigQuery Data Viewer (roles/bigquery.dataViewer) di project sumber Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Peran untuk project target

Untuk mendapatkan izin yang diperlukan untuk men-deploy Cortex Framework, minta administrator untuk memberi Anda peran IAM berikut di project target Anda:

• BigQuery Data Editor (roles/bigquery.dataEditor)
• Dataform Admin (roles/dataform.admin)
• Service Usage Admin (roles/serviceusage.serviceUsageAdmin)

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Catatan: Peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin) digunakan selama eksekusi skrip deployment Cortex Framework untuk mengaktifkan API berikut secara otomatis: Google Cloud dataform.googleapis.com, bigquery.googleapis.com, cloudresourcemanager.googleapis.com. Jika kebijakan organisasi Anda tidak mengizinkan pemberian hak istimewa ini kepada pengguna, Anda dapat mengaktifkan API yang disebutkan secara manual, sebelum eksekusi skrip deployment Cortex Framework.

Menjalankan deployment

Jalankan perintah berikut untuk memicu deployment Cortex Framework. Proses ini akan melakukan tindakan berikut:

• Memastikan bahwa semua prasyarat telah terpenuhi.
• Menghubungkan ke set data mentah, dan berdasarkan informasi skema, membangun dan mengompilasi skrip .sqlx.
• Membuat repositori dan ruang kerja Dataform, lalu menyinkronkan artefak yang dikompilasi dengan repositori.

uv run cortex-build-and-deploy --config "config/config.yaml"

Opsi command line

Antarmuka command line (CLI) uv run mendukung tindakan berikut:

• uv run cortex-build: Menjalankan kompilasi ruang kerja Dataform, menerjemahkan konfigurasi YAML dan template SQLX/JS menjadi aset Dataform yang dapat di-deploy. Untuk mengetahui informasi selengkapnya, lihat Build Cortex CLI.
• uv run cortex-deploy: Mengirim aset yang dikompilasi ke ruang kerja Dataform target. Untuk mengetahui informasi selengkapnya, lihat Deploy Cortex CLI.
• uv run cortex-build-and-deploy: Menggabungkan kompilasi dan pengiriman aset build ke ruang kerja Dataform. Untuk mengetahui informasi selengkapnya, lihat Build dan deploy Cortex CLI.

Menjalankan pipeline fondasi data dan produk data

Setelah deployment selesai, langkah terakhir adalah menjalankan semua tindakan di repositori Dataform. Dengan menjalankan pipeline dalam ruang kerja Dataform, Anda memulai transformasi logika data mentah menjadi Produk Data terstruktur yang siap AI dan siap untuk penggunaan bisnis langsung. Ikuti langkah-langkah berikut:

1. Buka Dataform.
2. Pastikan Anda berada dalam project yang benar.
3. Klik nama repositori yang dibuat.
4. Klik nama ruang kerja.
5. Klik Mulai eksekusi.
6. Klik Jalankan tindakan.
7. Pilih Semua tindakan - Anda juga dapat memilih langkah-langkah yang Anda minati.
8. Klik Mulai Eksekusi.

Verifikasi keberhasilan deployment:

1. Klik Eksekusi.
2. Pastikan statusnya berhasil diselesaikan.
3. Klik link eksekusi untuk mengetahui detail selengkapnya.

Anda kini dapat meninjau aset data BigQuery yang di-deploy dalam set data yang dikonfigurasi dalam file konfigurasi. Misalnya, CORTEX_SAP_DATAFOUNDATION dan CORTEX_SAP_DATAPRODUCTS.