Deployment

Halaman ini memandu Anda melalui langkah-langkah deployment Cortex Framework untuk data perusahaan Anda.

Sebelum memulai

Pastikan Anda telah menyelesaikan prasyarat yang diuraikan di halaman Prasyarat sebelum melanjutkan deployment.

Sebelum men-deploy Cortex Framework, tabel SAP ERP yang relevan harus direplikasi ke BigQuery. Untuk mengetahui informasi selengkapnya, lihat halaman sumber data SAP ERP.

Deployment

Setelah lingkungan Anda disiapkan, Anda siap menjalankan deployment. Gunakan skrip uv Cortex Framework untuk membuat dan mengirim aset data ke proyek Google Cloud , mengubah konfigurasi lokal Anda menjadi arsitektur data yang aktif dan skalabel.

Konfigurasi

Sebelum deployment, lapisan fondasi data dan produk data dikonfigurasi melalui pendekatan konfigurasi sebagai kode yang terpusat. Cortex Framework menggunakan file config/config.yaml untuk mengonfigurasi deployment Cortex Framework. File ini berisi pemetaan penting antara data sumber dan lingkungan Google Cloud target. Konfigurasi yang tepat memastikan bahwa Cortex Framework mengetahui persis tempat untuk menemukan data mentah Anda dan tempat untuk mewujudkan lapisan yang dihasilkan.

Agar deployment Cortex Framework berhasil, nilai wajib berikut harus ditambahkan:

• YOUR_BUILD_PROJECT_ID: Project tempat orkestrasi deployment dan skrip uv dieksekusi.
• YOUR_SOURCE_PROJECT_ID: Project yang berisi data sumber mentah Anda.
• YOUR_TARGET_PROJECT_ID: Project tujuan tempat produk data yang diproses dan set data BigQuery akan berada.
• YOUR_REPO_PROJECT_ID: Project yang menghosting repositori Dataform dan artefak deployment.

Untuk mengetahui informasi mendetail tentang file konfigurasi, lihat Konfigurasi deployment.

Mengonfigurasi peran IAM

Konfigurasi izin Identity and Access Management (IAM) yang diperlukan untuk men-deploy konten Cortex Framework dalam project yang diperlukan. Google Cloud

Peran untuk project build

Untuk mendapatkan izin yang diperlukan untuk membangun Cortex Framework, minta administrator Anda untuk memberi Anda peran IAM BigQuery Data JobUser (roles/bigquery.jobUser) di project build Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Peran untuk project sumber

Untuk mendapatkan izin yang diperlukan untuk men-deploy Cortex Framework, minta administrator Anda untuk memberi Anda peran IAM BigQuery Data Viewer (roles/bigquery.dataViewer) di project sumber Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Peran untuk project target

Untuk mendapatkan izin yang Anda perlukan guna men-deploy Cortex Framework, minta administrator untuk memberi Anda peran IAM berikut di project target Anda:

• BigQuery Data Editor (roles/bigquery.dataEditor)
• Dataform Admin (roles/dataform.admin)
• Service Usage Admin (roles/serviceusage.serviceUsageAdmin)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Catatan: Peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin) digunakan selama eksekusi skrip deployment Cortex Framework untuk mengaktifkan API berikut secara otomatis: dataform.googleapis.com, bigquery.googleapis.com, cloudresourcemanager.googleapis.com. Google Cloud Jika kebijakan organisasi Anda tidak mengizinkan pemberian hak istimewa ini kepada pengguna, Anda dapat mengaktifkan API yang disebutkan secara manual sebelum menjalankan skrip deployment Cortex Framework.

Menjalankan deployment

Jalankan perintah berikut untuk memicu deployment Cortex Framework. Proses ini akan melakukan tindakan berikut:

• Pastikan semua prasyarat sudah selesai.
• Hubungkan ke set data mentah, dan berdasarkan informasi skema, buat dan kompilasi skrip .sqlx.
• Buat repositori dan ruang kerja Dataform, lalu sinkronkan artefak yang dikompilasi dengan repositori.

uv run cortex-build-and-deploy --config "config/config.yaml"

Opsi command line

Antarmuka command line (CLI) uv run mendukung tindakan berikut:

• uv run cortex-build: Mengeksekusi kompilasi ruang kerja Dataform, menerjemahkan konfigurasi YAML dan template SQLX/JS menjadi aset Dataform yang dapat di-deploy. Untuk mengetahui informasi selengkapnya, lihat Build Cortex CLI.
• uv run cortex-deploy: Mendorong aset yang dikompilasi ke ruang kerja Dataform target. Untuk mengetahui informasi selengkapnya, lihat CLI Cortex deploy.
• uv run cortex-build-and-deploy: Menggabungkan kompilasi dan pengiriman aset build ke ruang kerja Dataform. Untuk mengetahui informasi selengkapnya, lihat CLI Cortex build and deploy.

Menjalankan pipeline produk data dan fondasi data

Setelah deployment selesai, langkah terakhir adalah menjalankan semua tindakan di repositori Dataform. Dengan menjalankan pipeline dalam ruang kerja Dataform, Anda memulai transformasi logika data mentah menjadi Produk Data terstruktur yang siap AI dan siap digunakan langsung untuk bisnis. Ikuti langkah-langkah berikut:

1. Buka Dataform.
2. Pastikan Anda berada dalam project yang benar.
3. Klik nama repositori yang dibuat.
4. Klik nama ruang kerja.
5. Klik Start execution.
6. Klik Execute actions.
7. Pilih Semua tindakan - Anda juga dapat memilih langkah-langkah yang Anda inginkan.
8. Klik Start Execution.

Verifikasi keberhasilan deployment:

1. Klik Eksekusi.
2. Pastikan statusnya berhasil diselesaikan.
3. Klik link eksekusi untuk mengetahui detail selengkapnya.

Sekarang Anda dapat meninjau aset data BigQuery yang di-deploy dalam set data yang dikonfigurasi dalam file konfigurasi. Misalnya, CORTEX_SAP_DATAFOUNDATION dan CORTEX_SAP_DATAPRODUCTS.