Deployment demo

Penerapan demo menawarkan pengalaman yang disederhanakan menggunakan sample-dataset yang telah ditentukan sebelumnya. Fitur ini menyediakan alur kerja menyeluruh untuk men-deploy pipeline Dataform Cortex Framework untuk orkestrasi dan menginisialisasi set data BigQuery yang sesuai dengan data contoh.

Perhatian: Deployment demo tidak cocok untuk lingkungan produksi. Untuk deployment produksi, lihat Deployment Cortex Framework.

Sebelum memulai

Pastikan Anda telah menyelesaikan prasyarat yang diuraikan di halaman Prasyarat, sebelum melanjutkan penyebaran demo.

Mendapatkan peran dan izin IAM yang diperlukan

Dapatkan izin Identity and Access Management (IAM) yang diperlukan untuk men-deploy konten Cortex Framework dalam project target. Google Cloud

Peran untuk project target

Untuk mendapatkan izin yang Anda perlukan guna men-deploy Cortex Framework, minta administrator untuk memberi Anda peran IAM berikut di project target:

• BigQuery Job User (roles/bigquery.jobUser)
• BigQuery Data Editor (roles/bigquery.dataEditor)
• Editor Dataform (roles/dataform.editor)
• Service Usage Admin (roles/serviceusage.serviceUsageAdmin)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Catatan: Peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin) digunakan selama eksekusi skrip deployment Cortex Framework untuk mengaktifkan API berikut secara otomatis: dataform.googleapis.com, bigquery.googleapis.com, cloudresourcemanager.googleapis.com. Google Cloud Jika kebijakan organisasi Anda tidak mengizinkan pemberian hak istimewa ini kepada pengguna, Anda dapat mengaktifkan API yang disebutkan secara manual sebelum menjalankan skrip deployment Cortex Framework.

Opsional: Dapatkan peran IAM yang diperlukan untuk deployment demo menggunakan akun layanan

Peran berikut hanya diperlukan jika ada demo-deployment dengan parameter opsional --service_account yang diaktifkan. Menyediakan akun layanan selama deployment demo menyederhanakan eksekusi pasca-deployment pipeline data, dengan pembuatan konfigurasi penjadwalan eksekusi alur kerja. Peran ini tidak diperlukan untuk deployment tanpa konfigurasi --service_account.

Untuk mendapatkan izin yang diperlukan untuk men-deploy demo Cortex Framework, minta administrator Anda untuk memberi Anda peran IAM Service Account Token Creator (roles/iam.serviceAccountTokenCreator) di project sumber dan target Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Deployment

Ikuti langkah-langkah berikut untuk membuat lingkungan Python virtual, menyinkronkan dependensi, dan memicu pipeline data. Jangan lupa untuk menggunakan skrip uv Cortex Framework untuk membangun dan mengirimkan aset data ke project Google Cloud , mengubah konfigurasi lokal menjadi arsitektur data yang aktif dan skalabel. Untuk mengetahui informasi selengkapnya, lihat penginstalan uv di bagian Prasyarat.

Menjalankan deployment demo

Jalankan perintah berikut untuk memicu deployment. Proses ini akan melakukan tindakan berikut:

• Pastikan semua prasyarat sudah selesai.
• Muat data sampel ke dalam set data BigQuery untuk berfungsi sebagai lapisan mentah untuk tujuan demonstrasi.
• Buat pipeline Dataform untuk memproses data sampel melalui lapisan data Cortex Framework.
• Buat repositori dan ruang kerja Dataform, lalu sinkronkan artefak yang dikompilasi dengan repositori.
• Buat penjadwalan alur kerja dan picu eksekusi alur kerja Dataform awal.

Untuk deployment demo tanpa akun layanan, jalankan perintah berikut:

uv run cortex-demo --project_id=PROJECT_ID

Untuk deployment demo dengan akun layanan, jalankan perintah berikut:

Catatan: --service_account adalah parameter opsional.

uv run cortex-demo --project_id=PROJECT_ID \
    --service_account="SA_DF_RUN@PROJECT_ID.iam.gserviceaccount.com"

Untuk mengetahui informasi selengkapnya, lihat Lokasi BigQuery yang didukung dan Region Dataform yang didukung.

Deployment demo CLI: Anda dapat secara opsional menampilkan daftar kemungkinan parameter dengan menjalankan perintah uv run cortex-demo -h. Untuk mengetahui informasi selengkapnya, lihat Deployment demo CLI Cortex Framework.

Verifikasi

Setelah deployment selesai:

1. Buka Dataform untuk memeriksa kode baru yang dibuat di repositori:

   1. Membuat repositori Dataform.
   2. Membuat ruang kerja pengembangan Dataform.
   3. Kode yang dikompilasi dan disinkronkan.

2. Menjalankan tindakan Dataform:

   Catatan: Langkah ini bersifat opsional jika parameter --service_account telah digunakan selama deployment.
   1. Buka ruang kerja Dataform.
   2. Klik Start execution.
   3. Klik Execute actions.
   4. Klik Semua tindakan.

   5. Klik Start execution.

   6. Pantau keberhasilan eksekusi semua tindakan di repositori Dataform Anda.

3. Buka konsol BigQuery untuk melihat set data yang dibuat, dan verifikasi skema dan data. Set data yang dibuat:

   • cortex_demo_sap_ecc_raw: Set data ini berisi data mentah dari sistem sumber (dalam contoh ini, SAP S/4HANA).
   • cortex_demo_sap_ecc_data_foundation: Set data ini merepresentasikan lapisan dasar data, tempat data mentah dari lapisan mentah diproses CDC.
   • cortex_demo_data_product: Set data ini berisi produk data demo yang telah disempurnakan, tampilan atau tabel berperforma tinggi yang dirancang untuk penggunaan oleh pengguna akhir.