Deployment demo

Deployment demo menawarkan pengalaman yang disederhanakan menggunakan sample-dataset yang telah ditentukan. Deployment ini menyediakan alur kerja menyeluruh untuk men-deploy pipeline Dataform Cortex Framework untuk orkestrasi dan untuk menginisialisasi set data BigQuery yang sesuai dengan data sampel.

Perhatian: Deployment demo tidak cocok untuk lingkungan produksi. Untuk deployment produksi, lihat Deployment Cortex Framework.

Sebelum memulai

Pastikan Anda telah menyelesaikan prasyarat yang diuraikan di halaman Prasyarat, sebelum melanjutkan deployment demo.

Mendapatkan peran dan izin IAM yang diperlukan

Dapatkan izin Identity and Access Management (IAM) yang diperlukan untuk men-deploy konten Cortex Framework dalam target Google Cloud project.

Peran untuk project target

Untuk mendapatkan izin yang Anda perlukan untuk men-deploy Cortex Framework, minta administrator untuk memberi Anda peran IAM berikut pada project target Anda:

• BigQuery Job User (roles/bigquery.jobUser)
• BigQuery Data Editor (roles/bigquery.dataEditor)
• Dataform Editor (roles/dataform.editor)
• Service Usage Admin (roles/serviceusage.serviceUsageAdmin)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Catatan: Peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin) digunakan selama eksekusi skrip deployment Cortex Framework untuk mengaktifkan API berikut secara otomatis: Google Cloud dataform.googleapis.com, bigquery.googleapis.com, cloudresourcemanager.googleapis.com. Jika kebijakan organisasi Anda tidak mengizinkan pemberian hak istimewa ini kepada pengguna, Anda dapat mengaktifkan API yang disebutkan secara manual, sebelum eksekusi skrip deployment Cortex Framework.

Opsional: Mendapatkan peran IAM yang diperlukan untuk deployment demo menggunakan akun layanan

Peran berikut hanya diperlukan jika deployment demo dengan parameter opsional --service_account diaktifkan. Menyediakan akun layanan selama deployment demo menyederhanakan eksekusi pipeline data pasca-deployment, dengan pembuatan konfigurasi penjadwalan eksekusi alur kerja. Peran ini tidak diperlukan untuk deployment tanpa konfigurasi --service_account.

Untuk mendapatkan izin yang Anda perlukan untuk men-deploy demo Cortex Framework, minta administrator untuk memberi Anda peran IAM Pembuat Token Akun Layanan (roles/iam.serviceAccountTokenCreator) pada project sumber dan target Anda. Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Deployment

Ikuti langkah-langkah berikut untuk membuat lingkungan Python virtual, menyinkronkan dependensi, dan memicu pipeline data. Ingatlah untuk menggunakan skrip uvCortex Framework untuk membuat dan mendorong aset data ke project Google Cloud Anda, mengubah konfigurasi lokal Anda menjadi arsitektur data langsung dan skalabel. Untuk mengetahui informasi selengkapnya, lihat uv penginstalan di bagian Prasyarat.

Menjalankan deployment demo

Jalankan perintah berikut untuk memicu deployment. Proses ini akan melakukan tindakan berikut:

• Memastikan semua prasyarat telah terpenuhi.
• Memuat data sampel ke dalam set data BigQuery untuk berfungsi sebagai lapisan mentah untuk tujuan demonstrasi.
• Membuat pipeline Dataform untuk memproses data sampel melalui lapisan data Cortex Framework.
• Membuat repositori dan ruang kerja Dataform, lalu menyinkronkan artefak yang dikompilasi dengan repositori.
• Membuat penjadwalan alur kerja dan memicu eksekusi alur kerja Dataform awal.

Untuk deployment demo tanpa akun layanan, jalankan perintah berikut:

uv run cortex-demo --project_id=PROJECT_ID

Untuk deployment demo dengan akun layanan, jalankan perintah berikut:

Catatan: --service_account adalah parameter opsional.

uv run cortex-demo --project_id=PROJECT_ID \
    --service_account="SA_DF_RUN@PROJECT_ID.iam.gserviceaccount.com"

Untuk mengetahui informasi selengkapnya, lihat Lokasi BigQuery yang didukung dan Region Dataform yang didukung.

Deployment demo CLI: Anda dapat secara opsional menampilkan daftar parameter yang mungkin dengan menjalankan perintah uv run cortex-demo -h. Untuk mengetahui informasi selengkapnya, lihat Deployment demo Cortex Framework CLI.

Verifikasi

Setelah deployment selesai:

1. Buka Dataform untuk memeriksa kode baru yang dibuat di repositori:

   1. Repositori Dataform telah dibuat.
   2. Ruang kerja pengembangan Dataform telah dibuat.
   3. Kode telah dikompilasi dan disinkronkan.

2. Jalankan tindakan Dataform:

   Catatan: Langkah ini bersifat opsional jika parameter --service_account telah digunakan selama deployment.
   1. Buka ruang kerja Dataform.
   2. Klik Start execution.
   3. Klik Execute actions.
   4. Klik All actions.

   5. Klik Start execution.

   6. Pantau keberhasilan eksekusi semua tindakan di repositori Dataform Anda.

3. Buka konsol BigQuery untuk melihat set data yang dibuat, dan verifikasi skema serta data. Set data telah dibuat:

   • cortex_demo_sap_ecc_raw: Set data ini berisi data mentah dari sistem sumber (dalam contoh ini, SAP S/4HANA).
   • cortex_demo_sap_ecc_data_foundation: Set data ini mewakili lapisan fondasi data, tempat data mentah dari lapisan mentah diproses CDC.
   • cortex_demo_data_product: Set data ini berisi produk data demo—tampilan atau tabel berperforma tinggi yang disempurnakan dan dirancang untuk penggunaan pengguna akhir.