Panduan deployment

Halaman ini memandu Anda melalui langkah-langkah deployment Cortex Framework untuk deployment jalur produksi.

Sebelum memulai

Pastikan Anda telah menyelesaikan prasyarat yang diuraikan di halaman Prasyarat sebelum melanjutkan deployment.

Sebelum men-deploy Cortex Framework, pilih dan siapkan Integrasi sistem sumber.

Mengonfigurasi peran IAM

Konfigurasi izin Identity and Access Management (IAM) yang diperlukan untuk men-deploy konten Cortex Framework dalam project yang diperlukan Google Cloud .

Peran untuk project build

Untuk mendapatkan izin yang diperlukan untuk membangun Cortex Framework, minta administrator untuk memberi Anda peran IAM BigQuery Data JobUser (roles/bigquery.jobUser) di project build Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk memberikan peran yang diminta kepada pengguna, Anda dapat menggunakan skrip:

      gcloud projects add-iam-policy-binding BUILD_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.jobUser"

Peran untuk project sumber

Untuk mendapatkan izin yang diperlukan untuk men-deploy Cortex Framework, minta administrator untuk memberi Anda peran IAM BigQuery Data Viewer (roles/bigquery.dataViewer) di project sumber Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya. 

      gcloud projects add-iam-policy-binding SOURCE_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataViewer"

Peran untuk project target

Untuk mendapatkan izin yang diperlukan untuk men-deploy Cortex Framework, minta administrator untuk memberi Anda peran IAM berikut di project target Anda:

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk memberikan peran yang diminta kepada pengguna, Anda dapat menggunakan skrip:

gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataEditor"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/dataform.admin"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/serviceusage.serviceUsageConsumer"

Konfigurasi Penerapan

Sebelum deployment, lapisan fondasi data dan produk data dikonfigurasi melalui pendekatan konfigurasi sebagai kode yang terpusat. Cortex Framework menggunakan file config/config.yaml untuk mengonfigurasi deployment Cortex Framework. Sebaiknya buat salinan config/config.yaml.example sebagai titik awal. File ini berisi pemetaan penting antara data sumber dan lingkungan target Google Cloud. Konfigurasi yang tepat memastikan Cortex Framework mengetahui dengan tepat tempat menemukan data mentah Anda dan tempat mewujudkan lapisan yang dihasilkan.

Agar deployment Cortex Framework berhasil, nilai wajib ini harus ditambahkan:

  • YOUR_BUILD_PROJECT_ID: Project tempat orkestrasi deployment dan skrip uv dieksekusi.
  • YOUR_SOURCE_PROJECT_ID: Project yang berisi data sumber mentah Anda.
  • YOUR_TARGET_PROJECT_ID: Project tujuan tempat produk data yang diproses dan set data BigQuery akan berada.
  • YOUR_REPO_PROJECT_ID: Project yang menghosting repositori Dataform dan artefak deployment.

Untuk mengetahui informasi mendetail tentang file konfigurasi, lihat Konfigurasi deployment.

Menjalankan deployment

Jalankan perintah berikut untuk memicu deployment Cortex Framework. Proses ini akan melakukan tindakan berikut:

  • Pastikan semua prasyarat telah terpenuhi.
  • Hubungkan ke set data mentah, dan berdasarkan informasi skema, buat dan kompilasi skrip .sqlx.
  • Buat repositori dan ruang kerja Dataform, lalu sinkronkan artefak yang dikompilasi dengan repositori.
uv run cortex-build-and-deploy --config config/config.yaml

Parameter CLI uv run cortex-build-and-deploy: Anda dapat menampilkan daftar parameter yang mungkin didukung oleh skrip cortex-demo dengan menjalankan perintah uv run cortex-build-and-deploy -h. Untuk mengetahui informasi selengkapnya, lihat CLI Cortex Framework uv run cortex-build-and-deploy.

Opsi command line

Antarmuka command line (CLI) uv run mendukung tindakan berikut:

  • uv run cortex-build: Menjalankan kompilasi ruang kerja Dataform, menerjemahkan konfigurasi YAML dan template SQLX/JS ke dalam aset Dataform yang dapat di-deploy. Untuk mengetahui informasi selengkapnya, lihat Build Cortex CLI.
  • uv run cortex-deploy: Mendorong aset yang dikompilasi ke ruang kerja Dataform target. Untuk mengetahui informasi selengkapnya, lihat Deployment Cortex CLI.
  • uv run cortex-build-and-deploy: Menggabungkan kompilasi dan mendorong aset build ke ruang kerja Dataform. Untuk mengetahui informasi selengkapnya, lihat Build dan deployment Cortex CLI.

Langkah berikutnya