Langkah 6: Menjalankan deployment

Halaman ini menjelaskan langkah keenam untuk men-deploy Cortex Framework Data Foundation, inti dari Cortex Framework. Pada langkah ini, Anda akan menjalankan deployment Cortex Framework Data Foundation.

Proses build

Setelah mengonfigurasi config.json file seperti yang dijelaskan di Langkah 5: Mengonfigurasi deployment, ikuti petunjuk ini untuk membangun proses Anda.

Jalankan perintah berikut untuk menemukan diri Anda di repositori yang di-clone:
```
cd cortex-data-foundation
```
Jalankan perintah build dengan bucket log target:
```
 gcloud builds submit \
 --substitutions=_GCS_BUCKET=LOGS_BUCKET_NAME,_BUILD_ACCOUNT='projects/SOURCE_PROJECT/serviceAccounts/CLOUD_BUILD_SA@SOURCE_PROJECT.iam.gserviceaccount.com'
```
Ganti kode berikut:
- LOGS_BUCKET_NAME dengan nama bucket untuk penyimpanan log. Akun Layanan Cloud Build memerlukan akses untuk menulisnya di sini.
- SOURCE_PROJECT dengan project sumber.
- CLOUD_BUILD_SA dengan ID akun layanan Cloud Build yang dibuat pada langkah deployment 4.
Ikuti proses build utama dengan melihat log di terminal atau di konsol Cloud Build, jika Anda memiliki izin yang cukup. Lihat gambar berikut untuk referensi selengkapnya.

Gambar 1. Contoh melihat progres log di terminal.

Gambar 2. Contoh melihat progres log di konsol.
Lacak langkah-langkah build turunan yang dipicu dari konsol Cloud Build atau dalam log yang dibuat dari langkah-langkah tersebut. Lihat gambar berikut untuk referensi selengkapnya.

Gambar 3. Contoh melacak langkah-langkah build turunan di konsol.

Gambar 4. Contoh melacak langkah-langkah build turunan dalam log.
Identifikasi masalah dengan build individual. Koreksi error, jika ada. Sebaiknya tempel SQL yang dihasilkan ke BigQuery untuk mengidentifikasi dan mengoreksi error. Sebagian besar error terkait dengan kolom yang dipilih, tetapi tidak ada di sumber yang direplikasi. UI BigQuery membantu mengidentifikasi dan mengomentari kolom tersebut.

Gambar 5. Contoh mengidentifikasi masalah melalui log Cloud Build.

Memindahkan file ke bucket DAG Managed Service untuk Apache Airflow (Airflow)

Jika Anda memilih untuk membuat file integrasi atau CDC dan memiliki instance Managed Airflow (Airflow), Anda dapat memindahkannya ke bucket akhir dengan perintah berikut:

  gcloud storage -m cp -r  gs://OUTPUT_BUCKET/dags/ gs://COMPOSER_DAG_BUCKET/
  gcloud storage -m cp -r  gs://OUTPUT_BUCKET/data/ gs://COMPOSER_DAG_BUCKET/

Ganti kode berikut:

OUTPUT_BUCKET dengan bucket output.
COMPOSER_DAG_BUCKET dengan bucket DAG Managed Airflow (Airflow).

Menyesuaikan dan bersiap untuk upgrade

Banyak pelanggan perusahaan memiliki penyesuaian khusus pada sistem mereka, seperti dokumen tambahan dalam alur atau jenis rekaman tertentu. Penyesuaian ini khusus untuk setiap pelanggan dan dikonfigurasi oleh analis fungsional saat kebutuhan bisnis muncul.

Cortex menggunakan tag ## CORTEX-CUSTOMER dalam kode untuk menunjukkan tempat yang kemungkinan memerlukan penyesuaian tersebut. Gunakan perintah grep -R CORTEX-CUSTOMER untuk memeriksa semua komentar ## CORTEX-CUSTOMER yang harus Anda sesuaikan.

Selain tag CORTEX-CUSTOMER, Anda mungkin perlu menyesuaikan lebih lanjut hal-hal berikut dengan melakukan semua perubahan ini dengan tag yang jelas dalam kode ke repositori yang di-fork atau di-clone:

Menambahkan aturan bisnis.
Menambahkan set data lain dan menggabungkannya dengan tampilan atau tabel yang ada
Menggunakan kembali template yang disediakan untuk memanggil API tambahan.
Mengubah skrip deployment.
Mengadaptasi beberapa tabel atau API yang di-landing untuk menyertakan kolom tambahan yang tidak disertakan dalam standar.

Adopsi pipeline CI/CD yang sesuai untuk organisasi Anda agar peningkatan ini tetap diuji dan solusi keseluruhan Anda dalam kondisi yang andal dan kuat. Pipeline dapat menggunakan kembali cloudbuild.yaml skrip untuk memicu deployment end-to-end secara berkala, atau berdasarkan operasi git, bergantung pada repositori pilihan Anda dengan mengotomatiskan build.

Gunakan file config.json untuk menentukan kumpulan project dan set data yang berbeda untuk lingkungan pengembangan, staging, dan produksi. Gunakan pengujian otomatis dengan data contoh Anda sendiri untuk memastikan model selalu menghasilkan apa yang Anda harapkan.

Memberi tag pada perubahan Anda sendiri secara jelas di fork atau clone repositori bersama dengan beberapa otomatisasi deployment dan pengujian membantu melakukan upgrade.

Dukungan

Jika Anda mengalami masalah atau memiliki permintaan fitur terkait model ini atau deployer, buat masalah di repositori Cortex Framework Data Foundation. Untuk membantu mengumpulkan informasi yang diperlukan, jalankan support.sh dari direktori yang di-clone. Skrip ini memandu Anda melalui serangkaian langkah untuk membantu memecahkan masalah.

Untuk permintaan atau masalah Cortex Framework, buka bagian dukungan di halaman ringkasan.

Looker Block dan Dasbor

Manfaatkan Looker Block dan Dasbor yang tersedia. Pada dasarnya, ini adalah model data yang dapat digunakan kembali untuk pola analisis dan sumber data umum untuk Cortex Framework. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Looker Block dan Dasbor.