Langkah-langkah pasca-deployment

Halaman ini memandu Anda melalui langkah-langkah pasca-deployment Cortex Framework untuk menjalankan pipeline data dan memverifikasi hasilnya.

Setelah Anda menjalankan deployment, semua template dan konfigurasi transformasi akan dikompilasi dan di-deploy ke repositori Dataform target Anda. Namun, untuk mewujudkan tabel dan tampilan di BigQuery, Anda harus menjalankan tindakan pipeline Dataform terlebih dahulu.

Menjalankan transformasi di Dataform

Dengan menjalankan pipeline, Anda memulai transformasi logika data mentah menjadi lapisan fondasi data dan Produk Data yang standar dan siap AI, yang siap digunakan langsung untuk bisnis.

Anda dapat menjalankan tindakan secara manual di konsol Google Cloud untuk verifikasi, atau mengonfigurasi jadwal berulang untuk produksi.

Eksekusi manual untuk verifikasi

Untuk menjalankan verifikasi manual seluruh pipeline dalam ruang kerja Dataform, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Dataform.
  2. Konfirmasi bahwa Anda telah memilih project Google Cloud yang benar dari drop-down project.
  3. Klik nama repositori yang dibuat selama deployment (misalnya, cortex).
  4. Klik nama ruang kerja (misalnya, cortex).
  5. Klik Start execution.
  6. Klik Execute actions.
  7. Pilih Semua tindakan. Anda juga dapat memilih subset utama transformasi dengan memilih tag atau tindakan tertentu.
  8. Klik Start execution.

Memverifikasi keberhasilan eksekusi

Untuk memantau progres dan memeriksa apakah pipeline berhasil diselesaikan, ikuti langkah-langkah berikut:

  1. Klik tab Executions untuk melihat histori eksekusi.
  2. Pastikan statusnya adalah Berhasil diselesaikan.
  3. Klik link eksekusi untuk memeriksa detail tindakan tertentu, error kompilasi, atau waktu eksekusi.

Meninjau aset data di BigQuery

Setelah pipeline Dataform Anda berhasil dieksekusi, verifikasi set data yang dihasilkan dan lihat tabel terwujud di BigQuery.

  1. Buka BigQuery di konsol Google Cloud .
  2. Temukan set data target yang dikonfigurasi dalam file config.yaml Anda (misalnya, set data yang diidentifikasi oleh datasetId dalam entri data.targets yang dirujuk oleh dataTargetId modul). Misalnya, dalam konfigurasi template, ini mungkin:
    • Lapisan fondasi data: Cari set data yang cocok dengan ID target fondasi Anda (dikonfigurasi sebagai cortex7_sap_data_foundation secara default).
    • Lapisan produk data: Cari set data yang cocok dengan ID target produk Anda (dikonfigurasi sebagai cortex7_data_products secara default).
  3. Pratinjau tabel dan jalankan kueri sampel untuk memverifikasi bahwa tabel tersebut diisi dengan kumpulan data yang diharapkan.

Langkah berikutnya

Setelah sistem data Anda beroperasi, Anda dapat menjelajahi: