部署後步驟
本頁將逐步說明 Cortex Framework 部署後的步驟,協助您執行資料管道並驗證結果。
部署作業執行完畢後,所有轉換範本和設定都會經過編譯,並部署至目標 Dataform 存放區。不過,如要在 BigQuery 中具體化資料表和檢視區塊,您必須先執行 Dataform 管道動作。
在 Dataform 中執行轉換
執行管道後,您會啟動原始資料的邏輯轉換,將資料轉換為標準化、可供 AI 使用的資料基礎層和資料產品,立即用於業務。
您可以在 Google Cloud 控制台中手動執行動作以進行驗證,也可以設定週期性排程以用於正式環境。
手動執行驗證
如要在 Dataform 工作區中手動執行整個管道的驗證作業,請按照下列步驟操作:
- 前往 Google Cloud 控制台的「Dataform」頁面。
- 確認您已從專案下拉式選單中選取正確的 Google Cloud 專案。
- 按一下部署作業期間建立的存放區名稱 (例如
cortex)。 - 按一下工作區名稱 (例如
cortex)。 - 按一下「Start execution」(開始執行)。
- 點選「執行動作」。
- 選取「所有動作」。您也可以選取特定標記或動作,選擇轉換的重要子集。
- 按一下「Start execution」(開始執行)。
確認執行作業成功
如要監控進度並確認管道是否順利完成,請按照下列步驟操作:
- 按一下「執行」分頁標籤,即可查看執行記錄。
- 確認狀態為「已順利完成」。
- 按一下執行作業連結,即可檢查特定動作、編譯錯誤或執行時間的詳細資料。
查看 BigQuery 中的資料資產
Dataform 管道執行成功後,請驗證產生的資料集,並查看 BigQuery 中的具體化資料表。
- 前往 Google Cloud 控制台的「BigQuery」BigQuery。
- 找出
config.yaml檔案中設定的目標資料集 (例如由模組dataTargetId參照的data.targets項目中,由datasetId識別的資料集)。舉例來說,在範本設定中,這些可能是:- 資料基礎層:尋找與基礎目標 ID 相符的資料集 (預設設定為
cortex7_sap_data_foundation)。 - 資料產品層:尋找與產品目標 ID 相符的資料集 (預設設定為
cortex7_data_products)。
- 資料基礎層:尋找與基礎目標 ID 相符的資料集 (預設設定為
- 預覽資料表並執行範例查詢,確認資料表已填入預期記錄。
後續步驟
資料系統現在已可運作,您可以探索: