部署後步驟

本頁將逐步說明 Cortex Framework 部署後的步驟,協助您執行資料管道並驗證結果。

部署作業執行完畢後,所有轉換範本和設定都會經過編譯,並部署至目標 Dataform 存放區。不過,如要在 BigQuery 中具體化資料表和檢視區塊,您必須先執行 Dataform 管道動作。

在 Dataform 中執行轉換

執行管道後,您會啟動原始資料的邏輯轉換,將資料轉換為標準化、可供 AI 使用的資料基礎層和資料產品,立即用於業務。

您可以在 Google Cloud 控制台中手動執行動作以進行驗證,也可以設定週期性排程以用於正式環境。

手動執行驗證

如要在 Dataform 工作區中手動執行整個管道的驗證作業,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Dataform」頁面。
  2. 確認您已從專案下拉式選單中選取正確的 Google Cloud 專案。
  3. 按一下部署作業期間建立的存放區名稱 (例如 cortex)。
  4. 按一下工作區名稱 (例如 cortex)。
  5. 按一下「Start execution」(開始執行)
  6. 點選「執行動作」
  7. 選取「所有動作」。您也可以選取特定標記或動作,選擇轉換的重要子集。
  8. 按一下「Start execution」(開始執行)

確認執行作業成功

如要監控進度並確認管道是否順利完成,請按照下列步驟操作:

  1. 按一下「執行」分頁標籤,即可查看執行記錄。
  2. 確認狀態為「已順利完成」
  3. 按一下執行作業連結,即可檢查特定動作、編譯錯誤或執行時間的詳細資料。

查看 BigQuery 中的資料資產

Dataform 管道執行成功後,請驗證產生的資料集,並查看 BigQuery 中的具體化資料表。

  1. 前往 Google Cloud 控制台的「BigQuery」BigQuery
  2. 找出 config.yaml 檔案中設定的目標資料集 (例如由模組 dataTargetId 參照的 data.targets 項目中,由 datasetId 識別的資料集)。舉例來說,在範本設定中,這些可能是:
    • 資料基礎層:尋找與基礎目標 ID 相符的資料集 (預設設定為 cortex7_sap_data_foundation)。
    • 資料產品層:尋找與產品目標 ID 相符的資料集 (預設設定為 cortex7_data_products)。
  3. 預覽資料表並執行範例查詢,確認資料表已填入預期記錄。

後續步驟

資料系統現在已可運作,您可以探索: