部署
本頁面將逐步說明如何為企業資料部署 Cortex Framework。
事前準備
請先完成「必要條件」頁面中列出的前置作業,再繼續進行部署。
部署 Cortex Framework 前,必須先將相關的 SAP ERP 資料表複製到 BigQuery。詳情請參閱「SAP ERP 資料來源」頁面。
部署
環境準備就緒後,即可執行部署作業。使用 Cortex Framework uv 指令碼建構資料資產並推送至 Google Cloud 專案,將本機設定轉換為可擴充的即時資料架構。
設定
部署前,資料基礎和資料產品層會透過集中式設定即程式碼方法設定。Cortex Framework 會使用 config/config.yaml 檔案設定 Cortex Framework 部署作業。這個檔案包含來源資料與目標環境之間的基本對應關係。 Google Cloud正確設定可確保 Cortex Framework 知道原始資料的確切位置,以及要將產生的圖層具體化到何處。
如要成功部署 Cortex Framework,請務必新增下列值:
YOUR_BUILD_PROJECT_ID:執行部署協調和uv指令碼的專案。YOUR_SOURCE_PROJECT_ID:包含原始來源資料的專案。YOUR_TARGET_PROJECT_ID:處理後的資料產品和 BigQuery 資料集所在的目標專案。YOUR_REPO_PROJECT_ID:代管 Dataform 存放區和部署構件的專案。
如要進一步瞭解設定檔,請參閱部署設定。
設定 IAM 角色
設定必要的 Identity and Access Management (IAM) 權限,在所需 Google Cloud 專案中部署 Cortex Framework 內容。
建構專案的角色
如要取得建構 Cortex Framework 所需的權限,請要求系統管理員授予您建構專案的「BigQuery 資料 JobUser 」(roles/bigquery.jobUser) IAM 角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
來源專案的角色
如要取得部署 Cortex Framework 所需的權限,請要求系統管理員授予您來源專案的「BigQuery 資料檢視者 」(roles/bigquery.dataViewer) IAM 角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
目標專案的角色
如要取得部署 Cortex Framework 所需的權限,請要求系統管理員在目標專案中授予您下列 IAM 角色:
-
BigQuery 資料編輯者 (
roles/bigquery.dataEditor) -
Dataform 管理員 (
roles/dataform.admin) - 服務使用情形管理員 (
roles/serviceusage.serviceUsageAdmin)
如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
執行部署作業
執行下列指令,觸發 Cortex Framework 部署作業。這項程序會執行下列動作:
- 確認已完成所有必要條件。
- 連結至原始資料集,並根據結構定義資訊建構及編譯
.sqlx指令碼。 - 建立 Dataform 存放區和工作區,然後將編譯的構件與存放區同步。
uv run cortex-build-and-deploy --config "config/config.yaml"
指令列選項
uv run 指令列介面 (CLI) 支援下列動作:
uv run cortex-build:執行 Dataform 工作區的編譯作業,將 YAML 設定和 SQLX/JS 範本轉換為可部署的 Dataform 資產。詳情請參閱「CLI Cortex 建構」。uv run cortex-deploy:將編譯的資產推送至目標 Dataform 工作區。詳情請參閱 CLI Cortex 部署作業。uv run cortex-build-and-deploy:將建構資產的編譯和推送作業合併至 Dataform 工作區。詳情請參閱「CLI Cortex 建構及部署」。
執行資料基礎和資料產品管道
部署完成後,最後一個步驟是在 Dataform 存放區中執行所有動作。在 Dataform 工作區中執行管道,即可啟動原始資料的邏輯轉換,將其轉換為結構化且可供 AI 使用的資料產品,立即用於業務。步驟如下:
- 前往 Dataform。
- 請確認您位於正確的專案中。
- 按一下建立的存放區名稱。
- 按一下工作區名稱。
- 按一下「Start execution」(開始執行)。
- 點選「執行動作」。
- 選取「所有動作」,也可以選取感興趣的步驟。
- 按一下「Start Execution」(開始執行)。
確認部署作業是否成功:
- 按一下「執行」。
- 確認狀態為「已順利完成」。
- 按一下執行連結即可查看詳細資料。
您現在可以查看部署在設定檔中設定資料集內的 BigQuery 資料資產。例如 CORTEX_SAP_DATAFOUNDATION 和 CORTEX_SAP_DATAPRODUCTS。