部署作業總覽

本頁面將逐步說明如何為企業資料部署 Cortex Framework。

事前準備

請先完成「必要條件」頁面中列出的前置作業，再繼續進行部署。

部署 Cortex Framework 前，必須先將相關的 SAP ERP 資料表複製到 BigQuery。詳情請參閱「SAP ERP 資料來源」頁面。

部署作業

環境準備就緒後，即可執行部署作業。使用 Cortex Framework uv 指令碼建構資料資產並推送至 Google Cloud 專案，將本機設定轉換為可擴充的即時資料架構。

設定

部署前，資料基礎和資料產品層會透過集中式設定即程式碼方法設定。Cortex Framework 會使用 config/config.yaml 檔案設定 Cortex Framework 部署作業。這個檔案包含來源資料與目標環境之間的重要對應關係。 Google Cloud正確設定可確保 Cortex Framework 知道原始資料的確切位置，以及要將產生的圖層具體化到何處。

如要成功部署 Cortex Framework，請務必新增下列值：

  • YOUR_BUILD_PROJECT_ID：執行部署協調和uv指令碼的專案。
  • YOUR_SOURCE_PROJECT_ID：包含原始來源資料的專案。
  • YOUR_TARGET_PROJECT_ID：處理後的資料產品和 BigQuery 資料集所在的目標專案。
  • YOUR_REPO_PROJECT_ID：代管 Dataform 存放區和部署構件的專案。

如要進一步瞭解設定檔，請參閱部署設定。

設定 IAM 角色

設定必要的 Identity and Access Management (IAM) 權限，在所需 Google Cloud 專案中部署 Cortex Framework 內容。

建構專案的角色

如要取得建構 Cortex Framework 所需的權限，請要求管理員授予您建構專案的「BigQuery 資料 JobUser 」(roles/bigquery.jobUser) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

來源專案的角色

如要取得部署 Cortex Framework 所需的權限，請要求管理員授予您來源專案的「BigQuery 資料檢視者 」(roles/bigquery.dataViewer) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

目標專案的角色

如要取得部署 Cortex Framework 所需的權限，請要求管理員在目標專案中授予您下列 IAM 角色：

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

執行部署作業

執行下列指令，觸發 Cortex Framework 部署作業。這項程序會執行下列動作：

  • 確認已完成所有必要條件。
  • 連線至原始資料集，並根據結構定義資訊建構及編譯 .sqlx 指令碼。
  • 建立 Dataform 存放區和工作區，然後將編譯的構件與存放區同步。
uv run cortex-build-and-deploy --config "config/config.yaml"
  • 按照部署後步驟執行 Dataform 動作，並在 BigQuery 中驗證結果

指令列選項

uv run 指令列介面 (CLI) 支援下列動作：

  • uv run cortex-build：執行 Dataform 工作區的編譯作業，將 YAML 設定和 SQLX/JS 範本轉換為可部署的 Dataform 資產。詳情請參閱「CLI Cortex 建構作業」。
  • uv run cortex-deploy：將編譯的資產推送至目標 Dataform 工作區。詳情請參閱 CLI Cortex 部署作業。
  • uv run cortex-build-and-deploy：將編譯和推送建構資產的作業合併至 Dataform 工作區。詳情請參閱「CLI Cortex build and deploy」。