部署指南

本頁面將逐步說明如何部署 Cortex Framework，以進行正式環境路徑部署。

事前準備

請先完成「必要條件」頁面中列出的前置作業，再繼續進行部署。

部署 Cortex Framework 前，請選擇並準備來源系統整合。

設定 IAM 角色

設定必要的 Identity and Access Management (IAM) 權限，在所需 Google Cloud 專案中部署 Cortex Framework 內容。

建構專案的角色

如要取得建構 Cortex Framework 所需的權限，請要求管理員授予您建構專案的「BigQuery 資料 JobUser 」(roles/bigquery.jobUser) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

如要將要求的角色授予使用者，可以使用下列指令碼：

      gcloud projects add-iam-policy-binding BUILD_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.jobUser"

來源專案的角色

如要取得部署 Cortex Framework 所需的權限，請要求管理員授予您來源專案的「BigQuery 資料檢視者 」(roles/bigquery.dataViewer) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

      gcloud projects add-iam-policy-binding SOURCE_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataViewer"

目標專案的角色

如要取得部署 Cortex Framework 所需的權限，請要求管理員在目標專案中授予您下列 IAM 角色：

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

如要將要求的角色授予使用者，可以使用下列指令碼：

gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataEditor"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/dataform.admin"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/serviceusage.serviceUsageConsumer"

部署設定

部署前，資料基礎和資料產品層會透過集中式設定即程式碼方法設定。Cortex Framework 會使用 config/config.yaml 檔案設定 Cortex Framework 部署作業。建議您先複製 config/config.yaml.example，做為起點。這個檔案包含來源資料與目標環境之間的重要對應關係。 Google Cloud正確設定可確保 Cortex Framework 確切知道原始資料的所在位置，以及要將產生的圖層具體化到何處。

如要成功部署 Cortex Framework，請務必新增下列值：

  • YOUR_BUILD_PROJECT_ID：執行部署協調和uv指令碼的專案。
  • YOUR_SOURCE_PROJECT_ID：包含原始來源資料的專案。
  • YOUR_TARGET_PROJECT_ID：處理後的資料產品和 BigQuery 資料集所在的目標專案。
  • YOUR_REPO_PROJECT_ID：代管 Dataform 存放區和部署構件的專案。

如要進一步瞭解設定檔，請參閱部署設定。

執行部署工作

執行下列指令，觸發 Cortex Framework 部署作業。這項程序會執行下列動作：

  • 確認已完成所有必要條件。
  • 連線至原始資料集，並根據結構定義資訊建構及編譯 .sqlx 指令碼。
  • 建立 Dataform 存放區和工作區，然後將編譯的構件與存放區同步。
uv run cortex-build-and-deploy --config config/config.yaml

uv run cortex-build-and-deploy CLI 參數：您可以選擇執行 uv run cortex-build-and-deploy -h 指令，顯示 cortex-demo 指令碼支援的可能參數清單。詳情請參閱「CLI Cortex Framework uv run cortex-build-and-deploy」。

指令列選項

uv run 指令列介面 (CLI) 支援下列動作：

  • uv run cortex-build：執行 Dataform 工作區的編譯作業，將 YAML 設定和 SQLX/JS 範本轉換為可部署的 Dataform 資產。詳情請參閱「CLI Cortex 建構作業」。
  • uv run cortex-deploy：將編譯的資產推送至目標 Dataform 工作區。詳情請參閱 CLI Cortex 部署作業。
  • uv run cortex-build-and-deploy：將編譯和推送建構資產的作業合併至 Dataform 工作區。詳情請參閱「CLI Cortex build and deploy」。

後續步驟