部署範例

示範部署會使用預先定義的範例資料集，提供簡化的體驗。這項服務提供端對端工作流程，可部署 Cortex Framework Dataform 管道進行協調，並使用範例資料初始化對應的 BigQuery 資料集。

注意： 示範部署不適用於正式環境。如要瞭解正式版部署作業，請參閱「Cortex Framework 部署作業」。

事前準備

請先完成「Prerequisites」(必要條件) 頁面中列出的前置作業，再繼續進行示範部署。

取得必要的 IAM 角色和權限

取得必要的 Identity and Access Management (IAM) 權限，在目標 Google Cloud 專案中部署 Cortex Framework 內容。

目標專案的角色

如要取得部署 Cortex Framework 所需的權限，請要求系統管理員在目標專案中授予您下列 IAM 角色：

• BigQuery 工作使用者 (roles/bigquery.jobUser)
• BigQuery 資料編輯者 (roles/bigquery.dataEditor)
• Dataform 編輯者 (roles/dataform.editor)
• 服務使用情形管理員 (roles/serviceusage.serviceUsageAdmin)

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

注意： 執行 Cortex Framework 部署指令碼時，系統會使用服務使用情形管理員 (roles/serviceusage.serviceUsageAdmin) 角色，自動啟用下列 Google CloudAPI：dataform.googleapis.com、bigquery.googleapis.com、cloudresourcemanager.googleapis.com。如果貴機構政策不允許授予使用者這項權限，您也可以在執行 Cortex Framework 部署指令碼之前，手動啟用上述 API。

選用：使用服務帳戶取得示範部署作業所需的 IAM 角色

只有在示範部署時啟用選用參數 --service_account，才需要下列角色。在示範部署期間提供服務帳戶，可建立工作流程執行排程設定，簡化部署後資料管道的執行作業。如果部署作業不含 --service_account 設定，則不需要這些角色。

如要取得部署 Cortex Framework 試用版所需的權限，請要求系統管理員在來源和目標專案中，授予您服務帳戶權杖建立者 (roles/iam.serviceAccountTokenCreator) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

部署

請按照下列步驟建立 Python 虛擬環境、同步處理依附元件，並觸發資料管道。請記得使用 Cortex Framework uv 指令碼，將資料資產建構並推送至 Google Cloud 專案，將本機設定轉換為可擴充的即時資料架構。詳情請參閱「必要條件」一節中的「uv 安裝」。

執行示範部署作業

執行下列指令來觸發部署作業。這項程序會執行下列動作：

• 確認已完成所有必要條件。
• 將範例資料載入 BigQuery 資料集，做為示範用的原始層。
• 建構 Dataform pipeline，透過 Cortex Framework 資料層處理範例資料。
• 建立 Dataform 存放區和工作區，然後將編譯的構件與存放區同步。
• 建立工作流程排程，並觸發初始 Dataform 工作流程執行作業。

如要部署試用版，但沒有服務帳戶，請執行下列指令：

uv run cortex-demo --project_id=PROJECT_ID

如要使用服務帳戶進行示範部署，請執行下列指令：

注意： --service_account 是選用參數。

uv run cortex-demo --project_id=PROJECT_ID \
    --service_account="SA_DF_RUN@PROJECT_ID.iam.gserviceaccount.com"

詳情請參閱「支援的 BigQuery 位置」和「支援的 Dataform 區域」。

CLI 示範部署：您可以選擇執行 uv run cortex-demo -h 指令，顯示可能的參數清單。詳情請參閱「CLI Cortex Framework 示範部署」。

驗證

部署完成後：

1. 開啟 Dataform，檢查存放區中建立的新程式碼：

   1. 已建立 Dataform 存放區。
   2. 已建立 Dataform 開發工作區。
   3. 編譯及同步處理的程式碼。

2. 執行 Dataform 動作：

   注意： 如果在部署期間使用 --service_account 參數，則可略過這個步驟。
   1. 開啟 Dataform 工作區。
   2. 按一下「Start execution」(開始執行)。
   3. 點選「執行動作」。
   4. 按一下「All actions」(所有動作)。

   5. 按一下「Start execution」(開始執行)。

   6. 監控 Dataform 存放區中所有動作的執行情況。

3. 前往 BigQuery 控制台查看建立的資料集，並驗證結構定義和資料。已建立的資料集：

   • cortex_demo_sap_ecc_raw：這個資料集包含來源系統 (在本範例中為 SAP S/4HANA) 的原始資料。
   • cortex_demo_sap_ecc_data_foundation：這個資料集代表資料基礎層，其中來自原始層的原始資料會經過 CDC 處理。
   • cortex_demo_data_product：這個資料集包含經過精簡的示範資料產品、專為供使用者取用而設計的高效能檢視區塊或資料表。