演示部署

演示部署使用预定义的示例数据集，可提供简化的体验。它提供了一个端到端的工作流，用于部署 Cortex Framework Dataform 流水线以进行编排，并使用示例数据初始化相应的 BigQuery 数据集。

注意： 演示部署不适用于生产环境。对于生产环境部署，请参阅 Cortex Framework 部署。

准备工作

在继续进行演示部署之前，请确保您已完成前提条件页面上列出的前提条件。

获取所需的 IAM 角色和权限

获取所需的 Identity and Access Management (IAM) 权限，以便在目标 Google Cloud 项目中部署 Cortex Framework 内容。

目标项目的角色

如需获得部署 Cortex Framework 所需的权限，请让管理员向您授予目标项目的以下 IAM 角色：

• BigQuery Job User (roles/bigquery.jobUser)
• BigQuery Data Editor (roles/bigquery.dataEditor)
• Dataform Editor (roles/dataform.editor)
• Service Usage Admin (roles/serviceusage.serviceUsageAdmin)

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

注意： 在执行 Cortex Framework 部署脚本期间，系统会使用 Service Usage Admin (roles/serviceusage.serviceUsageAdmin) 角色自动启用以下 Google CloudAPI：dataform.googleapis.com、bigquery.googleapis.com、cloudresourcemanager.googleapis.com。如果您的组织政策不允许向用户授予此权限，您也可以在执行 Cortex Framework 部署脚本之前，手动启用上述 API。

可选：获取使用服务账号进行演示部署所需的 IAM 角色

只有在演示部署中启用可选参数 --service_account 时，才需要以下角色。在演示部署期间提供服务账号，可通过创建工作流执行调度配置来简化部署后的数据流水线执行。如果部署不包含 --service_account 配置，则不需要这些角色。

如需获得部署 Cortex Framework 演示版所需的权限，请让您的管理员为您授予源项目和目标项目的 Service Account Token Creator (roles/iam.serviceAccountTokenCreator) IAM 角色。如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

部署

按照以下步骤创建虚拟 Python 环境、同步依赖项并触发数据流水线。请务必使用 Cortex Framework uv 脚本来构建数据资产并将其推送到 Google Cloud 项目，从而将本地配置转换为可伸缩的实时数据架构。如需了解详情，请参阅前提条件部分中的 uv 安装。

执行演示部署

运行以下命令以触发部署。此流程将执行以下操作：

• 确认已满足所有前提条件。
• 将示例数据加载到 BigQuery 数据集中，以用作演示的原始层。
• 构建 Dataform 流水线，以通过 Cortex Framework 数据层处理示例数据。
• 创建 Dataform 代码库和工作区，然后将编译后的制品与代码库同步。
• 创建工作流调度并触发初始 Dataform 工作流执行。

对于没有服务账号的演示部署，请执行以下命令：

uv run cortex-demo --project_id=PROJECT_ID

对于使用服务账号的演示部署，请执行以下命令：

注意： --service_account 是一个可选参数。

uv run cortex-demo --project_id=PROJECT_ID \
    --service_account="SA_DF_RUN@PROJECT_ID.iam.gserviceaccount.com"

如需了解详情，请参阅支持的 BigQuery 位置和支持的 Dataform 区域。

CLI 演示部署：您可以选择运行 uv run cortex-demo -h 命令来显示可能的参数列表。如需了解详情，请参阅 CLI Cortex Framework 演示部署。

验证

部署完成后：

1. 打开 Dataform 以检查在代码库中创建的新代码：

   1. 创建了 Dataform 代码库。
   2. 已创建 Dataform 开发工作区。
   3. 已编译并同步的代码。

2. 执行 Dataform 操作：

   注意： 如果在部署期间使用了 --service_account 参数，则此步骤是可选的。
   1. 打开 Dataform 工作区。
   2. 点击开始执行。
   3. 点击执行操作。
   4. 点击所有操作。

   5. 点击开始执行。

   6. 监控 Dataform 代码库中所有操作的成功执行情况。

3. 前往 BigQuery 控制台查看已创建的数据集，并验证架构和数据。已创建的数据集：

   • cortex_demo_sap_ecc_raw：此数据集包含来自源系统（在本示例中为 SAP S/4HANA）的原始数据。
   • cortex_demo_sap_ecc_data_foundation：此数据集表示数据基础层，其中来自原始层的原始数据经过 CDC 处理。
   • cortex_demo_data_product：此数据集包含演示数据产品，即为供最终用户使用而设计的高性能视图或表。