部署
本页面将引导您完成企业数据的 Cortex Framework 部署步骤。
准备工作
在继续部署之前,请确保您已完成前提条件页面中列出的前提条件。
在部署 Cortex Framework 之前,必须将相关的 SAP ERP 表复制到 BigQuery 中。如需了解详情,请参阅 SAP ERP 数据源页面。
部署
准备好环境后,您就可以执行部署了。使用 Cortex Framework uv 脚本构建数据资产并将其推送到 Google Cloud 项目,将本地配置转换为可伸缩的实时数据架构。
配置
在部署之前,通过集中式的“配置即代码”方法配置数据基础层和数据产品层。Cortex Framework 使用 config/config.yaml 文件来配置 Cortex Framework 部署。此文件包含源数据与目标 Google Cloud环境之间的基本映射。正确的配置可确保 Cortex Framework 确切知道在哪里查找原始数据,以及在哪里实现生成的层。
如需成功部署 Cortex Framework,您需要添加以下强制性值:
YOUR_BUILD_PROJECT_ID:执行部署编排和uv脚本的项目。YOUR_SOURCE_PROJECT_ID:包含原始源数据的项目。YOUR_TARGET_PROJECT_ID:处理后的数据产品和 BigQuery 数据集将位于的目标项目。YOUR_REPO_PROJECT_ID:托管 Dataform 代码库和部署制品的项目。
如需详细了解配置文件,请参阅部署配置。
配置 IAM 角色
配置所需的 Identity and Access Management (IAM) 权限,以便在所需的 Google Cloud 项目中部署 Cortex Framework 内容。
构建项目的角色
如需获得构建 Cortex Framework 所需的权限,请让管理员向您授予构建项目的 BigQuery Data JobUser (roles/bigquery.jobUser) IAM 角色。如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
源项目的角色
如需获得部署 Cortex Framework 所需的权限,请让管理员在源项目上为您授予 BigQuery Data Viewer (roles/bigquery.dataViewer) IAM 角色。如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
目标项目的角色
如需获得部署 Cortex Framework 所需的权限,请让管理员向您授予目标项目的以下 IAM 角色:
-
BigQuery Data Editor (
roles/bigquery.dataEditor) -
Dataform Admin (
roles/dataform.admin) -
Service Usage Admin (
roles/serviceusage.serviceUsageAdmin)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
执行部署
运行以下命令以触发 Cortex Framework 部署。此流程将执行以下操作:
- 确认已满足所有前提条件。
- 连接到原始数据集,并根据架构信息构建和编译
.sqlx脚本。 - 创建 Dataform 代码库和工作区,然后将编译后的制品与代码库同步。
uv run cortex-build-and-deploy --config "config/config.yaml"
命令行选项
uv run 命令行界面 (CLI) 支持以下操作:
uv run cortex-build:执行 Dataform 工作区的编译,将 YAML 配置和 SQLX/JS 模板转换为可部署的 Dataform 资源。如需了解详情,请参阅 CLI Cortex build。uv run cortex-deploy:将编译后的资源推送到目标 Dataform 工作区。如需了解详情,请参阅 CLI Cortex deploy。uv run cortex-build-and-deploy:将 build 资产的编译和推送合并到 Dataform 工作区中。如需了解详情,请参阅 CLI Cortex 构建和部署。
执行数据基础和数据产品流水线
部署完成后,最后一步是执行 Dataform 代码库中的所有操作。通过在 Dataform 工作区中执行流水线,您可以启动将原始数据逻辑转换为结构化、AI 就绪的数据产品,以便立即用于业务。请按照以下步骤操作:
- 前往 Dataform。
- 确保您位于正确的项目中。
- 点击已创建的代码库名称。
- 点击工作区名称。
- 点击开始执行。
- 点击执行操作。
- 选择所有操作 - 您也可以选择感兴趣的步骤。
- 点击开始执行。
验证部署是否成功:
- 点击执行。
- 验证状态是否为“已成功完成”。
- 点击执行链接可了解详情。
您现在可以查看在配置文件中配置的数据集中部署的 BigQuery 数据资产。例如,CORTEX_SAP_DATAFOUNDATION 和 CORTEX_SAP_DATAPRODUCTS。