部署指南

本页将引导您完成生产路径部署的 Cortex Framework 部署步骤。

准备工作

在继续部署之前，请确保您已完成前提条件页面上列出的前提条件。

在部署 Cortex Framework 之前，请选择并准备源系统集成。

配置 IAM 角色

配置所需的 Identity and Access Management (IAM) 权限，以便在所需的 Google Cloud 项目中部署 Cortex Framework 内容。

构建项目的角色

如需获得构建 Cortex Framework 所需的权限，请让管理员在您的构建项目上为您授予 BigQuery Data JobUser (roles/bigquery.jobUser) IAM 角色。 如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

如需向用户授予所请求的角色，您可以使用以下脚本：

      gcloud projects add-iam-policy-binding BUILD_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.jobUser"

源项目的角色

如需获得部署 Cortex Framework 所需的权限，请让管理员在源项目上为您授予 BigQuery Data Viewer (roles/bigquery.dataViewer) IAM 角色。 如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。 

      gcloud projects add-iam-policy-binding SOURCE_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataViewer"

目标项目的角色

如需获得部署 Cortex Framework 所需的权限，请让管理员向您授予目标项目的以下 IAM 角色：

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

如需向用户授予所请求的角色，您可以使用以下脚本：

gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataEditor"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/dataform.admin"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/serviceusage.serviceUsageConsumer"

部署配置

在部署之前，通过集中式的“配置即代码”方法配置数据基础层和数据产品层。Cortex Framework 使用 config/config.yaml 文件来配置 Cortex Framework 部署。我们建议您先复制 config/config.yaml.example。此文件包含来源数据与目标 Google Cloud环境之间的基本映射。正确配置可确保 Cortex Framework 确切知道在哪里查找原始数据，以及在哪里实现生成的层。

如需成功部署 Cortex Framework，您需要添加以下强制性值：

  • YOUR_BUILD_PROJECT_ID：执行部署编排和 uv 脚本的项目。
  • YOUR_SOURCE_PROJECT_ID：包含原始来源数据的项目。
  • YOUR_TARGET_PROJECT_ID：处理后的数据产品和 BigQuery 数据集将位于的目标项目。
  • YOUR_REPO_PROJECT_ID：托管 Dataform 代码库和部署制品的项目。

如需详细了解配置文件，请参阅部署配置。

执行部署

运行以下命令以触发 Cortex Framework 部署。此流程将执行以下操作：

  • 确认已完成所有前提条件。
  • 连接到原始数据集，并根据架构信息构建和编译 .sqlx 脚本。
  • 创建 Dataform 代码库和工作区，然后将编译后的制品与代码库同步。
uv run cortex-build-and-deploy --config config/config.yaml

uv run cortex-build-and-deploy CLI 参数：您可以选择运行 uv run cortex-build-and-deploy -h 命令来显示 cortex-demo 脚本支持的可能参数的列表。如需了解详情，请参阅 CLI Cortex Framework uv run cortex-build-and-deploy。

命令行选项

uv run 命令行界面 (CLI) 支持以下操作：

  • uv run cortex-build：执行 Dataform 工作区的编译，将 YAML 配置和 SQLX/JS 模板转换为可部署的 Dataform 资源。如需了解详情，请参阅 CLI Cortex build。
  • uv run cortex-deploy：将编译后的资源推送到目标 Dataform 工作区。如需了解详情，请参阅 CLI Cortex deploy。
  • uv run cortex-build-and-deploy：将 build 资产的编译和推送合并到 Dataform 工作区中。如需了解详情，请参阅 CLI Cortex 构建和部署。

后续步骤