部署后步骤

本页面将引导您完成 Cortex Framework 的部署后步骤,以执行数据流水线并验证结果。

运行部署后,所有转换模板和配置都会被编译并部署到目标 Dataform 代码库。但是,如需在 BigQuery 中实现表和视图,您必须先执行 Dataform 流水线操作。

在 Dataform 中执行转换

通过执行流水线,您可以启动将原始数据逻辑转换为标准化、AI 就绪的数据基础层和数据产品的过程,以便立即用于业务。

您可以在 Google Cloud 控制台中手动执行操作以进行验证,也可以为生产配置定期安排。

手动执行以进行验证

如需在 Dataform 工作区中手动执行整个流水线以进行验证,请按以下步骤操作:

  1. 在 Google Cloud 控制台中,前往 Dataform 页面。
  2. 确认您已从项目下拉列表中选择正确的 Google Cloud 项目。
  3. 点击在部署期间创建的代码库的名称(例如 cortex)。
  4. 点击工作区名称(例如 cortex)。
  5. 点击开始执行
  6. 点击执行操作
  7. 选择所有操作 。您还可以通过选择特定标记或操作来选择转换的关键子集。
  8. 点击开始执行

验证执行是否成功

如需监控进度并检查流水线是否成功完成,请按以下步骤操作:

  1. 点击执行 标签页,查看执行历史记录。
  2. 验证状态是否为已成功完成
  3. 点击执行运行链接,检查特定操作、编译错误或执行时间的详细信息。

查看 BigQuery 中的数据资产

Dataform 流水线成功执行后,请验证生成的数据集,并查看 BigQuery 中实现的表。

  1. 在 Google Cloud 控制台中,前往 BigQuery
  2. 找到在 config.yaml 文件中配置的目标数据集(例如,由模块的 dataTargetId 引用的 data.targets 条目中的 datasetId 标识的数据集)。例如,在模板配置中,这些可能是:
    • 数据基础层:查找与基础目标 ID(默认配置为 cortex7_sap_data_foundation)匹配的数据集。
    • 数据产品层:查找与产品目标 ID(默认配置为 cortex7_data_products)匹配的数据集。
  3. 预览表并运行示例查询,以验证它们是否填充了预期记录。

后续步骤

现在,您的数据系统已投入运行,您可以探索以下内容: