修改流水线

本页介绍了如何在 Cloud Data Fusion 中修改已部署的批处理流水线。

通过修改流水线,您可以执行以下操作:

  • 向已部署的流水线增量添加功能,而不会创建重复项。例如,您可以添加、移除或修改插件,然后重新部署流水线。修改流水线会创建同一流水线的新版本,这有助于防止流水线过多,从而更好地进行整理。复制流水线会创建一个具有不同名称的新流水线。
  • 维护修改过的版本的历史记录。
  • 查看和恢复流水线的旧版本。
  • 修改流水线的任何部分,例如流水线结构、配置、元数据、偏好设置和备注。
  • 为已部署的流水线导出修改后的 JSON 文件。

当您修改流水线时,Cloud Data Fusion 会创建一个新的草稿,该草稿会成为最新版本。流水线的名称保持不变。您可以迭代开发流水线,而无需创建具有唯一名称的重复流水线。最新版本会保留上一个版本中的触发器、流水线配置、运行时参数、元数据、注释和时间表。最新版本是流水线的有效版本:可以运行或安排运行。

准备工作

  • Cloud Data Fusion 6.9.1 及更高版本支持修改已部署的批处理流水线。如需升级到最新版本,请参阅升级 Cloud Data Fusion 环境。
  • Cloud Data Fusion 不支持修改已部署的实时流水线或复制作业。

修改流水线

如需在 Cloud Data Fusion 中修改已部署的批处理流水线,请按以下步骤操作:

  1. 前往您的实例:
    1. In the Google Cloud console, go to the Cloud Data Fusion page.

    2. To open the instance in the Cloud Data Fusion Studio, click Instances, and then click View instance.

      Go to Instances

  2. 依次点击列表 > 已部署。
  3. 前往要修改的流水线,然后依次点击 更多 > 修改。

    Studio 页面上会显示流水线的新草稿。

  4. 修改您的流水线。例如,添加新的分析节点或修改来源的属性。

  5. 可选:如需稍后完成对数据流的修改,请点击保存。

  6. 修改完流水线后,点击部署。

  7. 在输入更改摘要对话框中,输入对流水线所做的更改的说明,然后点击部署。已部署的流水线将在流水线页面上打开。

查看或恢复流水线的旧版本

如需查看或部署批处理流水线的旧版本,请按以下步骤操作:

  1. 在 Cloud Data Fusion 界面中打开您的实例。
  2. 依次点击列表 > 已部署。
  3. 选择一个流水线。该流水线会显示在流水线页面上。
  4. 点击 历史记录。

    系统随即会显示版本历史记录列表。

  5. 可选:如需查看流水线的旧版本,请点击查看。

  6. 可选:如需将旧版流水线恢复为最新版本,请点击恢复。

    Cloud Data Fusion 会创建新版本的流水线,并在流水线页面上打开该流水线。它现在是最新版本。

导出已部署流水线的修改版

您可以将已部署的流水线的修改版本导出为 JSON 文件,以便与其他开发者共享、将其添加到版本控制中,或将其从开发环境移至测试环境或生产环境。例如,在开发和调试阶段修改流水线后,您可以导出 JSON 文件,然后将其导入并部署到生产环境。

导出最新版本

如需导出最新版本的流水线,请按以下步骤操作:

  1. 在 Cloud Data Fusion 界面中打开您的实例。
  2. 依次点击列表 > 已部署。
  3. 选择要导出的流水线,然后依次点击 更多 > 导出。

    系统会将包含最新版本中流水线配置的 JSON 文件保存到本地。

导出先前版本

如需导出流水线的先前版本,请按以下步骤操作:

  1. 在 Cloud Data Fusion 界面中打开您的实例。
  2. 依次点击列表 > 已部署。
  3. 选择相应流水线。最新版本会在流水线页面上打开。
  4. 点击 历史记录。
  5. 选择要导出的流水线版本,然后依次点击查看> 操作 > 导出。

导入已部署流水线的修改版本

所有流水线均以 Draft 状态导出。已部署流水线的修改版本也会以 Draft 状态导入。如需了解详情,请参阅导入流水线。

删除流水线的修改版本

删除已部署流水线的最新版本后,该已部署流水线的所有版本都会被删除。草稿版本不会被删除。

相反,草稿流水线版本的状态为孤儿。如需解决此状态,请部署草稿流水线。Cloud Data Fusion 会创建一个新的流水线,即最新版本。

修改后的流水线的状态

修改流水线时,流水线草稿页面上可能会显示以下状态。

状态 说明
进行中 您已保存对流水线的修改。
孤儿 流水线的最新版本已被删除,关联的草稿不再属于现有流水线。如果有人删除了具有以下端点的渠道:DELETE/v3/namespaces/NAMESPACE_ID/apps/APP_ID ,您可能会看到此状态。
已废弃 在您进行修改时,系统部署了较新版本。 如果其他开发者在您完成修改之前部署了流水线,您可能会看到此状态。这与“流水线”页面上显示的草稿已过期 相同。

修改流水线时,Studio 页面上可能会显示以下状态。

状态 说明
正在修改 您正在修改草稿流水线。
无主草稿 在您编辑流水线时,有人部署了较新版本。

后续步骤