重复使用集群

本页面介绍了如何在 Cloud Data Fusion 中为流水线运行重复使用 Managed Service for Apache Spark 集群。如需了解详情，请参阅何时重用集群和针对现有 Managed Service for Apache Spark 集群运行流水线。

准备工作

  • 您必须拥有 6.5.0 版或更高版本的 Cloud Data Fusion 实例。

启用集群重用

您可以在新的计算配置文件中或已在已部署的流水线中使用的计算配置文件中重复使用集群。

在新配置文件中启用集群重用

  1. 前往您的实例：

    1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 页面。

    2. 如需在 Cloud Data Fusion Studio 中打开实例，请点击实例，然后点击查看实例。

      转到实例

  2. 依次点击系统管理员 > 配置 > 系统计算配置文件。

  3. 点击创建新的付款资料。

  4. 选择 Managed Service for Apache Spark 配置程序。

  5. 在为 Managed Service for Apache Spark 创建配置窗口中，输入有关集群的详细信息：

    1. 在配置文件标签和配置文件名称字段中，输入用于标识配置文件的名称，例如 execution_compute-profile。
    2. 在说明字段中，描述配置文件的用途，例如 Profile used for pipeline execution。
    3. 在最长空闲时间字段中，输入一个值。如需了解详情，请参阅设置最长空闲时间。
    4. 将跳过集群删除字段设置为 True。如需了解详情，请参阅何时重复使用集群。
    5. 可选：配置其他可选字段。
    6. 点击创建。

在已部署的流水线中启用集群重用

  1. 前往您的实例：

    1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 页面。

    2. 如需在 Cloud Data Fusion Studio 中打开实例，请点击实例，然后点击查看实例。

      转到实例

  2. 点击列表。

  3. 点击已部署标签页，然后点击流水线名称。部署的流水线会在 Cloud Data Fusion 网页界面的 Studio 页面上打开。

  4. 点击配置。

  5. 在计算配置窗口中，前往所选配置文件，然后点击自定义。

  6. 在随即打开的窗口中，输入以下值：

    1. 在最长空闲时间字段中，输入一个值。如需了解详情，请参阅设置最长空闲时间。
    2. 将跳过集群删除设置为 True。如需了解详情，请参阅何时重复使用集群。

  7. 点击完成。

后续步骤