重複使用叢集

本頁說明如何在 Cloud Data Fusion 中，針對管道執行作業重複使用 Dataproc 叢集。詳情請參閱「何時應重複使用叢集」和「對現有的 Dataproc 叢集執行管道」。

事前準備

  • 您必須使用 Cloud Data Fusion 6.5.0 以上版本的執行個體。

啟用叢集重複使用功能

您可以在新的運算設定檔中重複使用叢集，也可以在已部署管道中使用的運算設定檔中重複使用叢集。

在新設定檔中啟用叢集重複使用功能

  1. 前往您的執行個體：

    1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 頁面。

    2. 如要在 Cloud Data Fusion Studio 中開啟執行個體，請依序按一下「Instances」和「View instance」。

      前往「Instances」(執行個體)

  2. 依序點選「系統管理員」>「設定」>「系統運算設定檔」。

  3. 按一下「建立新資料」。

  4. 選擇 Dataproc 供應器。

  5. 在「建立 Dataproc 設定檔」視窗中，輸入叢集的詳細資料：

    1. 在「Profile label」和「Profile name」欄位中輸入名稱，用於識別設定檔，例如 execution_compute-profile。
    2. 在「Description」欄位中說明設定檔的用途，例如 Profile used for pipeline execution。
    3. 在「最大閒置時間」欄位中輸入值。詳情請參閱「設定閒置時間上限」。
    4. 將「Skip cluster delete」欄位設為 True。詳情請參閱「何時重複使用叢集」。
    5. 選用：設定其他選用欄位。
    6. 按一下 [建立]。

在已部署的管道中啟用叢集重複使用功能

  1. 前往您的執行個體：

    1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 頁面。

    2. 如要在 Cloud Data Fusion Studio 中開啟執行個體，請依序按一下「Instances」和「View instance」。

      前往「Instances」(執行個體)

  2. 按一下「清單」。

  3. 按一下「已部署」分頁標籤，然後點選管道名稱。部署的管道會在 Cloud Data Fusion 網頁介面中的「Studio」頁面中開啟。

  4. 按一下 [設定]。

  5. 在「Compute config」視窗中，前往所選設定檔，然後按一下「Customize」。

  6. 在隨即開啟的視窗中輸入下列值：

    1. 在「最大閒置時間」欄位中輸入值。詳情請參閱「設定閒置時間上限」。
    2. 將「Skip cluster delete」(略過叢集刪除作業) 設為 True。詳情請參閱「何時重複使用叢集」。

  7. 按一下 [完成]。

後續步驟