重複使用叢集

在 Cloud Data Fusion 中重複使用 Managed Service for Apache Spark 叢集，可減少佈建負擔，並加快各次執行的管道執行速度。詳情請參閱「何時應重複使用叢集」和「針對現有的 Managed Service for Apache Spark 叢集執行管道」。

事前準備

  • 您必須擁有 6.5.0 以上版本的 Cloud Data Fusion 執行個體。

啟用叢集重複使用功能

您可以在新的運算設定檔中重複使用叢集，也可以在已部署的管道中使用叢集。

在新的設定檔中啟用叢集重複使用功能

  1. 前往執行個體：

    1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 頁面。

    2. 如要在 Cloud Data Fusion Studio 中開啟執行個體，請依序按一下「Instances」和「View instance」。

      前往「Instances」(執行個體)

  2. 依序點選「System admin」(系統管理員)>「Configuration」(設定)>「System compute profiles」(系統運算設定檔)。

  3. 按一下「建立新個人檔案」。

  4. 選擇 Managed Service for Apache Spark 佈建工具。

  5. 在「Create a profile for Managed Service for Apache Spark」(建立 Managed Service for Apache Spark 設定檔) 視窗中，輸入叢集的詳細資料：

    1. 在「Profile label」(設定檔標籤) 和「Profile name」(設定檔名稱) 欄位中，輸入用於識別設定檔的名稱，例如 execution_compute-profile。
    2. 在「Description」(說明) 欄位中，說明設定檔的用途，例如 Profile used for pipeline execution。
    3. 在「Max idle time」(閒置時間上限) 欄位中輸入值。詳情請參閱「設定閒置時間上限」。
    4. 將「Skip cluster delete」(略過叢集刪除作業) 欄位設為 True。詳情請參閱「何時應重複使用叢集」。
    5. 選用：設定其他選用欄位。
    6. 點選「建立」。

在已部署的管道中啟用叢集重複使用功能

  1. 前往執行個體：

    1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 頁面。

    2. 如要在 Cloud Data Fusion Studio 中開啟執行個體，請依序按一下「Instances」和「View instance」。

      前往「Instances」(執行個體)

  2. 按一下「List」(清單)。

  3. 按一下「Deployed」(已部署) 分頁標籤，然後點選管道名稱。部署的管道會在 Cloud Data Fusion 網頁介面的「Studio」頁面開啟。

  4. 按一下 [設定]。

  5. 在「Compute config」(運算設定) 視窗中，前往所選設定檔，然後按一下「Customize」(自訂)。

  6. 在開啟的視窗中輸入下列值：

    1. 在「Max Idle Time」(閒置時間上限) 欄位中輸入值。詳情請參閱「設定閒置時間上限」。
    2. 將「Skip cluster delete」(略過叢集刪除作業) 設為 True。詳情請參閱「何時應重複使用叢集」。

  7. 按一下「完成」。

後續步驟