クラスタを再利用する

このページでは、Cloud Data Fusion でパイプライン実行に Managed Service for Apache Spark クラスタを再利用する方法について説明します。詳細については、クラスタを再利用するタイミングと既存の Managed Service for Apache Spark クラスタに対してパイプラインを実行するをご覧ください。

始める前に

  • Cloud Data Fusion インスタンスのバージョン 6.5.0 以降が必要です。

クラスタの再利用を有効にする

クラスタは、新しいコンピューティング プロファイル、またはデプロイされたパイプラインで使用されているプロファイルで再利用できます。

新しいプロファイルでクラスタの再利用を有効にする

  1. インスタンスに移動します:

    1. Google Cloud コンソールで、Cloud Data Fusion のページに移動します。

    2. Cloud Data Fusion Studio でインスタンスを開くには、[インスタンス]、[インスタンスを表示] の順にクリックします。

      [インスタンス] に移動

  2. [システム管理者] > [構成] > [システム コンピューティング プロファイル] をクリックします。

  3. [Create New Profile] をクリックします。

  4. Managed Service for Apache Spark プロビジョナーを選択します。

  5. [Managed Service for Apache Spark のプロファイルを作成] ウィンドウで、クラスタの詳細を入力します。

    1. [Profile label] フィールドと [Profile name] フィールドに、プロファイルを識別する名前（execution_compute-profile など）を入力します。
    2. [説明] フィールドに、プロファイルの目的（Profile used for pipeline execution など）を入力します。
    3. [最大アイドル時間] フィールドに値を入力します。詳細については、最大アイドル時間を設定するをご覧ください。
    4. [クラスタの削除をスキップ] フィールドを True に設定します。詳細については、クラスタを再利用するタイミングをご覧ください。
    5. 省略可: 他の省略可能なフィールドを構成します。
    6. [作成] をクリックします。

デプロイされたパイプラインでクラスタの再利用を有効にする

  1. インスタンスに移動します:

    1. Google Cloud コンソールで、Cloud Data Fusion のページに移動します。

    2. Cloud Data Fusion Studio でインスタンスを開くには、[インスタンス]、[インスタンスを表示] の順にクリックします。

      [インスタンス] に移動

  2. [リスト] をクリックします。

  3. [デプロイ済み] タブをクリックし、パイプライン名をクリックします。デプロイされたパイプラインが、Cloud Data Fusion ウェブ インターフェースの [Studio] ページで開きます。

  4. [構成] をクリックします。

  5. [コンピューティング構成] ウィンドウで、選択したプロファイルに移動し、[カスタマイズ] をクリックします。

  6. 表示されたウィンドウで、次の値を入力します。

    1. [最大アイドル時間] フィールドに値を入力します。詳細については、最大アイドル時間を設定するをご覧ください。
    2. [クラスタの削除をスキップ] を True に設定します。詳細については、クラスタを再利用するタイミングをご覧ください。

  7. [完了] をクリックします。

次のステップ