クラスタを再利用する

Cloud Data Fusion で Managed Service for Apache Spark クラスタを再利用すると、プロビジョニングのオーバーヘッドを削減し、実行全体でパイプラインの実行を高速化できます。詳細については、クラスタを再利用するタイミングと既存の Managed Service for Apache Spark クラスタに対してパイプラインを実行するをご覧ください。

始める前に

  • バージョン 6.5.0 以降の Cloud Data Fusion インスタンスが必要です。

クラスタの再利用を有効にする

クラスタは、新しいコンピューティング プロファイルで再利用することも、デプロイされたパイプラインで使用されているプロファイルで再利用することもできます。

新しいプロファイルでクラスタの再利用を有効にする

  1. インスタンスに移動します:

    1. Google Cloud コンソールで、Cloud Data Fusion のページに移動します。

    2. Cloud Data Fusion Studio でインスタンスを開くには、[インスタンス]、[インスタンスを表示] の順にクリックします。

      [インスタンス] に移動

  2. [システム管理者] > [設定] > [システム コンピューティング プロファイル] をクリックします。

  3. [Create New Profile] をクリックします。

  4. Managed Service for Apache Spark プロビジョナーを選択します。

  5. [Managed Service for Apache Spark のプロファイルを作成する] ウィンドウで、クラスタの詳細を入力します。

    1. [プロファイル ラベル] フィールドと [プロファイル名] フィールドに、プロファイルを識別する名前（execution_compute-profile など）を入力します。
    2. [説明] フィールドに、プロファイルの目的（例: Profile used for pipeline execution）を入力します。
    3. [最大アイドル時間] フィールドに値を入力します。詳細については、最大アイドル時間を設定するをご覧ください。
    4. [クラスタの削除をスキップ] フィールドを True に設定します。詳細については、クラスタを再利用するタイミングをご覧ください。
    5. 省略可: その他のオプション フィールドを構成します。
    6. [作成] をクリックします。

デプロイされたパイプラインでクラスタの再利用を有効にする

  1. インスタンスに移動します:

    1. Google Cloud コンソールで、Cloud Data Fusion のページに移動します。

    2. Cloud Data Fusion Studio でインスタンスを開くには、[インスタンス]、[インスタンスを表示] の順にクリックします。

      [インスタンス] に移動

  2. [リスト] をクリックします。

  3. [デプロイ済み] タブをクリックし、パイプライン名をクリックします。デプロイされたパイプラインが、Cloud Data Fusion ウェブ インターフェースの [Studio] ページで開きます。

  4. [構成] をクリックします。

  5. [コンピューティング構成] ウィンドウで、選択したプロファイルに移動し、[カスタマイズ] をクリックします。

  6. 表示されたウィンドウで、次の値を入力します。

    1. [Max Idle Time] フィールドに値を入力します。詳細については、最大アイドル時間を設定するをご覧ください。
    2. [クラスタの削除をスキップ] を True に設定します。詳細については、クラスタを再利用するタイミングをご覧ください。

  7. [完了] をクリックします。

次のステップ