Cluster wiederverwenden

Auf dieser Seite wird beschrieben, wie Sie Managed Service for Apache Spark-Cluster für Ihre Pipelineausführungen in Cloud Data Fusion wiederverwenden. Weitere Informationen finden Sie unter Cluster wiederverwenden und Pipeline für einen vorhandenen Managed Service for Apache Spark-Cluster ausführen.

Hinweis

  • Sie benötigen eine Cloud Data Fusion-Instanz in Version 6.5.0 oder höher.

Clusterwiederverwendung aktivieren

Sie können Cluster in einem neuen Rechenprofil oder in einem Profil wiederverwenden, das in einer bereitgestellten Pipeline verwendet wurde.

Clusterwiederverwendung in einem neuen Profil aktivieren

  1. Rufen Sie Ihre Instanz auf:

    1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

    2. Wenn Sie die Instanz in Cloud Data Fusion Studio öffnen möchten, klicken Sie auf Instanzen und dann auf Instanz anzeigen.

      Zur Seite „VM-Instanzen“

  2. Klicken Sie auf Systemadministrator > Konfiguration > Systemberechnungsprofile.

  3. Klicken Sie auf Neues Profil erstellen.

  4. Wählen Sie den Bereitsteller Managed Service for Apache Spark aus.

  5. Geben Sie im Fenster Profil für Managed Service for Apache Spark erstellen die Details zu Ihrem Cluster ein:

    1. Geben Sie in den Feldern Profillabel und Profilname einen Namen ein, mit dem das Profil identifiziert werden kann, z. B. execution_compute-profile.
    2. Beschreiben Sie im Feld Beschreibung den Zweck des Profils, z. B. Profile used for pipeline execution.
    3. Geben Sie im Feld Maximale Leerlaufzeit einen Wert ein. Weitere Informationen finden Sie unter Maximale Leerlaufzeit festlegen.
    4. Setzen Sie das Feld Skip cluster delete auf True. Weitere Informationen finden Sie unter Wann Cluster wiederverwendet werden sollten.
    5. Optional: Konfigurieren Sie andere optionale Felder.
    6. Klicken Sie auf Erstellen.

Clusterwiederverwendung in einer bereitgestellten Pipeline aktivieren

  1. Rufen Sie Ihre Instanz auf:

    1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

    2. Wenn Sie die Instanz in Cloud Data Fusion Studio öffnen möchten, klicken Sie auf Instanzen und dann auf Instanz anzeigen.

      Zur Seite „VM-Instanzen“

  2. Klicken Sie auf Liste.

  3. Klicken Sie auf den Tab Bereitgestellt und dann auf einen Pipelinennamen. Die bereitgestellte Pipeline wird auf der Seite Studio in der Cloud Data Fusion-Weboberfläche geöffnet.

  4. Klicken Sie auf Konfigurieren.

  5. Klicken Sie im Fenster Compute-Konfiguration auf das ausgewählte Profil und dann auf Anpassen.

  6. Geben Sie im angezeigten Fenster die folgenden Werte ein:

    1. Geben Sie im Feld Maximale Leerlaufzeit einen Wert ein. Weitere Informationen finden Sie unter Maximale Leerlaufzeit festlegen.
    2. Setzen Sie Clusterlöschung überspringen auf True. Weitere Informationen finden Sie unter Wann Cluster wiederverwendet werden sollten.

  7. Klicken Sie auf Fertig.

Nächste Schritte