Cluster wiederverwenden

Durch die Wiederverwendung von Managed Service for Apache Spark-Clustern in Cloud Data Fusion können Sie den Bereitstellungsaufwand reduzieren und die Pipelineausführung über mehrere Ausführungen hinweg beschleunigen. Weitere Informationen finden Sie unter Wann Cluster wiederverwendet werden sollten und Pipeline für einen vorhandenen Managed Service for Apache Spark-Cluster ausführen.

Hinweis

  • Sie benötigen eine Cloud Data Fusion-Instanz der Version 6.5.0 oder höher.

Clusterwiederverwendung aktivieren

Sie können Cluster in einem neuen Compute-Profil oder in einem Profil wiederverwenden, das in einer bereitgestellten Pipeline verwendet wurde.

Clusterwiederverwendung in einem neuen Profil aktivieren

  1. Rufen Sie Ihre Instanz auf:

    1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

    2. Wenn Sie die Instanz in Cloud Data Fusion Studio öffnen möchten, klicken Sie auf Instanzen und dann auf Instanz anzeigen.

      Zur Seite „VM-Instanzen“

  2. Klicken Sie auf Systemadministrator > Konfiguration > System-Computing-Profile.

  3. Klicken Sie auf Neues Profil erstellen.

  4. Wählen Sie den Bereitsteller Managed Service for Apache Spark aus.

  5. Geben Sie im Fenster Profil für Managed Service for Apache Spark erstellen die Details zu Ihrem Cluster ein:

    1. Geben Sie in den Feldern Profilbezeichnung und Profilname einen Namen ein, um das Profil zu identifizieren, z. B. execution_compute-profile.
    2. Beschreiben Sie im Feld Beschreibung den Zweck des Profils, z. B. Profile used for pipeline execution.
    3. Geben Sie im Feld Maximale Inaktivitätsdauer einen Wert ein. Weitere Informationen finden Sie unter Maximale Inaktivitätszeit festlegen.
    4. Setzen Sie das Feld Clusterlöschung überspringen auf True. Weitere Informationen finden Sie unter Wann Cluster wiederverwendet werden sollten.
    5. Optional: Konfigurieren Sie weitere optionale Felder.
    6. Klicken Sie auf Erstellen.

Clusterwiederverwendung in einer bereitgestellten Pipeline aktivieren

  1. Rufen Sie Ihre Instanz auf:

    1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

    2. Wenn Sie die Instanz in Cloud Data Fusion Studio öffnen möchten, klicken Sie auf Instanzen und dann auf Instanz anzeigen.

      Zur Seite „VM-Instanzen“

  2. Klicken Sie auf Liste.

  3. Klicken Sie auf den Tab Bereitgestellt und dann auf einen Pipelinenamen. Die bereitgestellte Pipeline wird auf der Seite Studio in der Cloud Data Fusion-Weboberfläche geöffnet.

  4. Klicken Sie auf Konfigurieren.

  5. Rufen Sie im Fenster Compute-Konfiguration das ausgewählte Profil auf und klicken Sie auf Anpassen.

  6. Geben Sie im geöffneten Fenster die folgenden Werte ein:

    1. Geben Sie im Feld Maximale Inaktivitätszeit einen Wert ein. Weitere Informationen finden Sie unter Maximale Inaktivitätszeit festlegen.
    2. Setzen Sie Clusterlöschung überspringen auf True. Weitere Informationen finden Sie unter Wann Cluster wiederverwendet werden sollten.

  7. Klicken Sie auf Fertig.

Nächste Schritte