Cómo volver a utilizar clústeres

Reutilizar los clústeres de Managed Service para Apache Spark en Cloud Data Fusion te permite reducir la sobrecarga de aprovisionamiento y acelerar la ejecución de la canalización en todas las ejecuciones. Para obtener más información, consulta Cuándo reutilizar clústeres y Ejecuta una canalización en un clúster de Managed Service para Apache Spark existente.

Antes de comenzar

  • Debes tener una instancia de Cloud Data Fusion en la versión 6.5.0 o posterior.

Habilita la reutilización de clústeres

Puedes volver a usar clústeres en un perfil de procesamiento nuevo o en uno que se haya usado en una canalización implementada.

Habilita la reutilización de clústeres en un perfil nuevo

  1. Ve a tu instancia:

    1. En la Google Cloud consola, ve a la página de Cloud Data Fusion.

    2. Para abrir la instancia en Cloud Data Fusion Studio, haz clic en Instancias y, luego, en Ver instancia.

      Ir a Instancias

  2. Haz clic en Administrador del sistema > Configuración > Perfiles de procesamiento del sistema.

  3. Haz clic en Crear un perfil nuevo.

  4. Elige el aprovisionador de Managed Service para Apache Spark.

  5. En la ventana Crea un perfil para Managed Service para Apache Spark, ingresa los detalles sobre tu clúster:

    1. En los campos Etiqueta del perfil y Nombre del perfil, ingresa un nombre para identificar el perfil, por ejemplo, execution_compute-profile.
    2. En el campo Descripción, describe el propósito del perfil, por ejemplo, Profile used for pipeline execution.
    3. En el campo Tiempo de inactividad máximo, ingresa un valor. Para obtener más información, consulta Establece el tiempo de inactividad máximo.
    4. Establece el campo Omitir la eliminación del clúster en True. Para obtener más información, consulta Cuándo reutilizar clústeres.
    5. Opcional: Configura otros campos opcionales.
    6. Haz clic en Crear.

Habilita la reutilización de clústeres en una canalización implementada

  1. Ve a tu instancia:

    1. En la Google Cloud consola, ve a la página de Cloud Data Fusion.

    2. Para abrir la instancia en Cloud Data Fusion Studio, haz clic en Instancias y, luego, en Ver instancia.

      Ir a Instancias

  2. Haz clic en Lista.

  3. Haz clic en la pestaña Implementado y, luego, en el nombre de una canalización. La canalización implementada se abre en la página Studio de la interfaz web de Cloud Data Fusion.

  4. Haz clic en Configurar.

  5. En la ventana Configuración de procesamiento, ve al perfil elegido y haz clic en Personalizar.

  6. En la ventana que se abre, ingresa los siguientes valores:

    1. En el campo Tiempo de inactividad máximo, ingresa un valor. Para obtener más información, consulta Establece el tiempo de inactividad máximo.
    2. Establece Omitir la eliminación del clúster en True. Para obtener más información, consulta Cuándo reutilizar clústeres.

  7. Haz clic en Listo.

¿Qué sigue?