Administra perfiles de procesamiento

Un perfil de procesamiento especifica cómo y dónde se ejecuta una canalización. Encapsula la información requerida para configurar y borrar el entorno de ejecución físico de una canalización. Un perfil de procesamiento especifica un nombre de aprovisionador y los parámetros de configuración para ese aprovisionador.

Cada perfil de procesamiento tiene un alcance: sistema o usuario. Puedes usar perfiles de procesamiento del sistema para cualquier espacio de nombres que se encuentre debajo. Los perfiles de procesamiento del usuario existen dentro de un espacio de nombres, y solo las canalizaciones de ese espacio de nombres pueden usarlos. Los perfiles de procesamiento se pueden asignar a canalizaciones por lotes. Cuando se asigna un perfil de procesamiento a una canalización, se usa el aprovisionador especificado en el perfil para crear un clúster en el que se ejecutará la canalización.

Por ejemplo, un administrador podría decidir crear perfiles de procesamiento pequeños, medianos y grandes. Configuran cada perfil con las Google Cloud credenciales necesarias para crear y borrar clústeres de Managed Service for Apache Spark en la cuenta de la empresa. Google Cloud

  • El perfil pequeño está configurado para crear un clúster de 5 nodos.
  • El perfil mediano está configurado para crear un clúster de 20 nodos.
  • El perfil grande está configurado para crear un clúster de 50 nodos.

El administrador asigna el perfil pequeño a las canalizaciones que están programadas para ejecutarse cada hora en pequeñas cantidades de datos. Asignan el perfil grande a las canalizaciones que están programadas para ejecutarse todos los días en una gran cantidad de datos.

Perfil de procesamiento predeterminado

De forma predeterminada, Cloud Data Fusion usa Autoscale como perfil de procesamiento. Es difícil calcular la cantidad adecuada de trabajadores (nodos) del clúster para una carga de trabajo, y un tamaño único del clúster para toda la canalización no suele ser lo ideal. El ajuste de escala automático de Managed Service for Apache Spark proporciona un mecanismo para automatizar la administración de recursos del clúster y habilitar el ajuste de escala automático de la VM de trabajador del clúster. Para obtener más información, consulta Ajuste de escala automático.

En la página Compute config, en la que puedes ver una lista de perfiles, hay una columna Total cores, que tiene las CPUs virtuales máximas a las que se puede escalar el perfil, como Up to 84.

Perfiles de procesamiento del sistema y del usuario

Un perfil de procesamiento indica qué aprovisionador usar cuando se crea un clúster y especifica la configuración del clúster. También especifican la configuración del aprovisionador que se debe usar cuando se crea un clúster.

  • Para crear un perfil de procesamiento del sistema, ve a la página System admin en Cloud Data Fusion Studio. En esta página, se enumeran todos los perfiles de procesamiento del sistema y te permite crear perfiles de procesamiento del sistema nuevos.
  • Para crear un perfil de procesamiento del usuario, ve a la página Namespace administration en Cloud Data Fusion Studio y, luego, selecciona el espacio de nombres en el que deseas crear el perfil. Luego, puedes crear un perfil que solo exista dentro de ese espacio de nombres.

Asignación de perfiles de procesamiento

Puedes asignar perfiles de procesamiento a canalizaciones por lotes de las siguientes maneras:

  • Asigna un perfil predeterminado para la instancia de Cloud Data Fusion.
  • Asigna un perfil predeterminado para un espacio de nombres específico.
  • Asigna un perfil a una canalización por lotes para usarlo en ejecuciones que se inician de forma manual.
  • Asigna un perfil a una programación de canalización.

Si se establece un perfil en la programación que activa una ejecución o si ejecutas una canalización de forma manual y hay un perfil asignado a esa canalización, Cloud Data Fusion usa ese perfil de procesamiento.

Si no se establece ningún perfil, Cloud Data Fusion usa el perfil predeterminado para el espacio de nombres. Si no se establece ningún perfil predeterminado para el espacio de nombres,

Cloud Data Fusion usa el perfil predeterminado del sistema. Si no se establece ningún valor predeterminado del sistema, se usa el perfil integrado.

Asigna un perfil de procesamiento predeterminado

Para asignar perfiles predeterminados a un espacio de nombres o una instancia de Cloud Data Fusion, ve a Cloud Data Fusion Studio y haz clic en System admin > Configuration > System compute profiles. Para seleccionar el valor predeterminado, haz clic en la estrella junto al nombre del perfil.

Opcional: Usa los microservicios de preferencias para establecer perfiles predeterminados

  • Para establecer el perfil predeterminado, establece una preferencia en la instancia de Cloud Data Fusion con la clave system.profile.name y el valor system:<profile-name>.
  • Para establecer el perfil predeterminado para un espacio de nombres, establece una preferencia en el espacio de nombres elegido con la clave system.profile.name y el valor <scope>:<profile-name>.

Asigna un perfil de procesamiento para ejecuciones manuales

Para asignar un perfil para usarlo en ejecuciones de canalización manuales, sigue estos pasos:

  1. Navega a la página de detalles de la canalización.
  2. Haz clic en Configure > Compute config.
  3. Selecciona un perfil y haz clic en Save. El perfil seleccionado se usa cada vez que la canalización se ejecuta de forma manual.

Como alternativa, puedes usar los microservicios de preferencias para establecer el perfil para ejecuciones manuales. Para ello, establece la preferencia en la entidad DataPipelineWorkflow con la clave system.profile.name y el valor <scope>:<profile-name>.

Asigna un perfil de procesamiento a una programación

Cada vez que creas una programación para una canalización, puedes asignarle un perfil. Cuando la programación active una ejecución de canalización, usará ese perfil para la ejecución. Esto se aplica a las programaciones de tiempo y a las programaciones que activan otras canalizaciones.

Anula una configuración de perfil de procesamiento

Cuando se crea un perfil, cada parámetro de configuración se puede hacer inmutable bloqueándolo. Sin embargo, si los parámetros de configuración no están bloqueados, se pueden anular en el tiempo de ejecución. Para anular la configuración del perfil, sigue estos pasos:

  1. En la página Pipeline List, selecciona la canalización implementada que deseas ejecutar.
  2. En la página Pipeline Details, haz clic en Configure.
  3. Elige un perfil de procesamiento y haz clic en Customize.
  4. Cambia cualquier configuración y haz clic en Save.

Puedes usar argumentos de tiempo de ejecución y programar propiedades para modificar el tamaño del clúster y otros parámetros de configuración.

  • Para anular el perfil usado, establece un argumento de tiempo de ejecución con la clave system.profile.name y el valor <scope>:<profile-name>.
  • Para anular una propiedad de perfil, establece un argumento de tiempo de ejecución con la clave system.profile.properties.<property-name> y el valor igual al valor de esa propiedad.

Por ejemplo, para anular el numWorkerssetting a un valor de 10, establece una preferencia o un argumento de tiempo de ejecución con la clave system.profile.properties.numWorkers y el valor 10.

¿Qué sigue?