Usa GPU

Puedes conectar aceleradores de GPU a tus cargas de trabajo por lotes de Managed Service for Apache Spark para lograr los siguientes resultados:

• Acelera el procesamiento de cargas de trabajo de análisis de datos a gran escala.

• Acelera el entrenamiento de modelos en conjuntos de datos grandes con bibliotecas de aprendizaje automático para GPU.

• Realizar análisis de datos avanzados, como el procesamiento de videos o lenguaje natural

Todos los tiempos de ejecución de Spark del servicio administrado para Apache Spark compatibles agregan la biblioteca de RAPIDS de Spark a cada nodo de carga de trabajo. La versión 1.1 del entorno de ejecución de Spark del servicio administrado para Apache Spark también agrega la biblioteca XGBoost a los nodos de carga de trabajo. Estas bibliotecas proporcionan potentes herramientas de transformación de datos y aprendizaje automático que puedes usar en tus cargas de trabajo aceleradas por GPU.

Beneficios de la GPU

Estos son algunos de los beneficios de usar GPUs con tus cargas de trabajo de Spark del Servicio administrado para Apache Spark:

• Mejora del rendimiento: La aceleración por GPU puede aumentar significativamente el rendimiento de las cargas de trabajo de Spark, en especial para las tareas que requieren mucha capacidad de procesamiento, como el aprendizaje automático y profundo, el procesamiento de gráficos y el análisis complejo.

• Entrenamiento de modelos más rápido: Para las tareas de aprendizaje automático, conectar GPU puede reducir drásticamente el tiempo necesario para entrenar modelos, lo que permite a los ingenieros y científicos de datos iterar y experimentar rápidamente.

• Escalabilidad: Los clientes pueden agregar más nodos de GPU o GPU más potentes a los nodos para satisfacer las necesidades de procesamiento cada vez más complejas.

• Eficiencia en los costos: Si bien las GPUs requieren una inversión inicial, puedes lograr ahorros en los costos con el tiempo debido a la reducción de los tiempos de procesamiento y a una utilización más eficiente de los recursos.

• Análisis de datos mejorado: La aceleración de la GPU te permite realizar análisis avanzados, como el análisis de imágenes y videos, y el procesamiento de lenguaje natural en grandes conjuntos de datos.

• Productos mejorados: El procesamiento más rápido permite tomar decisiones más rápido y crear aplicaciones más responsivas.

Limitaciones y consideraciones

• Los aceleradores de GPU están disponibles con el nivel de precios Premium.

• Puedes conectar GPUs NVIDIA A100 o NVIDIA L4 a las cargas de trabajo por lotes de Managed Service for Apache Spark. Los aceleradores A100 y L4 están sujetos a la disponibilidad regional de las GPU de Compute Engine.

• La biblioteca de XGBoost solo se proporciona a las cargas de trabajo aceleradas por GPU de Managed Service for Apache Spark cuando se usa la versión 1.x del entorno de ejecución de Spark de Managed Service for Apache Spark.

• Los lotes acelerados por GPU de Managed Service for Apache Spark con XGBoost utilizan cuotas de Compute Engine aumentadas. Por ejemplo, para ejecutar una carga de trabajo por lotes sin servidores que use una GPU NVIDIA L4, debes asignar la cuota de NVIDIA_L4_GPUS.

• Los trabajos habilitados para aceleradores no son compatibles con la política de la organización constraints/compute.requireShieldedVm. Si tu organización aplica esta política, los trabajos habilitados para el acelerador no se ejecutarán correctamente.

• Debes establecer el grupo de caracteres predeterminado en UTF-8 cuando uses la aceleración de GPU de RAPIDS con los tiempos de ejecución compatibles de Managed Service para Apache Spark anteriores a la versión 2.2. Para obtener más información, consulta Crea una carga de trabajo por lotes sin servidores con aceleradores de GPU.

Precios

Los aceleradores de GPU están disponibles con el nivel de precios Premium. Consulta los precios de Managed Service para Apache Spark para obtener información sobre los precios de los aceleradores.

Antes de comenzar

Antes de crear una carga de trabajo por lotes sin servidores con aceleradores de GPU conectados, haz lo siguiente:

Accede a tu cuenta de Google Cloud . Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Instala Google Cloud CLI.

Si usas un proveedor de identidad externo (IdP), primero debes acceder a la gcloud CLI con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Instala Google Cloud CLI.

Si usas un proveedor de identidad externo (IdP), primero debes acceder a la gcloud CLI con tu identidad federada.

Para inicializar gcloud CLI, ejecuta el siguiente comando:

gcloud init

1. En la consola de Google Cloud , ve a la página Buckets de Cloud Storage.

   Ir a Buckets

2. Haz clic en Crear.
3. En la página Crear un bucket, ingresa la información de tu bucket. Para ir al paso siguiente, haz clic en Continuar.
   1. En la sección Primeros pasos, haz lo siguiente:
      • Ingresa un nombre único a nivel global que cumpla con los requisitos de nombre de los buckets.
      • Para agregar una etiqueta de bucket, expande la sección Etiquetas (), haz clic en Agregar etiqueta y especifica una key y un value para tu etiqueta.
   2. En la sección Elige dónde almacenar tus datos, haz lo siguiente:
      1. Selecciona un tipo de ubicación
      2. Elige una ubicación en la que se almacenen de forma permanente los datos de tu bucket en el menú desplegable Tipo de ubicación.
         • Si seleccionas el tipo de ubicación birregional, también puedes habilitar la replicación turbo con la casilla de verificación correspondiente.
      3. Para configurar la replicación bucket buckets, selecciona Agregar replicación entre bucket a través del Servicio de transferencia de almacenamiento y sigue estos pasos:

         Configura la replicación entre buckets

         1. En el menú Bucket, selecciona un bucket.

         2. En la sección Configuración de replicación, haz clic en Configurar para configurar los parámetros del trabajo de replicación.

            Aparecerá el panel Configurar la replicación entre buckets.

            • Para filtrar los objetos que se replicarán por prefijo de nombre de objeto, ingresa un prefijo con el que quieras incluir o excluir objetos y, luego, haz clic en Agregar un prefijo.
            • Para establecer una clase de almacenamiento para los objetos replicados, selecciona una clase de almacenamiento en el menú Clase de almacenamiento. Si omites este paso, los objetos replicados usarán la clase de almacenamiento del bucket de destino de forma predeterminada.
            • Haz clic en Listo.
   3. En la sección Elige cómo almacenar tus datos, haz lo siguiente:
      1. Selecciona una clase de almacenamiento predeterminada para el bucket o Autoclass para la administración automática de clases de almacenamiento de los datos de tu bucket.
      2. Para habilitar el espacio de nombres jerárquico, en la sección Optimizar el almacenamiento para cargas de trabajo con uso intensivo de datos, selecciona Habilitar el espacio de nombres jerárquico en este bucket.
         Nota: No puedes habilitar el espacio de nombres jerárquico en buckets existentes.
   4. En la sección Elige cómo controlar el acceso a los objetos, selecciona si tu bucket aplica o no la prevención del acceso público y elige un método de control de acceso para los objetos del bucket.
      Nota: No puedes cambiar el parámetro de configuración Impedir el acceso público si este parámetro se aplica en una política de la organización.
   5. En la sección Elige cómo proteger los datos de objetos, haz lo siguiente:
      • Selecciona cualquiera de las opciones de Protección de datos que desees configurar para tu bucket.
        • Para habilitar la eliminación no definitiva, haz clic en la casilla de verificación Política de eliminación no definitiva (para la recuperación de datos) y especifica la cantidad de días que deseas conservar los objetos después de la eliminación.
        • Para configurar el control de versiones de objetos, haz clic en la casilla de verificación Control de versiones de objetos (para el control de versión) y especifica la cantidad máxima de versiones por objeto y la cantidad de días después de los cuales vencen las versiones no actuales.
        • Para habilitar la política de retención en objetos y buckets, haz clic en la casilla de verificación Retención (para cumplimiento) y, luego, haz lo siguiente:
          • Para habilitar el bloqueo de retención de objetos, haz clic en la casilla de verificación Habilitar la retención de objetos.
          • Para habilitar el Bloqueo del bucket, haz clic en la casilla de verificación Establecer política de retención del bucket y elige una unidad de tiempo y una duración para tu período de retención.
      • Para elegir cómo se encriptarán los datos de tus objetos, expande la sección Encriptación de datos () y selecciona un método de encriptación de datos.
4. Haz clic en Crear.

Crea una carga de trabajo por lotes sin servidores con aceleradores de GPU

Envía una carga de trabajo por lotes de Managed Service for Apache Spark que use GPUs NVIDIA L4 para ejecutar una tarea de PySpark paralelizada. Sigue estos pasos con gcloud CLI:

1. Haz clic en Expand me y, luego, crea y guarda el código de PySpark que se indica en un archivo test-py-spark-gpu.py en tu máquina local con un editor de texto o código.

   Expandirme Contraerme

   #!/usr/bin/env python
   
   """S8s Accelerators Example."""
   
   import subprocess
   from typing import Any
   from pyspark.sql import SparkSession
   from pyspark.sql.functions import col
   from pyspark.sql.types import IntegerType
   from pyspark.sql.types import StructField
   from pyspark.sql.types import StructType
   
   spark = SparkSession.builder.appName("joindemo").getOrCreate()
   
   
   def get_num_gpus(_: Any) -> int:
     """Returns the number of GPUs."""
     p_nvidia_smi = subprocess.Popen(
         ["nvidia-smi", "-L"], stdin=None, stdout=subprocess.PIPE
     )
     p_wc = subprocess.Popen(
         ["wc", "-l"],
         stdin=p_nvidia_smi.stdout,
         stdout=subprocess.PIPE,
         stderr=subprocess.PIPE,
         universal_newlines=True,
     )
     [out, _] = p_wc.communicate()
     return int(out)
   
   
   num_workers = 5
   result = (
       spark.sparkContext.range(0, num_workers, 1, num_workers)
       .map(get_num_gpus)
       .collect()
   )
   num_gpus = sum(result)
   print(f"Total accelerators: {num_gpus}")
   
   # Run the join example
   schema = StructType([StructField("value", IntegerType(), True)])
   df = (
       spark.sparkContext.parallelize(range(1, 10000001), 6)
       .map(lambda x: (x,))
       .toDF(schema)
   )
   df2 = (
       spark.sparkContext.parallelize(range(1, 10000001), 6)
       .map(lambda x: (x,))
       .toDF(schema)
   )
   joined_df = (
       df.select(col("value").alias("a"))
       .join(df2.select(col("value").alias("b")), col("a") == col("b"))
       .explain()
   )

2. Usa gcloud CLI en tu máquina local para enviar el trabajo por lotes sin servidores de Managed Service for Apache Spark con cinco trabajadores, en el que cada trabajador se acelera con GPUs L4:

   gcloud dataproc batches submit pyspark test-py-spark-gpu.py \
       --project=PROJECT_ID \
       --region=REGION \
       --deps-bucket=BUCKET_NAME \
       --version=1.1 \
       --properties=spark.dataproc.executor.compute.tier=premium,spark.dataproc.executor.disk.tier=premium,spark.dataproc.executor.resource.accelerator.type=l4,spark.executor.instances=5,spark.dataproc.driverEnv.LANG=C.UTF-8,spark.executorEnv.LANG=C.UTF-8,spark.shuffle.manager=com.nvidia.spark.rapids.RapidsShuffleManager
   

Notas:

• PROJECT_ID: Es el ID del proyecto de Google Cloud .
• REGION: Es una región de Compute Engine disponible para ejecutar la carga de trabajo.
• BUCKET_NAME: Es el nombre de tu bucket de Cloud Storage. Antes de ejecutar la carga de trabajo por lotes, Spark sube las dependencias de la carga de trabajo a una carpeta /dependencies en este bucket.
• --version: Todos los tiempos de ejecución compatibles de Managed Service para Apache Spark agregan la biblioteca RAPIDS a cada nodo de una carga de trabajo acelerada por GPU. Solo la versión 1.1 del entorno de ejecución agrega la biblioteca XGBoost a cada nodo de una carga de trabajo acelerada por GPU.

• --properties (consulta Propiedades de asignación de recursos de Spark) :

  • spark.dataproc.driverEnv.LANG=C.UTF-8 y spark.executorEnv.LANG=C.UTF-8 (obligatorio con versiones de tiempo de ejecución anteriores a 2.2): Estas propiedades establecen el grupo de caracteres predeterminado en C.UTF-8.

  • spark.dataproc.executor.compute.tier=premium (obligatorio): Las cargas de trabajo aceleradas por GPU se facturan con unidades de procesamiento de datos (DCU) premium. Consulta los precios de los aceleradores de Managed Service para Apache Spark.

  • spark.dataproc.executor.disk.tier=premium (obligatorio): Los nodos con aceleradores A100-40, A100-80 o L4 deben usar el nivel de disco Premium.

  • spark.dataproc.executor.resource.accelerator.type=l4 (obligatorio): Solo se debe especificar un tipo de GPU. El trabajo de ejemplo selecciona la GPU L4. Se pueden especificar los siguientes tipos de aceleradores con los siguientes nombres de argumentos:

    Tipo de GPU	Nombre del argumento
    A100 40 GB	a100-40
    A100 80 GB	a100-80

  • spark.executor.instances=5 (obligatorio): Debe ser al menos dos. En este ejemplo, se establece en cinco.

  • spark.executor.cores (opcional): Puedes establecer esta propiedad para especificar la cantidad de CPU virtuales principales. Los valores válidos para las GPUs L4 son 4 (el valor predeterminado) o 8, 12, 16, 24, 48 o 96. El único valor válido y predeterminado para las GPUs A100 es 12. Las configuraciones con GPU L4 y núcleos 24, 48 o 96 tienen 2, 4 o 8 GPUs conectadas a cada ejecutor. Todas las demás configuraciones tienen una GPU 1 adjunta.

  • spark.dataproc.executor.disk.size (obligatorio): Las GPU L4 tienen un tamaño de disco fijo de 375 GB, excepto en las configuraciones con núcleos 24, 48 o 96, que tienen 750, 1,500 o 3,000 GB, respectivamente. Si estableces esta propiedad en un valor diferente cuando envías una carga de trabajo acelerada por L4, se produce un error. Si seleccionas una GPU A100 40 o A100 80, los tamaños válidos son 375 GB, 750 GB, 1,500 GB, 3,000 GB, 6,000 GB y 9,000 GB.

  • spark.executor.memory (opcional) y spark.executor.memoryOverhead (restringido): Puedes establecer la memoria, pero no memoryOverhead. La cantidad de memoria disponible que no consume la propiedad establecida se aplica a la propiedad no establecida. spark.executor.memoryOverhead se establece en el 40% de la memoria disponible para las cargas de trabajo por lotes de PySpark y en el 10% para otras cargas de trabajo (consulta Propiedades de asignación de recursos de Spark).

    En la siguiente tabla, se muestra la cantidad máxima de memoria que se puede establecer para diferentes configuraciones de GPU A100 y L4. El valor mínimo para cualquiera de las propiedades es 1024 MB.

    	A100 (40 GB)	A100 (80 GB)	L4 (4 núcleos)	L4 (8 núcleos)	L4 (12 núcleos)	L4 (16 núcleos)	L4 (24 núcleos)	L4 (48 núcleos)	L4 (96 núcleos)
    Memoria total máxima (MB)	78040	165080	13384	26768	40152	53536	113072	160608	321216

  • Propiedades de RAPIDS de Spark (opcional): De forma predeterminada, el servicio administrado para Apache Spark establece los siguientes valores de propiedad de RAPIDS de Spark:

    • spark.plugins=com.nvidia.spark.SQLPlugin
    • spark.executor.resource.gpu.amount=1
    • spark.task.resource.gpu.amount=1/$spark_executor_cores
    • spark.shuffle.manager=''. De forma predeterminada, esta propiedad no está establecida. NVIDIA recomienda activar el administrador de aleatorización de RAPIDS cuando se usan GPUs para mejorar el rendimiento. Para ello, establece spark.shuffle.manager=com.nvidia.spark.rapids.RapidsShuffleManager cuando envíes una carga de trabajo.
    • spark.rapids.sql.concurrentGpuTasks= mínimo de (gpuMemoryinMB / 8, 4)
    • spark.rapids.shuffle.multiThreaded.writer.threads= mínimo de (núcleos de CPU en la VM / cantidad de GPU por VM, 32)
    • spark.rapids.shuffle.multiThreaded.reader.threads= mínimo de (núcleos de CPU en la VM / cantidad de GPU por VM, 32)

    Consulta Configuración del acelerador de RAPIDS para Apache Spark para establecer las propiedades de Spark RAPIDS y Configuración avanzada del acelerador de RAPIDS para Apache Spark para establecer las propiedades avanzadas de Spark.