Utilizzare le GPU con Google Cloud Serverless per Apache Spark

Puoi collegare acceleratori GPU ai tuoi workload batch Google Cloud Serverless per Apache Spark per ottenere i seguenti risultati:

• Accelera l'elaborazione dei workload di analisi dei dati su larga scala.

• Accelera l'addestramento dei modelli su set di dati di grandi dimensioni utilizzando le librerie di machine learning GPU.

• Esegui analisi avanzate dei dati, come l'elaborazione di video o del linguaggio naturale.

Tutti gli ambienti di runtime Spark di Serverless per Apache Spark supportati aggiungono la libreria Spark RAPIDS a ogni nodo del workload. Il runtime Spark di Serverless per Apache Spark versione 1.1 aggiunge anche la libreria XGBoost ai nodi del workload. Queste librerie forniscono potenti strumenti di trasformazione dei dati e di machine learning che puoi utilizzare nei tuoi carichi di lavoro con accelerazione GPU.

Vantaggi della GPU

Di seguito sono riportati alcuni dei vantaggi dell'utilizzo delle GPU con i workload Spark di Serverless per Apache Spark:

• Miglioramento delle prestazioni:l'accelerazione GPU può aumentare significativamente le prestazioni dei carichi di lavoro Spark, in particolare per le attività che richiedono un'elevata intensità di calcolo, come machine learning e deep learning, elaborazione di grafi e analisi complesse.

• Addestramento più rapido dei modelli: per le attività di machine learning, il collegamento delle GPU può ridurre drasticamente il tempo necessario per addestrare i modelli, consentendo a data scientist e ingegneri di eseguire iterazioni e sperimentazioni rapidamente.

• Scalabilità:i clienti possono aggiungere più nodi GPU o GPU più potenti ai nodi per gestire esigenze di elaborazione sempre più complesse.

• Efficienza dei costi: sebbene le GPU richiedano un investimento iniziale, nel tempo puoi ottenere un risparmio sui costi grazie alla riduzione dei tempi di elaborazione e a un utilizzo più efficiente delle risorse.

• Analisi dei dati avanzata:l'accelerazione GPU consente di eseguire analisi avanzate, come l'analisi di immagini e video e l'elaborazione del linguaggio naturale, su grandi set di dati.

• Prodotti migliorati: l'elaborazione più rapida consente di prendere decisioni più veloci e di creare applicazioni più reattive.

Limitazioni e considerazioni

• Gli acceleratori GPU sono disponibili con il livello di prezzo premium.

• Puoi collegare GPU NVIDIA A100 o NVIDIA L4 ai workload batch Serverless per Apache Spark. Google Cloud Gli acceleratori A100 e L4 sono soggetti alla disponibilità regionale delle GPU di Compute Engine.

• La libreria XGBoost viene fornita solo ai workload con accelerazione GPU di Serverless per Apache Spark quando si utilizza Serverless per Apache Spark Spark Runtime versione 1.x.

• I batch con accelerazione GPU di Serverless per Apache Spark con XGBoost utilizzano quote di Compute Engine aumentate. Ad esempio, per eseguire un workload batch serverless che utilizza una GPU NVIDIA L4, devi allocare la quota NVIDIA_L4_GPUS.

• I job abilitati per l'acceleratore non sono compatibili con il criterio dell'organizzazione constraints/compute.requireShieldedVm. Se la tua organizzazione applica questo criterio, i job abilitati per l'acceleratore non verranno eseguiti correttamente.

• Devi impostare il set di caratteri predefinito su UTF-8 quando utilizzi l'accelerazione GPU RAPIDS con runtime Serverless per Apache Spark supportati precedenti alla versione 2.2. Per saperne di più, vedi Crea un carico di lavoro batch serverless con acceleratori GPU.

Prezzi

Gli acceleratori GPU sono disponibili con il livello di prezzo premium. Consulta i prezzi di Serverless per Apache Spark per informazioni sui prezzi degli acceleratori.

Prima di iniziare

Prima di creare un carico di lavoro batch serverless con acceleratori GPU collegati, svolgi le seguenti operazioni:

Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Installa Google Cloud CLI.

Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

Per inizializzare gcloud CLI, esegui questo comando:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Installa Google Cloud CLI.

Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

Per inizializzare gcloud CLI, esegui questo comando:

gcloud init

1. Nella console Google Cloud , vai alla pagina Bucket in Cloud Storage.

   Vai a Bucket

2. Fai clic su Crea.
3. Nella pagina Crea un bucket, inserisci le informazioni del bucket. Per andare al passaggio successivo, fai clic su Continua.
   1. Nella sezione Inizia, segui questi passaggi:
      • Inserisci un nome univoco globale che soddisfi i requisiti per la denominazione dei bucket.
      • Per aggiungere un'etichetta bucket, espandi la sezione Etichette (), fai clic su Aggiungi etichetta e specifica un key e un value per l'etichetta.
   2. Nella sezione Scegli dove archiviare i tuoi dati, segui questi passaggi:
      1. Seleziona un Tipo di località.
      2. Scegli una posizione in cui i dati del bucket vengono archiviati in modo permanente dal menu a discesa Tipo di località.
         • Se selezioni il tipo di località a doppia regione, puoi anche scegliere di attivare la replica turbo utilizzando la casella di controllo pertinente.
      3. Per configurare la replica tra bucket, seleziona Aggiungi una replica tra bucket mediante Storage Transfer Service e segui questi passaggi:

         Configura la replica tra bucket

         1. Nel menu Bucket, seleziona un bucket.

         2. Nella sezione Impostazioni di replica, fai clic su Configura per configurare le impostazioni per il job di replica.

            Viene visualizzato il riquadro Configura replica tra bucket.

            • Per filtrare gli oggetti da replicare in base al prefisso del nome dell'oggetto, inserisci un prefisso da cui includere o escludere gli oggetti, quindi fai clic su Aggiungi un prefisso.
            • Per impostare una classe di archiviazione per gli oggetti replicati, seleziona una classe di archiviazione dal menu Classe di archiviazione. Se salti questo passaggio, gli oggetti replicati utilizzeranno per impostazione predefinita la classe di archiviazione del bucket di destinazione.
            • Fai clic su Fine.
   3. Nella sezione Scegli come archiviare i tuoi dati, segui questi passaggi:
      1. Seleziona una classe di archiviazione predefinita per il bucket o Autoclass per la gestione automatica della classe di archiviazione dei dati del bucket.
      2. Per attivare lo spazio dei nomi gerarchico, nella sezione Ottimizza l'archiviazione per workload con uso intensivo dei dati, seleziona Abilita uno spazio dei nomi gerarchico in questo bucket.
         Nota: non puoi abilitare lo spazio dei nomi gerarchico nei bucket esistenti.
   4. Nella sezione Scegli come controllare l'accesso agli oggetti, seleziona se il bucket applica o meno la prevenzione dell'accesso pubblico e seleziona un metodo di controllo dell'accesso per gli oggetti del bucket.
      Nota:non puoi modificare l'impostazione Impedisci l'accesso pubblico se questa impostazione viene applicata a un criterio dell'organizzazione.
   5. Nella sezione Scegli come proteggere i dati degli oggetti, segui questi passaggi:
      • Seleziona una delle opzioni in Protezione dei dati che vuoi impostare per il bucket.
        • Per attivare l'eliminazione temporanea, fai clic sulla casella di controllo Criterio di eliminazione temporanea (per il recupero dei dati) e specifica il numero di giorni per cui vuoi conservare gli oggetti dopo l'eliminazione.
        • Per impostare il controllo delle versioni degli oggetti, seleziona la casella di controllo Controllo delle versioni degli oggetti (per il controllo delle versioni) e specifica il numero massimo di versioni per oggetto e il numero di giorni dopo i quali scadono le versioni non correnti.
        • Per abilitare il criterio di conservazione su oggetti e bucket, seleziona la casella di controllo Conservazione (per la conformità), quindi procedi nel seguente modo:
          • Per attivare il blocco della conservazione degli oggetti, fai clic sulla casella di controllo Abilita conservazione degli oggetti.
          • Per attivare Bucket Lock, fai clic sulla casella di controllo Imposta criterio di conservazione del bucket e scegli un'unità di tempo e una durata per il periodo di conservazione.
      • Per scegliere come verranno criptati i dati degli oggetti, espandi la sezione Crittografia dei dati () e seleziona un metodo di crittografia dei dati.
4. Fai clic su Crea.

Crea un carico di lavoro batch serverless con acceleratori GPU

Invia un workload batch Serverless per Apache Spark che utilizza le GPU NVIDIA L4 per eseguire un'attività PySpark parallelizzata. Segui questi passaggi utilizzando gcloud CLI:

1. Fai clic su Espandi, poi crea e salva il codice PySpark elencato in un file test-py-spark-gpu.py sul tuo computer locale utilizzando un editor di testo o di codice.

   Espandimi Comprimimi

   #!/usr/bin/env python
   
   """S8s Accelerators Example."""
   
   import subprocess
   from typing import Any
   from pyspark.sql import SparkSession
   from pyspark.sql.functions import col
   from pyspark.sql.types import IntegerType
   from pyspark.sql.types import StructField
   from pyspark.sql.types import StructType
   
   spark = SparkSession.builder.appName("joindemo").getOrCreate()
   
   
   def get_num_gpus(_: Any) -> int:
     """Returns the number of GPUs."""
     p_nvidia_smi = subprocess.Popen(
         ["nvidia-smi", "-L"], stdin=None, stdout=subprocess.PIPE
     )
     p_wc = subprocess.Popen(
         ["wc", "-l"],
         stdin=p_nvidia_smi.stdout,
         stdout=subprocess.PIPE,
         stderr=subprocess.PIPE,
         universal_newlines=True,
     )
     [out, _] = p_wc.communicate()
     return int(out)
   
   
   num_workers = 5
   result = (
       spark.sparkContext.range(0, num_workers, 1, num_workers)
       .map(get_num_gpus)
       .collect()
   )
   num_gpus = sum(result)
   print(f"Total accelerators: {num_gpus}")
   
   # Run the join example
   schema = StructType([StructField("value", IntegerType(), True)])
   df = (
       spark.sparkContext.parallelize(range(1, 10000001), 6)
       .map(lambda x: (x,))
       .toDF(schema)
   )
   df2 = (
       spark.sparkContext.parallelize(range(1, 10000001), 6)
       .map(lambda x: (x,))
       .toDF(schema)
   )
   joined_df = (
       df.select(col("value").alias("a"))
       .join(df2.select(col("value").alias("b")), col("a") == col("b"))
       .explain()
   )

2. Utilizza gcloud CLI sulla tua macchina locale per inviare il job batch serverless Serverless per Apache Spark con cinque worker, ognuno dei quali accelerato con GPU L4:

   gcloud dataproc batches submit pyspark test-py-spark-gpu.py \
       --project=PROJECT_ID \
       --region=REGION \
       --deps-bucket=BUCKET_NAME \
       --version=1.1 \
       --properties=spark.dataproc.executor.compute.tier=premium,spark.dataproc.executor.disk.tier=premium,spark.dataproc.executor.resource.accelerator.type=l4,spark.executor.instances=5,spark.dataproc.driverEnv.LANG=C.UTF-8,spark.executorEnv.LANG=C.UTF-8,spark.shuffle.manager=com.nvidia.spark.rapids.RapidsShuffleManager
   

Note:

• PROJECT_ID: l'ID progetto Google Cloud .
• REGION: una regione di Compute Engine disponibile per eseguire il carico di lavoro.
• BUCKET_NAME: il nome del bucket Cloud Storage. Spark carica le dipendenze del workload in una cartella /dependencies di questo bucket prima di eseguire il workload batch.
• --version: tutti i runtime Serverless per Apache Spark supportati Google Cloud aggiungono la libreria RAPIDS a ogni nodo di un workload con accelerazione GPU. Solo la versione 1.1 del runtime aggiunge la libreria XGBoost a ogni nodo di un carico di lavoro con accelerazione GPU.

• --properties (vedi Proprietà di allocazione delle risorse Spark) :

  • spark.dataproc.driverEnv.LANG=C.UTF-8 e spark.executorEnv.LANG=C.UTF-8 (obbligatorio con le versioni di runtime precedenti a 2.2): queste proprietà impostano il set di caratteri predefinito su C.UTF-8.

  • spark.dataproc.executor.compute.tier=premium (obbligatorio): I workload con accelerazione GPU vengono fatturati utilizzando le unità di calcolo dei dati (DCU) premium. Consulta i prezzi degli acceleratori di Serverless per Apache Spark.

  • spark.dataproc.executor.disk.tier=premium (obbligatorio): i nodi con acceleratori A100-40, A100-80 o L4 devono utilizzare il livello di disco Premium.

  • spark.dataproc.executor.resource.accelerator.type=l4 (obbligatorio): deve essere specificato un solo tipo di GPU. Il job di esempio seleziona la GPU L4. I seguenti tipi di acceleratore possono essere specificati con i seguenti nomi di argomenti:

    Tipo di GPU	Nome argomento
    A100 da 40 GB	a100-40
    A100 da 80 GB	a100-80

  • spark.executor.instances=5 (obbligatorio): deve essere almeno pari a due. Imposta su 5 per questo esempio.

  • spark.executor.cores (facoltativo): puoi impostare questa proprietà per specificare il numero di vCPU core. I valori validi per le GPU L4 sono 4, il valore predefinito, o 8, 12, 16, 24, 48 o 96. L'unico valore valido e predefinito per le GPU A100 è 12. Le configurazioni con GPU L4 e core 24, 48 o 96 hanno GPU 2, 4 o 8 collegate a ogni executor. Tutte le altre configurazioni hanno 1 GPU collegate.

  • spark.dataproc.executor.disk.size (obbligatorio): le GPU L4 hanno una dimensione del disco fissa di 375 GB, ad eccezione delle configurazioni con 24, 48 o 96 core, che hanno rispettivamente 750, 1,500 o 3,000 GB. Se imposti questa proprietà su un valore diverso quando invii un carico di lavoro accelerato L4, si verifica un errore. Se selezioni una GPU A100 40 o A100 80, le dimensioni valide sono 375 g, 750 g, 1500 g, 3000 g, 6000 g e 9000 g.

  • spark.executor.memory (facoltativo) e spark.executor.memoryOverhead (con limitazioni): puoi impostare la memoria, ma non memoryOverhead. La quantità di memoria disponibile non utilizzata dalla proprietà impostata viene applicata alla proprietà non impostata. spark.executor.memoryOverhead è impostato sul 40% della memoria disponibile per i workload batch PySpark e sul 10% per gli altri workload (vedi Proprietà di allocazione delle risorse Spark).

    La tabella seguente mostra la quantità massima di memoria che può essere impostata per diverse configurazioni di GPU A100 e L4. Il valore minimo per entrambe le proprietà è 1024 MB.

    	A100 (40 GB)	A100 (80 GB)	L4 (4 core)	L4 (8 core)	L4 (12 core)	L4 (16 core)	L4 (24 core)	L4 (48 core)	L4 (96 core)
    Memoria totale massima (MB)	78040	165080	13384	26768	40152	53536	113072	160608	321216

  • Proprietà Spark RAPIDS (facoltative): per impostazione predefinita, Serverless per Apache Spark imposta i seguenti valori delle proprietà Spark RAPIDS:

    • spark.plugins=com.nvidia.spark.SQLPlugin
    • spark.executor.resource.gpu.amount=1
    • spark.task.resource.gpu.amount=1/$spark_executor_cores
    • spark.shuffle.manager=''. Per impostazione predefinita, questa proprietà non è impostata. NVIDIA consiglia di attivare RAPIDS shuffle manager quando si utilizzano le GPU per migliorare il rendimento. Per farlo, imposta spark.shuffle.manager=com.nvidia.spark.rapids.RapidsShuffleManager quando invii un carico di lavoro.
    • spark.rapids.sql.concurrentGpuTasks= minimo di (gpuMemoryinMB / 8, 4)
    • spark.rapids.shuffle.multiThreaded.writer.threads= minimo di (core CPU nella VM / numero di GPU per VM, 32)
    • spark.rapids.shuffle.multiThreaded.reader.threads= minimo di (core CPU nella VM / numero di GPU per VM, 32)

    Consulta Configurazione dell'acceleratore RAPIDS per Apache Spark per impostare le proprietà di Spark RAPIDS e Configurazione avanzata dell'acceleratore RAPIDS per Apache Spark per impostare le proprietà avanzate di Spark.