Crea un cluster GKE ottimizzato per l'AI che utilizza A2

Questo documento descrive come creare cluster Google Kubernetes Engine (GKE) personalizzati che utilizzano i tipi di macchine ottimizzati per l'acceleratore A2 Standard (A100 40 GB) o A2 Ultra (A100 80 GB) per supportare i carichi di lavoro di intelligenza artificiale (AI) e machine learning (ML). A2 è una serie di macchine con GPU generiche, che forniscono risorse di calcolo indipendenti progettate per attività di AI mainstream come l'addestramento di modelli più piccoli e l'inferenza su un singolo host.

GKE fornisce una singola piattaforma per eseguire un insieme diversificato di workload per la tua organizzazione, riducendo il carico operativo della gestione di più piattaforme.

Per creare un cluster GKE ottimizzato per l'AI che utilizza la serie di macchine A2, devi:

  1. Crea l'ambiente GKE
  2. Connettiti al tuo cluster
  3. Configura i manifest dei pod

Prima di iniziare

Prima di iniziare, assicurati di aver eseguito le seguenti operazioni:

  • Attiva l'API Google Kubernetes Engine.
    • Attiva l'API Google Kubernetes Engine
  • Per utilizzare Google Cloud CLI per questa attività, installala e poi inizializza gcloud CLI. Se hai già installato gcloud CLI, scarica l'ultima versione eseguendo il comando gcloud components update. Le versioni precedenti di gcloud CLI potrebbero non supportare l'esecuzione dei comandi in questo documento.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare e gestire un cluster GKE, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Scegli un'opzione di consumo e ottieni la capacità

  1. Scegli un'opzione di consumo. Fai la tua scelta in base a come vuoi ottenere e utilizzare le risorse GPU. Per ulteriori informazioni, consulta la sezione Scegliere un'opzione di consumo.

    Per GKE, tieni presente le seguenti informazioni aggiuntive quando scegli un'opzione di consumo:

  2. Ottenere capacità. Scopri come ottenere capacità per l'opzione di consumo.

Requisiti

Per un cluster GKE ottimizzato per l'AI che utilizza macchine A2, i nodi GPU devono utilizzare il driver NVIDIA versione 450.80.02 o successive.

Limitazioni

Le seguenti limitazioni si applicano alle macchine A2 come GPU generica:

  • GPU multi-istanza:sebbene A2 (GPU A100) supporti il partizionamento hardware, la GPU multi-istanza (NVIDIA) non è supportata quando utilizzi GKE Autopilot. Per i carichi di lavoro che richiedono il partizionamento della GPU A100, devi utilizzare GKE Standard.

Crea l'ambiente GKE

Puoi creare un cluster in modalità Autopilot o Standard.

Autopilot

Per creare un cluster Autopilot, esegui questo comando:

  gcloud container clusters create-auto CLUSTER_NAME \
      --region=REGION

Sostituisci quanto segue:

  • CLUSTER_NAME: il nome del tuo cluster.
  • REGION: la regione del cluster.

Standard

Crea un cluster Standard e un pool di nodi GPU:

  1. Per creare un cluster Standard, esegui questo comando:

    gcloud container clusters create CLUSTER_NAME \
    --region=REGION \
    --enable-ip-alias

    Sostituisci quanto segue:

    • CLUSTER_NAME: il nome del tuo cluster.
    • REGION: la regione del cluster.

  2. Crea il pool di nodi. Dopo aver creato il cluster, puoi aggiungere un pool di nodi con GPU A2.

    Tieni presente quanto segue:

    • I tipi di macchine A2 Standard (a2-highgpu) richiedono di collegare manualmente i dischi SSD locali ai nodi per utilizzarli come spazio di scratch o per la memorizzazione nella cache. Utilizza il flag --local-ssd-count.
    • I tipi di macchine A2 Ultra (a2-ultragpu) includono automaticamente un numero fisso di dischi SSD locali per impostazione predefinita.
    • Per i carichi di lavoro di addestramento multi-nodo, ti consigliamo di utilizzare una policy di posizionamento compatto per ridurre al minimo la latenza di rete tra i nodi.

    • Per i carichi di lavoro di addestramento multi-nodo, consigliamo anche di attivare NCCL Fast Socket per migliorare le prestazioni di rete.

    A2 Standard (A100 40GB) 

    gcloud container node-pools create NODE_POOL_NAME \
    --cluster=CLUSTER_NAME \
    --region=REGION \
    --node-locations=ZONE \
    --machine-type=MACHINE_TYPE \
    --accelerator=type=nvidia-tesla-a100,count=AMOUNT,gpu-driver-version=LATEST \
    --placement-type=COMPACT \
    --scopes="https://www.googleapis.com/auth/cloud-platform" \
    --local-ssd-count=LOCAL_SSD_COUNT

    A2 Ultra (A100 da 80 GB) 

    gcloud container node-pools create NODE_POOL_NAME \
    --cluster=CLUSTER_NAME \
    --region=REGION \
    --node-locations=ZONE \
    --machine-type=MACHINE_TYPE \
    --accelerator=type=nvidia-a100-80gb,count=AMOUNT,gpu-driver-version=LATEST \
    --placement-type=COMPACT \
    --scopes="https://www.googleapis.com/auth/cloud-platform"

    Sostituisci quanto segue:

    • CLUSTER_NAME: il nome del tuo cluster.
    • REGION: la regione del cluster.
    • ZONE: una o più zone all'interno della tua regione in cui sono disponibili le GPU richieste, ad esempio us-central1-a. Questo è obbligatorio quando si utilizza il posizionamento compatto.
    • NODE_POOL_NAME: il nome del tuo pool di nodi.
    • MACHINE_TYPE: il tipo di macchina per i nodi, ad esempio a2-highgpu-1g.
    • AMOUNT: il numero di GPU da collegare a ogni nodo.
    • LOCAL_SSD_COUNT: il numero di volumi SSD locali di cui eseguire il provisioning su ogni nodo.

Connessione al tuo cluster

Connettiti al cluster per poter eseguire i comandi kubectl nelle sezioni successive:

gcloud container clusters get-credentials CLUSTER_NAME \
    --region=REGION

Sostituisci quanto segue:

  • CLUSTER_NAME: il nome del tuo cluster.
  • REGION: la regione del cluster.

Per saperne di più, consulta Installare kubectl e configurare l'accesso al cluster.

Configura il manifest del pod (solo Autopilot)

Se hai creato un cluster Autopilot, devi selezionare le GPU appropriate nei manifest dei pod in modo che GKE esegua il provisioning dell'hardware.

  1. Specifica il tipo di GPU scelto e la prenotazione specifica utilizzando i selettori di nodi:

    spec:
  nodeSelector:
    cloud.google.com/gke-accelerator: ACCELERATOR
    cloud.google.com/gke-gpu-driver-version: latest
    # Optional: Include if using reserved capacity
    cloud.google.com/reservation-name: RESERVATION_NAME
    cloud.google.com/reservation-affinity: "specific"

    Sostituisci quanto segue:

    • ACCELERATOR: l'acceleratore che hai prenotato. Devi utilizzare nvidia-tesla-a100 (per A2 Standard) o nvidia-a100-80gb (per A2 Ultra).
    • RESERVATION_NAME: il nome della prenotazione di capacità di Compute Engine. Per utilizzare le prenotazioni condivise o blocchi e sottoblocchi specifici di prenotazioni, consulta le sezioni pertinenti in Utilizzo di risorse di percorso zonale riservate.

  2. Aggiungi le seguenti risorse al container che richiede le GPU:

    containers:
  - name: my-container
    resources:
      limits:
        nvidia.com/gpu: AMOUNT

    Sostituisci AMOUNT con il numero di GPU da collegare a ogni nodo.

Passaggi successivi