Google utilizza la tecnologia AI per tradurre i contenuti nella tua lingua preferita. Le traduzioni generate dall'AI potrebbero contenere errori.

Crittografa i dati dei carichi di lavoro GPU in uso con Confidential GKE Node

Autopilot Standard

Puoi crittografare i dati dei workload GPU in uso eseguendo i workload su Confidential Google Kubernetes Engine Node crittografati. Questa pagina mostra agli ingegneri della sicurezza e agli operatori come migliorare la sicurezza dei dati nei workload accelerati, come le attività di AI/ML. Devi avere familiarità con i seguenti concetti:

Informazioni sull'esecuzione di carichi di lavoro GPU su Confidential GKE Node

Puoi richiedere Confidential GKE Node per i tuoi workload GPU utilizzando uno dei seguenti metodi:

Esegui il provisioning automatico di Confidential GKE Node per i tuoi workload GPU utilizzando le ComputeClasses di GKE. Puoi utilizzare questo metodo nei cluster Autopilot e nei cluster Standard. Per saperne di più, consulta la sezione Utilizzare ComputeClass per eseguire carichi di lavoro GPU sui nodi Confidential GKE Node.
Configura manualmente Confidential GKE Node per i cluster o i node pool Standard. Per maggiori informazioni, consulta la sezione Configurare manualmente i nodi Confidential GKE in GKE Standard.

Limitazioni

La modalità Autopilot supporta solo le GPU NVIDIA H100 (80 GB) con nodi GKE confidenziali.

Prima di iniziare

Prima di iniziare, assicurati di aver eseguito le seguenti operazioni:

Abilita l'API Google Kubernetes Engine.

Abilita l'API Google Kubernetes Engine

Per utilizzare Google Cloud CLI per questa attività, installala e poi inizializza gcloud CLI. Se hai già installato gcloud CLI, scarica l'ultima versione eseguendo il comando gcloud components update. Le versioni precedenti di gcloud CLI potrebbero non supportare l'esecuzione dei comandi in questo documento.
Nota: per le installazioni esistenti di gcloud CLI, assicurati di impostare la proprietà compute/region. Se utilizzi principalmente cluster zonali, imposta invece compute/zone. Se imposti una località predefinita, puoi evitare errori in gcloud CLI come il seguente: One of [--zone, --region] must be supplied: Please specify location. Potresti dover specificare la posizione in determinati comandi se la posizione del cluster è diversa da quella predefinita che hai impostato.

Requisiti

Indipendentemente dal metodo di configurazione di Confidential GKE Node che scegli, devi soddisfare tutti i seguenti requisiti:

I nodi devono trovarsi in una zona che supporta NVIDIA Confidential Computing. Per saperne di più, consulta Visualizza le zone supportate.
I nodi devono utilizzare un tipo di macchina, una tecnologia di Confidential Computing e una GPU supportati. Per ulteriori informazioni, consulta Configurazioni supportate.
Devi disporre di una quota preemptible per le GPU che vuoi utilizzare nelle posizioni dei nodi. Ad esempio, se utilizzi GPU NVIDIA H100 (80 GB), devi disporre di una quota per compute.googleapis.com/preemptible_nvidia_h100_gpus. Per maggiori informazioni sulla gestione della quota, consulta Visualizza e gestisci le quote.

Oltre a questi requisiti, devi soddisfare condizioni specifiche a seconda del metodo di configurazione di Confidential GKE Node che scegli, come descritto nella tabella seguente:

Metodo di configurazione	Requisiti	Limitazioni
ComputeClasses	Utilizza VM spot o avvio flessibile (anteprima). Utilizza GKE 1.33.3-gke.1392000 o versioni successive.	Non puoi utilizzare l'avvio flessibile con il provisioning in coda con ComputeClasses. Non puoi utilizzare funzionalità di condivisione della GPU come il time-sharing o le GPU multi-istanza.
Configurazione manuale in modalità Standard	Utilizza VM spot, VM preemptible, con avvio flessibile (anteprima) o con avvio flessibile con provisioning in coda. Utilizza una delle seguenti versioni di GKE: Installazione manuale del driver GPU: 1.32.2-gke.1297000 o versioni successive. Installazione automatica del driver GPU: 1.33.3-gke.1392000 o versioni successive. Attenzione: per l'installazione automatica dei driver, le versioni precedenti alla 1.33.3-gke.1392000 potrebbero causare interruzioni dei workload a causa di incompatibilità dei driver. Avvio flessibile con provisioning in coda: 1.32.2-gke.1652000 o versioni successive.	Non puoi utilizzare l'avvio flessibile (anteprima) se abiliti Confidential GKE Node per l'intero cluster. Non puoi utilizzare le funzionalità di condivisione della GPU come la condivisione a tempo o le GPU multi-istanza.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare nodi Confidential GKE, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto Google Cloud :

Creare nodi Confidential GKE: Kubernetes Engine Cluster Admin (roles/container.clusterAdmin)
Esegui il deployment dei workload GPU: Kubernetes Engine Developer (roles/container.developer)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Utilizza ComputeClasses per eseguire workload GPU riservati

Puoi definire la configurazione di Confidential GKE Node in una ComputeClass. Le ComputeClass sono risorse personalizzate di Kubernetes che ti consentono di impostare in modo dichiarativo le configurazioni dei nodi per la scalabilità automatica e la pianificazione di GKE. Puoi seguire i passaggi descritti in questa sezione in qualsiasi cluster Autopilot o Standard che esegue GKE versione 1.33.3-gke.1392000 o successive.

Per utilizzare una ComputeClass per eseguire carichi di lavoro GPU su Confidential GKE Nodes, segui questi passaggi:

Salva il seguente manifest ComputeClass come file YAML:
```
apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: COMPUTECLASS_NAME
spec:
  nodePoolConfig:
    confidentialNodeType: CONFIDENTIAL_COMPUTE_TECHNOLOGY
  priorityDefaults:
    location:
      zones: ['ZONE1','ZONE2']
  priorities:
  - gpu:
      type: GPU_TYPE
      count: GPU_COUNT
      driverVersion: default
    spot: true
  activeMigration:
    optimizeRulePriority: true
  nodePoolAutoCreation:
    enabled: true
  whenUnsatisfiable: DoNotScaleUp
```
Sostituisci quanto segue:
- COMPUTECLASS_NAME: un nome per la classe ComputeClass.
- CONFIDENTIAL_COMPUTE_TECHNOLOGY: la tecnologia di Confidential Computing da utilizzare, ad esempio TDX. Scegli una tecnologia supportata dalla GPU che vuoi utilizzare.
- ZONE1,ZONE2: un elenco separato da virgole di zone in cui creare nodi, ad esempio ['us-central1-a','us-central1-b']. Specifica le zone che supportano la tecnologia Confidential Computing e il tipo di macchina che vuoi utilizzare. Per saperne di più, consulta Visualizzare le zone supportate.
- GPU_TYPE: il tipo di GPU da utilizzare, ad esempio nvidia-h100-80gb.
- GPU_COUNT: il numero di GPU da collegare a ciascun nodo. Specifica un valore supportato da Confidential VM per il tipo di GPU. Ad esempio, se scegli il tipo di GPU nvidia-h100-80gb, devi specificare un valore di 1 in questo campo.
Crea la classe ComputeClass:
```
kubectl apply -f PATH_TO_MANIFEST
```
Sostituisci PATH_TO_MANIFEST con il percorso del file manifest ComputeClass.

Per eseguire il workload GPU su Confidential GKE Nodes, seleziona ComputeClass nel manifest del workload. Ad esempio, salva il seguente manifest di deployment, che seleziona una classe ComputeClass e le GPU, come file YAML:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: confidential-gpu-deployment
  labels:
    app: conf-gpu
spec:
  selector:
    matchLabels:
      app: conf-gpu
  replicas: 1
  template:
    metadata:
      labels:
        app: conf-gpu
    spec:
      nodeSelector:
        cloud.google.com/compute-class: COMPUTECLASS_NAME
      containers:
      - name: example-app
        image: us-docker.pkg.dev/google-samples/containers/gke/hello-app:1.0
        resources:
          limits:
            cpu: "4"
            memory: "16Gi"
            nvidia.com/gpu: GPU_REQUEST
          requests:
            cpu: "4"
            memory: "16Gi"

Sostituisci quanto segue:

COMPUTECLASS_NAME: il nome di ComputeClass che hai creato.
GPU_REQUEST: il numero di GPU da utilizzare nel container. Specifica un valore inferiore o uguale al valore specificato nel campo gpu.count di ComputeClass.

Crea il deployment:
```
kubectl apply -f PATH_TO_DEPLOYMENT_MANIFEST
```
Sostituisci PATH_TO_DEPLOYMENT_MANIFEST con il percorso del manifest del deployment.

Quando crei il carico di lavoro GPU, GKE utilizza la configurazione in ComputeClass per creare Confidential GKE Nodes con GPU collegate.

Configura manualmente Confidential GKE Node in GKE Standard

Puoi eseguire workload GPU su Confidential GKE Node in cluster o node pool in modalità Standard.

Abilita Confidential GKE Nodes nei nuovi cluster Standard

Puoi abilitare Confidential GKE Nodes per l'intero cluster Standard, in modo che ogni pool di nodi GPU che crei utilizzi la stessa tecnologia di Confidential Computing. Quando crei un nuovo cluster in modalità Standard che utilizza Confidential GKE Node per i workload GPU, assicurati di specificare le seguenti impostazioni del cluster:

Località: una regione o una zona che supporta NVIDIA Confidential Computing. Per saperne di più, consulta Visualizza le zone supportate.
Tipo di Confidential Computing: una tecnologia di Confidential Computing che supporta le GPU. Per ulteriori informazioni, vedi Configurazioni supportate.
Versione del cluster: una delle seguenti versioni, a seconda di come vuoi installare i driver GPU:
- Installazione manuale dei driver GPU: 1.32.2-gke.1297000 o versioni successive.
- Installazione automatica dei driver GPU: 1.33.3-gke.1392000 o versioni successive.

Se vuoi, puoi configurare le GPU per il pool di nodi predefinito che GKE crea nel tuo cluster. Tuttavia, ti consigliamo di utilizzare un pool di nodi separato per le GPU, in modo che almeno un pool di nodi nel cluster possa eseguire qualsiasi workload.

Per maggiori informazioni, consulta Abilita Confidential GKE Node sui cluster Standard.

Utilizza Confidential GKE Node con GPU nei node pool Standard

Se nel tuo cluster non sono abilitati i Confidential GKE Node, puoi abilitarli in node pool GPU nuovi o esistenti specifici. Il control plane e i pool di nodi devono soddisfare i requisiti indicati nella sezione Disponibilità. Quando configuri il pool di nodi, puoi scegliere di installare i driver GPU automaticamente o manualmente.

Per creare un nuovo pool di nodi GPU che utilizza i Confidential GKE Node, seleziona una delle seguenti opzioni:
Console
1. Nella console Google Cloud , vai alla pagina Cluster Kubernetes:
  
  Vai ai cluster Kubernetes
2. Fai clic sul nome del cluster in modalità Standard da modificare.
3. Fai clic sulla scheda Nodi.
4. Fai clic su Crea node pool gestito dall'utente. Si apre la pagina Aggiungi un node pool.
5. Nel riquadro Dettagli del node pool:
  
  Seleziona Specifica le località dei nodi.
  
  Seleziona solo le zone supportate elencate nella sezione Disponibilità.
  
  Assicurati che la versione del control plane sia una delle versioni elencate nella sezione Disponibilità.
6. Nel menu di navigazione, fai clic su Nodi.
7. Nel riquadro Configura le impostazioni del nodo, segui questi passaggi:
  
  Nella sezione Configurazione macchina, fai clic su GPU.
  
  Nel menu Tipo di GPU, seleziona un tipo di GPU supportato da Confidential Computing.
  
  Nel menu Numero di GPU, seleziona il numero di GPU da collegare a ogni nodo. Seleziona un valore supportato dal tipo di GPU che hai scelto. Ad esempio, se hai scelto GPU NVIDIA H100 (80 GB), seleziona 1.
  
  Assicurati che l'opzione Abilita condivisione GPU non sia selezionata.
  
  Nella sezione Installazione driver GPU, seleziona una delle seguenti opzioni:
  
  Gestito da Google: GKE installa automaticamente un driver. Se selezioni questa opzione, nell'elenco a discesa Versione, seleziona una delle seguenti versioni del driver:
  
  Predefinito: installa la versione del driver predefinita per la versione GKE del nodo. Richiede GKE versione 1.33.3-gke.1392000 o successive.
  
  Più recente: installa la versione del driver più recente per la versione GKE del nodo. Richiede GKE versione 1.33.3-gke.1392000 o successive.
  
  Attenzione: se selezioni l'opzione Gestito da Google, gli upgrade della versione del control plane attivano immediatamente la ricreazione dei nodi nei node pool che utilizzano Confidential GKE Nodes. GKE ricrea i nodi utilizzando la strategia di upgrade dei nodi, indipendentemente dalle policy di manutenzione attive. Prima di eseguire l'upgrade del control plane, assicurati che i carichi di lavoro GPU confidenziali siano pronti a gestire potenziali interruzioni.
  
  Gestita dall'utente: salta l'installazione automatica del driver. Se selezioni questa opzione, devi installare manualmente un driver GPU compatibile. Richiede la versione 1.32.2-gke.1297000 o successive.
  
  Nella sezione Tipo di macchina, assicurati che il tipo di macchina sia un tipo di macchina GPU supportato da Confidential VM per il tipo di GPU selezionato.
  
  Seleziona Abilita nodi sulle VM spot o Configura le VM con avvio flessibile con provisioning in coda.
8. Quando è tutto pronto per creare il pool di nodi, fai clic su Crea.
gcloud
Puoi creare pool di nodi GPU che eseguono nodi riservati di GKE su VM spot o utilizzando VM con avvio flessibile e provisioning in coda.
- Crea un pool di nodi GPU che esegue Confidential GKE Node su VM Spot:
  
  gcloud container node-pools create NODE_POOL_NAME \ --cluster=CLUSTER_NAME \ --confidential-node-type=CONFIDENTIAL_COMPUTE_TECHNOLOGY \ --location=LOCATION \ --node-locations=NODE_LOCATION1,NODE_LOCATION2,... \ --spot \ --accelerator=type=GPU_TYPE,count=GPU_COUNT,gpu-driver-version=DRIVER_VERSION \ --machine-type=MACHINE_TYPE
  
  Sostituisci quanto segue:
  
  NODE_POOL_NAME: un nome per il nuovo pool di nodi.
  
  CLUSTER_NAME: il nome del cluster esistente.
  
  CONFIDENTIAL_COMPUTE_TECHNOLOGY: la tecnologia di Confidential Computing da utilizzare, ad esempio TDX. Scegli una tecnologia supportata dalla GPU che vuoi utilizzare.
  
  LOCATION: la località del nuovo pool di nodi. La località deve supportare l'utilizzo delle GPU nei Confidential GKE Node.
  
  NODE_LOCATION1,NODE_LOCATION2,...: un elenco separato da virgole delle zone in cui eseguire i nodi. Specifica le zone che supportano la tecnologia Confidential Computing e il tipo di macchina che vuoi utilizzare. Per saperne di più, consulta Visualizzare le zone supportate.
  
  GPU_TYPE: il tipo di GPU da utilizzare, ad esempio nvidia-h100-80gb.
  
  GPU_COUNT: il numero di GPU da collegare a ogni nodo. Specifica un valore supportato da Confidential VM per il tipo di GPU. Ad esempio, se scegli il tipo di GPU nvidia-h100-80gb, devi specificare un valore di 1 in questo campo.
  
  DRIVER_VERSION: la versione del driver GPU da installare. Specifica uno dei seguenti valori:
  
  default: installa la versione predefinita del driver per la versione GKE del nodo. Richiede GKE versione 1.33.3-gke.1392000 o successive.
  
  latest: installa l'ultima versione del driver per la versione di GKE del nodo. Richiede GKE versione 1.33.3-gke.1392000 o successive.
  
  disabled: salta l'installazione automatica dei driver. Se specifichi questo valore, devi installare manualmente un driver GPU compatibile. Richiede la versione 1.32.2-gke.1297000 o successive.
  
  Attenzione: se specifichi default o latest, gli upgrade della versione del control plane attivano immediatamente la nuova creazione dei nodi nei node pool che utilizzano Confidential GKE Node, indipendentemente dalle policy di manutenzione attive. Prima di eseguire l'upgrade del piano di controllo, assicurati che i carichi di lavoro GPU confidenziali siano pronti a gestire potenziali interruzioni.
  
  MACHINE_TYPE: il tipo di macchina da utilizzare per i nodi. Specifica un tipo di macchina GPU supportato da Confidential VM per il tipo di GPU selezionato.
- Crea un pool di nodi GPU che esegue Confidential GKE Nodes utilizzando VM flessibili con provisioning in coda:
  
  gcloud container node-pools create NODE_POOL_NAME \ --cluster=CLUSTER_NAME \ --node-locations=NODE_LOCATION1,NODE_LOCATION2,... \ --machine-type=MACHINE_TYPE \ --confidential-node-type=CONFIDENTIAL_COMPUTE_TECHNOLOGY \ --location=LOCATION \ --flex-start --enable-queued-provisioning \ --enable-autoscaling --num-nodes=0 --total-max-nodes=TOTAL_MAX_NODES \ --location-policy=ANY --no-enable-autorepair \ --accelerator=type=GPU_TYPE,count=GPU_COUNT,gpu-driver-version=DRIVER_VERSION
  
  Sostituisci TOTAL_MAX_NODES con il numero massimo di nodi a cui può essere scalato automaticamente il pool di nodi.
  
  Per saperne di più sulle opzioni di configurazione in avvio flessibile con provisioning in coda, vedi Esegui un carico di lavoro su larga scala con avvio flessibile con provisioning in coda.
Per aggiornare i node pool esistenti in modo che utilizzino Confidential Computing, vedi Aggiornare un node pool esistente.

Installa manualmente i driver GPU che supportano i Confidential GKE Node

Se non hai attivato l'installazione automatica dei driver quando hai creato o aggiornato i tuoi pool di nodi, devi installare manualmente un driver GPU che supporti i nodi GKE confidenziali.

Questa modifica richiede la ricreazione dei nodi, il che può causare interruzioni ai carichi di lavoro in esecuzione. Per maggiori dettagli su questa modifica specifica, trova la riga corrispondente nella tabella Modifiche manuali che ricreano i nodi utilizzando una strategia di upgrade dei nodi senza rispettare le policy di manutenzione. Per saperne di più sugli aggiornamenti dei nodi, consulta Pianificazione delle interruzioni dell'aggiornamento dei nodi.

Per istruzioni, consulta la scheda "COS" in Installa manualmente i driver GPU NVIDIA.

Risoluzione dei problemi

Per informazioni sulla risoluzione dei problemi, consulta Risolvi i problemi relativi alle GPU in GKE.