Addestramento di Resnet50 su Cloud TPU con PyTorch

Nota: questa pagina si applica all'API Cloud TPU. Per Ironwood (TPU7x), devi utilizzare Google Kubernetes Engine (GKE). Per maggiori informazioni, consulta la sezione Informazioni sulle TPU in GKE.

Questo tutorial mostra come addestrare il modello ResNet-50 su un dispositivo Cloud TPU con PyTorch. Puoi applicare lo stesso pattern ad altri modelli di classificazione delle immagini ottimizzati per TPU che utilizzano PyTorch e il set di dati ImageNet.

Il modello in questo tutorial si basa su Deep Residual Learning for Image Recognition, che introduce per la prima volta l'architettura di rete residua (ResNet). Il tutorial utilizza la variante a 50 livelli, ResNet-50, e mostra l'addestramento del modello utilizzando PyTorch/XLA.

Avviso: questo tutorial utilizza un set di dati di terze parti. Google non fornisce alcuna dichiarazione, garanzia o altra garanzia in merito alla validità o ad altri aspetti di questo set di dati.

Obiettivi

• Prepara il set di dati.
• Esegui il job di addestramento.
• Verifica i risultati dell'output.

Costi

In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:

• Compute Engine
• Cloud TPU

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il calcolatore prezzi.

I nuovi Google Cloud utenti potrebbero avere diritto a una prova senza costi.

Prima di iniziare

Prima di iniziare questo tutorial, verifica che il tuo Google Cloud progetto sia configurato correttamente.

Accedi al tuo Google Cloud account. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Questa procedura dettagliata utilizza i componenti fatturabili di Google Cloud. Consulta la pagina Prezzi per Cloud TPU per una stima dei costi. Una volta terminato il loro utilizzo, assicurati di liberare spazio dalle risorse create per evitare addebiti superflui.

Crea una VM TPU

1. Apri una finestra di Cloud Shell.

   Apri Cloud Shell

2. Crea una VM TPU

   gcloud compute tpus tpu-vm create your-tpu-name \
   --accelerator-type=v5litepod-8 \
   --version=tpu-ubuntu2204-base \
   --zone=us-central1-a \
   --project=your-project

   Nota: la prima volta che esegui un comando in una nuova VM Cloud Shell, viene visualizzata una pagina Authorize Cloud Shell. Fai clic su Authorize nella parte inferiore della pagina per consentire a gcloud di effettuare Google Cloud chiamate API con le tue credenziali.

3. Connettiti alla VM TPU utilizzando SSH:

   gcloud compute tpus tpu-vm ssh  your-tpu-name --zone=us-central1-a

4. Installa PyTorch/XLA sulla VM TPU:

   (vm)$ pip install torch torch_xla[tpu] torchvision -f https://storage.googleapis.com/libtpu-releases/index.html -f https://storage.googleapis.com/libtpu-wheels/index.html

5. Clona il repository GitHub PyTorch/XLA

   (vm)$ git clone --depth=1 https://github.com/pytorch/xla.git

6. Esegui lo script di addestramento con dati fittizi

   (vm) $ PJRT_DEVICE=TPU python3 xla/test/test_train_mp_imagenet.py --fake_data --batch_size=256 --num_epochs=1

Libera spazio

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

1. Disconnettiti dalla VM TPU:

   (vm) $ exit

   Il prompt dovrebbe ora essere username@projectname, a indicare che ti trovi in Cloud Shell.

2. Elimina la VM TPU.

   $ gcloud compute tpus tpu-vm delete your-tpu-name \
      --zone=us-central1-a

Passaggi successivi

• Addestramento dei modelli di diffusione con PyTorch
• Risoluzione dei problemi di PyTorch sulle TPU
• Documentazione di PyTorch/XLA