Risolvi i problemi del workflow di Cloud TPU
Una volta che il workload di addestramento o inferenza è in esecuzione sulle TPU, il passaggio successivo consiste nell'assicurarti che funzioni come previsto. Cloud TPU genera metriche e log che ti consentono di cercare ed eseguire il debug di eventuali VM TPU che non si comportano come previsto. In questa documentazione, queste VM vengono definite outlier.
Il flusso di lavoro generale per la risoluzione dei problemi è il seguente:
- Visualizza le metriche di Cloud TPU per verificare la presenza di VM TPU anomale
- Visualizza i log di Cloud TPU per le VM TPU con valori anomali
- Profila il tuo workload
Puoi visualizzare metriche e log in Esplora metriche ed Esplora log nella console Google Cloud. Puoi anche utilizzare le dashboard di monitoraggio e logging per raccogliere tutte le metriche e i log relativi a Cloud TPU in singole dashboard.
Metriche delle VM Cloud TPU
Cloud Monitoring raccoglie automaticamente le metriche dalle TPU e dalle VM di Compute Engine host. Le metriche monitorano le quantità numeriche nel tempo, ad esempio l'utilizzo della CPU, l'utilizzo della rete o la durata dell'inattività di TensorCore. Per ulteriori informazioni sulle metriche di Cloud TPU, consulta Monitoraggio delle VM TPU.
Log di Cloud TPU
Cloud Logging raccoglie automaticamente i log dalle TPU e dalle VM di Compute Engine host. Cloud Logging monitora gli eventi generati da Cloud TPU. Puoi anche instrumentare il codice per generare log. Cloud TPU genera due tipi di log:
- Log dei worker TPU
- Log delle risorse controllate
I log dei worker TPU contengono informazioni su un worker TPU specifico in una zona specifica, ad esempio la quantità di memoria disponibile sul worker TPU (system_available_memory_GiB).
I log delle risorse controllate contengono informazioni su quando è stata chiamata un'API Cloud TPU specifica e su chi ha effettuato la chiamata. Ad esempio CreateNode, UpdateNode e DeleteNode.
Puoi anche utilizzare il pacchetto PyPi cloud-tpu-diagnostics per scrivere analisi dello stack nei log. Per saperne di più, consulta Debug delle VM TPU.
Per saperne di più sui log, consulta Logging.
Metriche di integrità di Cloud TPU
Il monitoraggio dello stato di Cloud TPU fornisce informazioni in tempo reale sullo stato di VM e sezioni. Utilizzando la console di Cloud Monitoring o la libreria di monitoraggio LibTPU, puoi identificare i guasti hardware non appena si verificano. In questo modo, puoi riallocare le risorse per evitare errori completi dei job e ridurre al minimo il peggioramento delle prestazioni.
Per saperne di più, consulta Monitoraggio dello stato della TPU.
Dashboard di monitoraggio e logging
Avere un'unica pagina nella console Google Cloud può semplificare la visualizzazione e l'interpretazione delle metriche e dei log relativi a Cloud TPU. Il repository GitHub cloud-tpu-monitoring-debugging contiene un insieme di script e file di configurazione che utilizzano Terraform per eseguire automaticamente il deployment di dashboard che contengono tutte le metriche e i log relativi a Cloud TPU. Per configurare queste dashboard nel tuo progetto Google Cloud , consulta Dashboard di Monitoring e Logging.
Profilazione dei workload sulle VM TPU
La profilazione consente di ottimizzare le prestazioni di addestramento del modello sulle VM TPU. Utilizza TensorBoard e il plug-in TensorBoard per TPU per profilare il modello. Per ulteriori informazioni su come profilare il workload, consulta Profila il tuo modello su VM TPU.
Per saperne di più sull'utilizzo di TensorBoard con uno dei framework supportati, consulta i seguenti documenti:
Errori di avvio delle VM con immagini personalizzate
Se una VM non si avvia dopo la personalizzazione, esamina l'output della console seriale utilizzando la console Google Cloud ogcloud compute instances
get-serial-port-output. Questa è la fonte principale di informazioni per la diagnosi. Poiché non puoi riparare il disco offline, devi ricreare la risorsa TPU dopo aver corretto il problema nello script di avvio o nell'origine dell'immagine personalizzata.
Per ulteriori informazioni sulla personalizzazione dei dischi di avvio delle VM Cloud TPU, consulta Disco di avvio della VM TPU.