Risolvere i problemi di rallentamento delle prestazioni

Questo documento spiega come risolvere i problemi di prestazioni lente che hai identificato per i workload in esecuzione su VM o cluster ottimizzati per l'AI.

Per scoprire come identificare le prestazioni lente, consulta Monitorare le istanze di Compute Engine e i cluster Slurm.

1. Identifica e risolvi eventuali ritardi sospetti per il tuo workload: Completa i seguenti passaggi:

   1. Verifica se puoi utilizzare il rilevamento dei ritardi per il tuo workload. Per esaminare le limitazioni e i requisiti per l'utilizzo del rilevamento dei ritardi, consulta Monitorare le istanze di Compute Engine e i cluster Slurm.

      Se non puoi utilizzare il rilevamento dei ritardi, allora utilizza altre opzioni per risolvere i problemi di prestazioni lente.

   2. Per verificare se alcune VM del tuo workload sono sospettate di essere in ritardo, visualizza le metriche di rilevamento dei ritardi.

      Ad esempio, per visualizzare tutti i ritardi sospetti per il tuo progetto in Cloud Monitoring, completa i seguenti passaggi:

      Suggerimento: in alternativa, se vuoi filtrare i ritardi sospetti per il tuo progetto, segui le istruzioni per visualizzare i log di rilevamento dei ritardi e specifica la query per i log con ritardi sospetti per VM specifiche.

      1. Nella Google Cloud console, vai alla pagina  Dashboard:

         Vai a Dashboard

         Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Monitoring.

      2. Nella sezione Tipo del riquadro dei filtri, fai clic su Servizi Google.

      3. Nella colonna Nome, fai clic su Monitoraggio dello stato di Cluster Director.

         Viene visualizzata la pagina dei dettagli della dashboard.

      4. Utilizza il selettore dell'intervallo di tempo nella barra degli strumenti per selezionare l'intervallo di tempo delle prestazioni lente. In genere, il rilevamento dei ritardi richiede fino a 10 minuti per segnalare un ritardo.

      5. Per verificare se alcune VM del tuo workload sono sospettate di essere in ritardo, esamina la sezione Rilevamento dei ritardi. Utilizza questa query per verificare se la tabella Istanze con ritardi sospetti elenca le VM del tuo workload.

   3. In base al numero di VM del tuo workload sospettate di essere in ritardo, procedi nel seguente modo:

      • Se nessuna VM è sospettata di essere in ritardo, verifica se il rilevamento dei ritardi è in esecuzione correttamente. Per verificare se il servizio di rilevamento dei ritardi è in esecuzione per il tuo progetto, segui le istruzioni per visualizzare i log di rilevamento dei ritardi e specifica la query per tutti i log di rilevamento dei ritardi nel tuo progetto. Quindi, procedi nel seguente modo:

        • Se il tuo progetto non ha log di rilevamento dei ritardi mentre le VM sono in esecuzione da almeno 10 minuti, il servizio di rilevamento dei ritardi non è in esecuzione per il tuo progetto. Per risolvere il problema, contatta l'assistenza clienti Google Cloud o riprova più tardi.

        • In caso contrario, se hai verificato che il rilevamento dei ritardi è in esecuzione per il tuo progetto e il tuo workload supporta il rilevamento dei ritardi, le prestazioni lente potrebbero essere causate da un problema diverso. Utilizza altre opzioni per risolvere i problemi di prestazioni lente.

      • Se un numero ridotto di VM nel tuo workload viene segnalato come sospettato di essere in ritardo, prova a eseguire la migrazione del workload dalle VM sospette. Quindi, procedi nel seguente modo:

        • Se la migrazione ripristina le prestazioni del tuo workload, allora le VM sospette potrebbero essere difettose. Per ciascuna di queste VM, segui i passaggi per segnalare un host difettoso, e imposta FAULT_REASON su PERFORMANCE e imposta DESCRIPTION su straggler node.

        • Se la migrazione non ripristina le prestazioni, potrebbero esserci altre VM sospette di essere in ritardo oppure le prestazioni lente potrebbero essere causate da un problema diverso. Puoi verificare se altre VM del tuo workload sono sospettate di essere in ritardo o utilizzare altre opzioni per risolvere i problemi di prestazioni lente.

      • Se un numero elevato di VM nel tuo workload viene segnalato come sospettato di essere in ritardo, allora utilizza altre opzioni per risolvere i problemi di prestazioni lente.

2. Utilizza altre opzioni per risolvere i problemi di prestazioni lente: se l'elenco segnalato di VM sospette di essere in ritardo è lungo o se la rimozione delle VM segnalate non ripristina le prestazioni, utilizza altre opzioni per risolvere i problemi di prestazioni lente, ad esempio:

   • Esamina altre metriche per le prestazioni.
   • Esamina altra documentazione per la risoluzione dei problemi. Ad esempio, consulta Risolvere i problemi relativi alle VM GPU nella documentazione di Compute Engine.