Risolvere i problemi di rallentamento delle prestazioni

Questo documento spiega come risolvere i problemi di prestazioni lente che hai identificato per i workload eseguiti su VM o cluster ottimizzati per l'AI.

Per scoprire come identificare le prestazioni lente, consulta Monitorare le istanze di Compute Engine e i cluster Slurm.

1. Identifica e risolvi eventuali ritardi sospetti per il tuo workload: Completa i seguenti passaggi:

   1. Verifica se puoi utilizzare il rilevamento dei ritardi per il tuo workload. Per esaminare le limitazioni e i requisiti per l'utilizzo del rilevamento dei ritardi, consulta Monitorare le istanze di Compute Engine e i cluster Slurm.

      Se non puoi utilizzare il rilevamento dei ritardi, allora utilizza altre opzioni per risolvere i problemi di prestazioni lente.

   2. Per verificare se alcune VM del tuo workload sono sospettate di essere in ritardo, visualizza le metriche di rilevamento dei ritardi.

      Ad esempio, per visualizzare tutti i ritardi sospetti per il tuo progetto in Cloud Monitoring, completa i seguenti passaggi:

      Suggerimento: in alternativa, se vuoi filtrare i ritardi sospetti per il tuo progetto, segui le istruzioni per visualizzare i log di rilevamento dei ritardi e specifica la query per i log con ritardi sospetti per VM specifiche.

      1. Nella Google Cloud console, vai alla pagina  Dashboard:

         Vai a Dashboard

         Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Monitoring.

      2. Nella sezione Tipo del riquadro dei filtri, fai clic su Servizi Google.

      3. Nella colonna Nome, fai clic su Monitoraggio dello stato di Cluster Director.

         Viene visualizzata la pagina dei dettagli della dashboard.

      4. Utilizza il selettore dell'intervallo di tempo nella barra degli strumenti per selezionare l'intervallo di tempo delle prestazioni lente. In genere, il rilevamento dei ritardi richiede fino a 10 minuti per segnalare un ritardo.

      5. Per verificare se alcune VM del tuo workload sono sospettate di essere in ritardo, esamina la sezione Rilevamento dei ritardi. Utilizza questa query per verificare se la tabella Istanze sospette di ritardo elenca le VM del tuo workload.

   3. In base al numero di VM del tuo workload sospettate di essere in ritardo, procedi nel seguente modo:

      • Se nessuna VM è sospettata di essere in ritardo, verifica se il rilevamento dei ritardi è in esecuzione correttamente. Per verificare se il servizio di rilevamento dei ritardi è in esecuzione per il tuo progetto, segui le istruzioni per visualizzare i log di rilevamento dei ritardi e specifica la query per tutti i log di rilevamento dei ritardi nel tuo progetto. Quindi, procedi nel seguente modo:

        • Se il tuo progetto non ha log di rilevamento dei ritardi mentre le VM sono in esecuzione da almeno 10 minuti, il servizio di rilevamento dei ritardi non è in esecuzione per il tuo progetto. Per risolvere il problema, contatta l'assistenza clienti Google Cloud o riprova più tardi.

        • In caso contrario, se hai verificato che il rilevamento dei ritardi è in esecuzione per il tuo progetto e il tuo workload supporta il rilevamento dei ritardi, le prestazioni lente potrebbero essere causate da un problema diverso. Utilizza altre opzioni per risolvere i problemi di prestazioni lente.

      • Se un numero ridotto di VM nel tuo workload viene segnalato come sospetto di essere in ritardo, prova a eseguire la migrazione del workload dalle VM sospette. Quindi, procedi nel seguente modo:

        • Se la migrazione ripristina il rendimento del tuo workload, allora le VM sospette potrebbero essere difettose. Per ciascuna di queste VM, segui i passaggi per segnalare un host difettoso, e imposta FAULT_REASON su PERFORMANCE e imposta DESCRIPTION su straggler node.

        • Se la migrazione non ripristina il rendimento, potrebbero esserci altre VM sospette di essere in ritardo oppure le prestazioni lente potrebbero essere causate da un problema diverso. Puoi verificare se altre VM del tuo workload sono sospette di essere in ritardo o utilizzare altre opzioni per risolvere i problemi di prestazioni lente.

      • Se un numero elevato di VM nel tuo workload viene segnalato come sospetto di essere in ritardo, allora utilizza altre opzioni per risolvere i problemi di prestazioni lente.

2. Utilizza altre opzioni per risolvere i problemi di prestazioni lente: se l'elenco delle VM sospette di essere in ritardo è lungo o se la rimozione delle VM segnalate come in ritardo non ripristina il rendimento, utilizza altre opzioni per risolvere i problemi di prestazioni lente, ad esempio:

   • Testa i cluster utilizzando lo scanner dello stato del cluster.
   • Esamina altre metriche per il rendimento.
   • Consulta altra documentazione per la risoluzione dei problemi. Ad esempio, consulta Risolvere i problemi relativi alle VM GPU nella documentazione di Compute Engine.