Soluciona problemas de rendimiento lento

En este documento, se explica cómo solucionar problemas de rendimiento lento que identificaste para las cargas de trabajo que se ejecutan en VMs o clústeres optimizados para IA.

Para obtener información sobre cómo identificar el rendimiento lento, consulta Supervisa instancias de Compute Engine y clústeres de Slurm.

1. Identifica y aborda cualquier rezagado sospechoso para tu carga de trabajo: Completa los siguientes pasos:

   1. Verifica si puedes usar la detección de rezagados para tu carga de trabajo. Para revisar las limitaciones y los requisitos para usar la detección de rezagados, consulta Supervisa instancias de Compute Engine y clústeres de Slurm.

      Si no puedes usar la detección de rezagados, entonces usa otras opciones para solucionar problemas de rendimiento lento.

   2. Para verificar si alguna VM de tu carga de trabajo es un rezagado sospechoso, consulta las métricas de detección de rezagados.

      Por ejemplo, para visualizar todos los rezagados sospechosos de tu proyecto en Cloud Monitoring, completa los siguientes pasos:

      Sugerencia: Como alternativa, si deseas filtrar los rezagados sospechosos de tu proyecto, sigue las instrucciones para ver los registros de detección de rezagados y especifica la consulta para los registros con rezagados sospechosos para VMs específicas.

      1. En la Google Cloud consola de, accede a la página  Paneles:

         Acceder a Paneles

         Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Monitoring.

      2. En la sección Tipo del panel de filtros, haz clic en Servicios de Google.

      3. En la columna Nombre, haz clic en Supervisión del estado de Cluster Director.

         Se abrirá la página de detalles del panel.

      4. Usa el selector de rango de tiempo en la barra de herramientas para seleccionar el rango de tiempo del rendimiento lento. Por lo general, la detección de rezagados tarda hasta 10 minutos en informar un rezagado.

      5. Para verificar si alguna VM de tu carga de trabajo es un rezagado sospechoso, revisa la sección Detección de rezagados. Usa esta consulta para ver si la tabla Instancias de rezagados sospechosos muestra alguna VM para tu carga de trabajo.

   3. Según la cantidad de VMs de tu carga de trabajo que sean rezagados sospechosos, haz lo siguiente:

      • Si no hay VMs que sean rezagados sospechosos, verifica si la detección de rezagados se ejecuta correctamente. Para verificar si el servicio de detección de rezagados se ejecuta para tu proyecto, sigue las instrucciones para ver los registros de detección de rezagados y especifica la consulta para todos los registros de detección de rezagados de tu proyecto. Luego, haz lo siguiente:

        • Si tu proyecto no tiene registros de detección de rezagados mientras las VMs se ejecutan durante al menos 10 minutos, el servicio de detección de rezagados no se ejecuta para tu proyecto. Para resolver este problema, comunícate con Atención al cliente de Cloud o vuelve a intentarlo más tarde.

        • De lo contrario, si verificaste que la detección de rezagados se ejecuta para tu proyecto y tu carga de trabajo admite la detección de rezagados, es posible que el rendimiento lento se deba a un problema diferente. Usa otras opciones para solucionar problemas de rendimiento lento.

      • Si se informa que una pequeña cantidad de VMs de tu carga de trabajo son rezagados sospechosos, prueba migrar tu carga de trabajo fuera de las VMs sospechosas. Luego, haz lo siguiente:

        • Si la migración restablece el rendimiento de tu carga de trabajo, entonces las VMs sospechosas podrían estar defectuosas. Para cada una de estas VMs, sigue los pasos para informar un host defectuoso, y establece FAULT_REASON en PERFORMANCE y establece DESCRIPTION en straggler node.

        • Si la migración no restablece el rendimiento, es posible que haya más VMs rezagadas sospechosas o que el rendimiento lento se deba a un problema diferente. Puedes verificar si más VMs de tu carga de trabajo son rezagados sospechosos o usar otras opciones para solucionar problemas de rendimiento lento.

      • Si se informa que una gran cantidad de VMs de tu carga de trabajo son rezagados sospechosos, entonces usa otras opciones para solucionar problemas de rendimiento lento.

2. Usa otras opciones para solucionar problemas de rendimiento lento: Si la lista informada de VMs rezagadas sospechosas es grande o si quitar las VMs rezagadas informadas no restablece el rendimiento, usa otras opciones para solucionar problemas de rendimiento lento, como las siguientes:

   • Prueba clústeres con el analizador de estado del clúster.
   • Revisa otras métricas de rendimiento.
   • Revisa otra documentación para solucionar problemas. Por ejemplo, consulta Soluciona problemas de VMs con GPU en la documentación de Compute Engine.