느린 성능 문제 해결

이 문서에서는 AI에 최적화된 VM 또는 클러스터에서 실행되는 워크로드에 대해 확인된 성능 저하 문제를 해결하는 방법을 설명합니다.

성능 저하를 식별하는 방법을 알아보려면 Compute Engine 인스턴스 및 Slurm 클러스터 모니터링을 참조하세요.

  1. 워크로드의 낙오 항목으로 의심되는 항목을 식별하고 해결: 다음 단계를 완료합니다.

    1. 워크로드에 낙오 항목 감지를 사용할 수 있는지 확인합니다. 낙오 항목 감지 사용의 제한사항 및 요구사항을 검토하려면 다음 항목을 참조하세요. Compute Engine 인스턴스 및 Slurm 클러스터 모니터링

      낙오 항목 감지를 사용할 수 없는 경우 성능 저하 문제 해결을 위한 다른 옵션을 사용합니다.

    2. 워크로드의 VM이 낙오 항목으로 의심되는지 확인하려면 낙오 항목 감지 측정항목을 확인합니다.

      예를 들어 Cloud Monitoring에서 프로젝트의 낙오 항목으로 의심되는 모든 항목을 시각화하려면 다음 단계를 완료합니다.

      1. Google Cloud 콘솔에서  대시보드 페이지로 이동합니다.

        대시보드로 이동

        검색창을 사용하여 이 페이지를 찾은 경우 부제목이 Monitoring 인 결과를 선택합니다.

      2. 필터 창의 유형 섹션에서 Google 서비스를 클릭합니다.

      3. 이름 열에서 Cluster Director Health Monitoring 을 클릭합니다.

        대시보드의 세부정보 페이지가 열립니다.

      4. 도구 모음의 시간 범위 선택기를 사용하여 성능 저하의 시간 범위를 선택합니다. 낙오 항목 감지는 일반적으로 낙오 항목을 보고하는 데 최대 10분이 걸립니다.

      5. 워크로드의 VM이 낙오 항목으로 의심되는지 확인하려면 낙오 항목 감지 섹션을 검토합니다. 이 쿼리를 사용하여 낙오 항목으로 의심되는 인스턴스 표에 워크로드의 VM이 나열되어 있는지 확인합니다.

    3. 낙오 항목으로 의심되는 워크로드의 VM 수에 따라 다음을 수행합니다.

      • 낙오 항목으로 의심되는 VM이 없는 경우 낙오 항목 감지가 올바르게 실행되고 있는지 확인합니다. 프로젝트에서 낙오 항목 감지 서비스가 실행되고 있는지 확인하려면 낙오 항목 감지 로그를 보고 프로젝트의 모든 낙오 항목 감지 로그에 대한 쿼리를 지정하는 안내를 따르세요. 그런 다음 다음을 수행하세요.

        • VM이 10분 이상 실행되는 동안 프로젝트에 낙오 항목 감지 로그가 없으면 프로젝트에서 낙오 항목 감지 서비스가 실행되고 있지 않은 것입니다. 이 문제를 해결하려면 Cloud Customer Care에 문의하거나 나중에 다시 시도하세요.

        • 또는 프로젝트에서 낙오 항목 감지가 실행되고 워크로드에서 낙오 항목 감지를 지원하는 것으로 확인된 경우 성능 저하가 다른 문제로 인해 발생할 수 있습니다. 성능 저하 문제 해결을 위한 다른 옵션을 사용합니다.

      • 워크로드의 소수의 VM이 낙오 항목으로 의심된다고 보고된 경우 의심되는 VM에서 워크로드 마이그레이션을 테스트합니다. 그런 다음 다음을 수행하세요.

        • 마이그레이션으로 워크로드의 성능이 복원되면 의심되는 VM에 결함이 있을 수 있습니다. 이러한 각 VM에 대해, 결함이 있는 호스트를 보고하는 단계를 따르고, FAULT_REASON을(를) PERFORMANCE(으)로 설정하고 DESCRIPTION을(를) straggler node(으)로 설정합니다.

        • 마이그레이션으로 성능이 복원되지 않으면 낙오 항목으로 의심되는 VM이 더 많거나 성능 저하가 다른 문제로 인해 발생할 수 있습니다. 워크로드의 VM이 낙오 항목으로 의심되는지 확인하거나 성능 저하 문제 해결을 위한 다른 옵션을 사용할 수 있습니다.

      • 워크로드의 많은 VM이 낙오 항목으로 의심된다고 보고된 경우 성능 저하 문제 해결을 위한 다른 옵션을 사용합니다.

  2. 성능 저하 문제 해결을 위한 다른 옵션 사용: 낙오 항목으로 의심되는 VM의 보고된 목록이 많거나 보고된 낙오 항목 VM을 삭제해도 성능이 복원되지 않는 경우 다음과 같은 다른 옵션을 사용하여 성능 저하 문제를 해결합니다.