パフォーマンスの低下に関するトラブルシューティング

このドキュメントでは、AI 最適化 VM またはクラスタで実行されるワークロードで特定されたパフォーマンスの低下をトラブルシューティングする方法について説明します。

パフォーマンスの低下を特定する方法については、 Compute Engine インスタンスと Slurm クラスタをモニタリングするをご覧ください。

  1. ワークロードのストラグラーの疑いがあるものを特定して対処する: 次の手順を完了します。

    1. ワークロードでストラグラー検出を使用できるかどうかを確認します。ストラグラー検出の使用に関する制限事項と要件については、 Compute Engine インスタンスと Slurm クラスタをモニタリングするをご覧ください。

      ストラグラー検出を使用できない場合は、 パフォーマンスの低下のトラブルシューティングに他のオプションを使用します。

    2. ワークロードの VM がストラグラーの疑いがあるかどうかを確認するには、ストラグラー検出指標を表示します。

      たとえば、プロジェクトのストラグラーの疑いがあるものをすべて Cloud Monitoring で可視化するには、次の手順を完了します。

      1. コンソールで [ダッシュボード] ページに移動します。 Google Cloud

        [ダッシュボード] に移動

        検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] である結果を選択します。

      2. フィルタペインの [Type ] セクションで [Google Services] をクリックします。

      3. [名前] 列で [Cluster Director Health Monitoring] をクリックします。

        ダッシュボードの詳細ページが開きます。

      4. ツールバーの時間範囲セレクタを使用して、パフォーマンスが低下した時間範囲を選択します。通常、ストラグラー検出でストラグラーが報告されるまでに最大 10 分かかります。

      5. ワークロードの VM がストラグラーの疑いがあるかどうかを確認するには、[ストラグラー検出] セクションを確認します。このクエリを使用して、[ストラグラーの疑いがあるインスタンス] テーブルにワークロードの VM が表示されているかどうかを確認します。

    3. ストラグラーの疑いがあるワークロードの VM の数に応じて、次の操作を行います。

      • ストラグラーの疑いがある VM がない場合は、ストラグラー検出が正しく実行されていることを確認します。 ストラグラー検出 サービスがプロジェクトで実行されているかどうかを確認するには、 ストラグラー検出ログを表示する手順に沿って、 プロジェクト内のすべてのストラグラー検出ログの クエリを指定します。 次の手順に進みます。

      • ワークロード内の VM の数が少ない場合、ストラグラーの疑いがある VM からワークロードを移行することをテストします。 次の手順に進みます。

        • 移行によってワークロードのパフォーマンスが復元された場合、 ストラグラーの疑いがある VM に障害がある可能性があります。これらの VM ごとに、 障害のあるホストを報告する手順に沿って、 FAULT_REASON を PERFORMANCE に設定し、DESCRIPTION を straggler node に設定します。

        • 移行してもパフォーマンスが復元されない場合は、ストラグラーの疑いがある VM がさらに存在するか、パフォーマンスの低下が別の問題によって発生している可能性があります。ワークロードの VM がストラグラーの疑いがあるかどうかを 確認するか 、 パフォーマンスの低下のトラブルシューティングに他のオプションを使用します。

      • ワークロード内の VM の数が多く、ストラグラーの疑いがある VM として報告されている場合は、 パフォーマンスの低下のトラブルシューティングに 他のオプションを使用します。

  2. パフォーマンスの低下のトラブルシューティングに他のオプションを使用する: ストラグラーの疑いがある VM の報告リストが多い場合や、報告されたストラグラー VM を削除してもパフォーマンスが復元されない場合は、次のオプションを使用してパフォーマンスの低下をトラブルシューティングします。