このページでは、Collective Communication Analyzer（CoMMA）の使用時に発生する可能性のある一般的な問題を解決する方法について説明します。CoMMA は、 サービスのテレメトリー データを収集するライブラリです。 Google Cloud 詳細については、Collective Communication Analyzer（CoMMA）をご覧ください。
CoMMA の読み込みに関する問題のトラブルシューティング
CoMMA が正しく読み込まれないことがあります。 バイナリが正しく読み込まれることを確認するには、次の操作を行います。
- NCCL デバッグ ロギングを有効にします。ロギングを有効にするには、環境変数
NCCL_DEBUG=INFOを設定します。より詳細なデバッグレベルを使用することもできます。 オプションについては、NVIDIA ドキュメントのNCCL_DEBUGセクションをご覧ください。 - デバッグする
INITサブシステムを指定します。INITを指定するには、NCCL_DEBUG_SUBSYS=INITを設定します。他のサブシステムを追加することもできます。 サブシステムのその他のオプションについては、NCCL_DEBUG_SUBSYSセクションをご覧ください。 NCCL ログで、次のような行を探します:
NCCL INFO PROFILER/Plugin: Plugin name set by env to PATH_TO_PROFILER_PLUGINNCCL_PROFILER_PLUGIN環境変数が設定されていない場合、NCCL はLD_LIBRARY_PATH環境変数で指定されたパスからlibnccl-profiler.soバイナリを読み込もうとします。
この問題を解決するには、次の解決策を検討してください。
プラグイン共有ライブラリ（
libnccl-profiler.so）の名前が正しく付けられていることを確認します。LD_LIBRARY_PATH環境変数で指定されたディレクトリに配置されていることを確認します。または、NCCL_PROFILER_PLUGIN環境変数がlibnccl-profiler.soバイナリの場所を直接指していることを確認します。NCCL プロファイラ API には NCCL バージョン
2.23以降が必要なため、NCCL バージョンが2.23以降であることを確認します。
出力ファイルが見つからない場合のトラブルシューティング
CoMMA によって収集されたデータをローカル ファイルに送信するように環境を構成したのに、出力ファイルが見つからない場合は、NCCL ログまたはアプリケーション ログで次のようなメッセージを確認してください。
Failed to open file Failed to log <telemetry type> to file
これらのエラーは、ディレクトリがない、空き容量が不足しているなど、基盤となるファイル システムの問題を示しています。これらのエラーが発生すると、CoMMA はテレメトリーをファイルにエクスポートしなくなります。
この問題を解決するには、次の解決策を検討してください。
NCCL_PROFILER_LATENCY_FILE環境変数またはNCCL_PROFILER_SUMMARY_FILE環境変数が正しく設定されていることを確認します。有効なパスとファイル名テンプレート（/tmp/latency-%p.txtなど）を指定します。- プロセスに、指定された出力ディレクトリへの書き込み権限があることを確認します。
NCCL_TELEMETRY_MODE環境変数を変更した場合は、ローカル ファイル出力（1や4など）を有効にする値に設定されていることを確認します。
予期しないデータや欠落しているイベントのトラブルシューティング
CoMMA が予期しないデータをキャプチャしたり、予期されるイベントを見逃したりすることがあります。
この問題を解決するには、必要な レベルの粒度が設定されていることを確認します。