Résoudre les problèmes liés à l'outil d'analyse de la communication collective (CoMMA)

Cette page explique comment résoudre les problèmes courants que vous pouvez rencontrer lorsque vous utilisez l'analyseur de communication collective (CoMMA). CoMMA est une bibliothèque qui collecte des données de télémétrie pour les Google Cloud services. Pour en savoir plus, consultez Analyseur de communication collective (CoMMA).

Résoudre les problèmes de chargement de CoMMA

Il est possible que CoMMA ne se charge pas correctement. Pour vérifier que les binaires se chargent correctement, procédez comme suit :

  1. Activez la journalisation du débogage NCCL. Pour activer la journalisation, définissez la variable d'environnement NCCL_DEBUG=INFO. Vous pouvez également utiliser un niveau de débogage plus détaillé. Pour connaître les options, consultez la NCCL_DEBUG section de la documentation NVIDIA.
  2. Spécifiez le sous-système INIT pour le débogage. Pour spécifier INIT, définissez NCCL_DEBUG_SUBSYS=INIT. Vous pouvez également ajouter d'autres sous-systèmes. Pour en savoir plus sur les options de sous-système, consultez la NCCL_DEBUG_SUBSYS section.

  3. Recherchez dans le journal NCCL une ligne semblable à la suivante : NCCL INFO PROFILER/Plugin: Plugin name set by env to PATH_TO_PROFILER_PLUGIN

    Si la variable d'environnement NCCL_PROFILER_PLUGIN n'est pas définie, NCCL peut tenter de charger le binaire libnccl-profiler.so à partir du chemin spécifié dans la variable d'environnement LD_LIBRARY_PATH.

Pour résoudre ce problème, envisagez les solutions suivantes :

  • Vérifiez que la bibliothèque partagée du plug-in (libnccl-profiler.so) est correctement nommée.

    Vérifiez qu'elle se trouve dans un répertoire spécifié dans la variable d'environnement LD_LIBRARY_PATH. Vous pouvez également vérifier que la variable d'environnement NCCL_PROFILER_PLUGIN pointe directement vers l'emplacement du binaire libnccl-profiler.so.

  • Vérifiez que votre version de NCCL est 2.23 ou ultérieure, car l'API du profileur NCCL nécessite cette version.

Résoudre les problèmes de fichiers de sortie manquants

Si vous avez configuré votre environnement pour envoyer les données collectées par CoMMA dans un fichier local, mais que le fichier de sortie est manquant, recherchez dans les journaux NCCL ou les journaux d'application des messages semblables aux suivants :

Failed to open file
Failed to log <telemetry type> to file

Ces erreurs indiquent un problème sous-jacent du système de fichiers, tel qu'un répertoire manquant ou un espace libre insuffisant. CoMMA cesse d'exporter la télémétrie vers des fichiers après ces erreurs.

Pour résoudre ce problème, envisagez les solutions suivantes :

  • Vérifiez que les variables d'environnement NCCL_PROFILER_LATENCY_FILE ou NCCL_PROFILER_SUMMARY_FILE sont correctement définies. Indiquez un chemin d'accès et un modèle de nom de fichier valides, par exemple /tmp/latency-%p.txt.
  • Vérifiez que le processus dispose des autorisations d'écriture dans le répertoire de sortie spécifié.
  • Si vous avez modifié la variable d'environnement NCCL_TELEMETRY_MODE, vérifiez que vous l'avez définie sur une valeur qui active la sortie de fichier local (par exemple, 1 ou 4).

Résoudre les problèmes de données inattendues ou d'événements manquants

Il est possible que CoMMA capture des données inattendues ou manque des événements attendus.

Pour résoudre ce problème, vérifiez que le niveau de granularité requis est défini.