Menjalankan NCCL di cluster Slurm

Halaman ini menjelaskan cara menjalankan NCCL pengujian di cluster Slurm. Untuk menggunakan lingkungan Slurm terkelola yang menyertakan pengujian NCCL bawaan untuk memverifikasi kesehatan cluster, lihat Cluster Director.

Pilih langkah-langkah untuk jenis mesin Anda:

A4X Max, A4X, dan A4

Pengujian berikut menggunakan Ramble, yang merupakan framework eksperimen multi-platform open source yang ditulis dalam Python dan digunakan untuk mengoordinasikan pengujian NCCL. Ramble dan dependensinya kompatibel dengan arsitektur ARM64 yang digunakan oleh mesin A4X Max dan A4X.

Skrip yang digunakan untuk pengujian ini di-staging di /opt/apps/system_benchmarks pada node pengontrol Slurm dan tersedia untuk semua node di cluster. Menjalankan pengujian ini akan menginstal Ramble ke direktori /opt/apps/ramble.

  1. Dari node login di direktori ${HOME}, jalankan perintah berikut. Karena pengujian dapat memerlukan waktu sekitar 10 menit, atau lebih lama jika ada tugas lain dalam antrean, perintah berikut menggunakan nohup dan mengalihkan stdout/err ke file log.

    nohup bash /opt/apps/system_benchmarks/run-nccl-tests-via-ramble.sh >& nccl.log &

    Perintah ini membuat folder bernama nccl-tests_$(date +%s) yang menyimpan semua hasil pengujian. Tag tanggal memastikan bahwa folder unik dibuat berdasarkan setiap stempel waktu saat ini.

    Misalnya, jika cluster Anda memiliki 16 node, pengujian NCCL akan dijalankan untuk all-gather, all-reduce, dan reduce-scatter pada 2, 4, 8, dan 16 node.

  2. Tinjau hasilnya. nccl.log berisi log dari penyiapan dan menjalankan pengujian. Untuk melihat log ini, jalankan perintah berikut:

    tail -f nccl.log

    Anda juga dapat menggunakan Ctrl+C untuk berhenti mengikuti output kapan saja. Di akhir nccl.log, output Anda akan terlihat seperti berikut:

    ...
---- SUMMARY for >1GB Message Sizes ----
workload        n_nodes msg_size        busbw
all-gather      2       1073741824      ###.##
all-gather      2       2147483648      ###.##
all-gather      2       4294967296      ###.##
all-gather      2       8589934592      ###.##
...
all-reduce      2       1073741824      ###.##
...
reduce-scatter  2       1073741824      ###.##
...
-------- Benchmarking Complete -------

    Semua skrip tugas Slurm dan log output nccl-tests disimpan di direktori nccl-tests_$(date +%s)/experiments. Ringkasan performa pengujian NCCL juga disimpan dalam file nccl-tests_${date +%s)/summary.tsv.

    Menghapus direktori nccl-tests_$(date +%s)/ akan menghapus semua file yang dibuat selama pengujian ini.

A3 Ultra

  1. Dari direktori bersama node login (node ini biasanya terletak di ${HOME}), download skrip yang diperlukan untuk membuat pengujian NCCL dengan menjalankan perintah berikut:

    wget -np -nd https://raw.githubusercontent.com/GoogleCloudPlatform/cluster-toolkit/refs/heads/main/examples/machine-learning/a3-ultragpu-8g/nccl-tests/build-nccl-tests.sh

  2. Setelah skrip didownload, impor image Pytorch dari registry container NVIDIA dan buat pengujian NCCL. Untuk melakukannya, jalankan perintah berikut:

    sbatch build-nccl-tests.sh

    Skrip sebelumnya berjalan di salah satu node Anda. Skrip ini menggunakan tombol --container-mounts untuk memasang direktori saat ini, $PWD, ke direktori /nccl dalam container.

  3. Pastikan pengujian NCCL dibuat. Untuk memverifikasi hal tersebut, jalankan perintah berikut:

    sacct -a

    Jika berhasil diselesaikan, output-nya akan mirip dengan berikut ini:

    JobID           JobName  Partition    Account  AllocCPUS      State ExitCode
------------ ---------- ---------- ---------- ---------- ---------- --------
1            build-ncc+    a3ultra                   112  COMPLETED      0:0

    Jika build berhasil, Anda juga akan memiliki file bernama nvidia+pytorch+24.09-py3.sqsh di direktori tempat Anda menjalankan perintah bersama dengan direktori bernama nccl-tests.

  4. Pastikan folder nccl-tests/build berisi beberapa biner, termasuk all_gather_perf, all_reduce_perf, reduce_scatter_perf, dan alltoall_perf.

  5. Download skrip pengujian NCCL.

    wget -np -nd https://raw.githubusercontent.com/GoogleCloudPlatform/cluster-toolkit/refs/heads/main/examples/machine-learning/a3-ultragpu-8g/nccl-tests/run-nccl-tests.sh

    Untuk menjalankan tugas apa pun di cluster A3 Ultra, beberapa variabel lingkungan harus ditetapkan agar dapat mengaktifkan jaringan berperforma tinggi dengan RDMA. Karena Anda menggunakan container enroot dalam prosedur ini untuk meluncurkan workload, variabel ini harus ditetapkan di lingkungan container, bukan lingkungan host. Variabel ini dapat diperiksa dalam skrip run-nccl-tests.sh yang baru saja Anda download.

  6. Jalankan skrip pengujian NCCL. Pengujian dapat memerlukan waktu sekitar 15 menit, atau lebih lama.

    sbatch run-nccl-tests.sh

  7. Tinjau hasilnya. Skrip ini menghasilkan file slurm-XX.out yang berisi hasil benchmark nccl all_gather_perf.

    Outputnya mirip dengan hal berikut ini:

    #
#                                                              out-of-place                       in-place
#        size         count     type     redop   root     time   algbw   busbw #wrong     time   algbw   busbw #wrong
#         (B)    (elements)                               (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)
    268435456       4194304     float    none      -1    #####  ###.##  ###.##    N/A   ######  ###.##  ###.##      0
    536870912       8388608     float    none      -1    #####  ###.##  ###.##    N/A   ######  ###.##  ###.##      0
   1073741824      16777216     float    none      -1    #####  ###.##  ###.##    N/A   ######  ###.##  ###.##      0
   2147483648      33554432     float    none      -1    #####  ###.##  ###.##    N/A   ######  ###.##  ###.##      0
   4294967296      67108864     float    none      -1    #####  ###.##  ###.##    N/A   ######  ###.##  ###.##      0
   8589934592     134217728     float    none      -1    #####  ###.##  ###.##    N/A   ######  ###.##  ###.##      0
# Out of bounds values : 0 OK
# Avg bus bandwidth    : ###.##
#

A3 Mega

  1. Dari direktori bersama node login (node ini biasanya terletak di ${HOME}), download skrip yang diperlukan untuk membuat pengujian NCCL dengan menjalankan perintah berikut:

    wget -np -nd https://raw.githubusercontent.com/GoogleCloudPlatform/cluster-toolkit/refs/heads/main/examples/machine-learning/a3-megagpu-8g/nccl-tests/build-nccl-tests.sh

  2. Setelah skrip didownload, impor image Pytorch dari registry container NVIDIA dan buat pengujian NCCL.

    sbatch build-nccl-tests.sh

    Skrip sebelumnya berjalan di salah satu node Anda. Skrip ini menggunakan tombol --container-mounts untuk memasang direktori saat ini, $PWD, ke direktori /nccl dalam container.

  3. Pastikan pengujian NCCL dibuat:

    sacct -a

    Outputnya mirip dengan hal berikut ini:

    JobID           JobName  Partition    Account  AllocCPUS      State ExitCode
------------ ---------- ---------- ---------- ---------- ---------- --------
1            build-ncc+    a3mega                   112  COMPLETED      0:0

    Setelah build selesai, direktori nccl-tests akan dibuat. Direktori ini berisi file nvidia+pytorch+24.09-py3.sqsh. File .sqsh adalah image sistem file terkompresi dan hanya baca yang berfungsi sebagai format container standar untuk workload AI.

  4. Pastikan folder nccl-tests/build berisi beberapa biner, termasuk all_gather_perf, all_reduce_perf, reduce_scatter_perf, dan alltoall_perf.

  5. Download skrip pengujian NCCL:

    wget -np -nd https://raw.githubusercontent.com/GoogleCloudPlatform/cluster-toolkit/refs/heads/main/examples/machine-learning/a3-megagpu-8g/nccl-tests/run-nccl-tests.sh

    Untuk menjalankan tugas apa pun di cluster A3 Mega, beberapa variabel lingkungan harus ditetapkan agar dapat mengaktifkan jaringan berperforma tinggi dengan protokol GPUDirect-TCPXO. Karena Anda menggunakan container enroot dalam prosedur ini untuk meluncurkan workload, variabel ini harus ditetapkan di lingkungan container, bukan lingkungan host. Anda dapat memeriksa variabel ini dalam skrip run-nccl-tests.sh yang Anda download pada langkah sebelumnya.

  6. Jalankan skrip pengujian NCCL. Pengujian dapat memerlukan waktu sekitar 15 menit, atau lebih lama.

    sbatch run-nccl-tests.sh

  7. Tinjau hasilnya. Skrip ini menghasilkan file slurm-XX.out yang berisi hasil benchmark nccl all_gather_perf.

    Outputnya mirip dengan hal berikut ini:

    #
#                                                              out-of-place                       in-place
#        size         count     type     redop   root     time   algbw   busbw #wrong     time   algbw   busbw #wrong
#         (B)    (elements)                               (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)
    268435456       4194304     float    none      -1    #####  ###.##  ###.##    N/A   ######  ###.##  ###.##      0
    536870912       8388608     float    none      -1    #####  ###.##  ###.##    N/A   ######  ###.##  ###.##      0
   1073741824      16777216     float    none      -1    #####  ###.##  ###.##    N/A   ######  ###.##  ###.##      0
   2147483648      33554432     float    none      -1    #####  ###.##  ###.##    N/A   ######  ###.##  ###.##      0
   4294967296      67108864     float    none      -1    #####  ###.##  ###.##    N/A   ######  ###.##  ###.##      0
   8589934592     134217728     float    none      -1    #####  ###.##  ###.##    N/A   ######  ###.##  ###.##      0
# Out of bounds values : 0 OK
# Avg bus bandwidth    : ###.##
#

A3 Tinggi

  1. Dari direktori bersama node login (node ini biasanya terletak di ${HOME}), download skrip yang diperlukan untuk membuat pengujian NCCL dengan menjalankan perintah berikut: 

    wget -np -nd https://raw.githubusercontent.com/GoogleCloudPlatform/cluster-toolkit/refs/heads/main/examples/machine-learning/a3-highgpu-8g/nccl-tests/build-nccl-tests.sh

  2. Setelah skrip didownload, impor image Pytorch dari registry container NVIDIA dan buat pengujian NCCL. Untuk melakukannya, jalankan perintah berikut:

    sbatch build-nccl-tests.sh

    Skrip sebelumnya berjalan di salah satu node Anda. Skrip ini menggunakan tombol --container-mounts untuk memasang direktori saat ini, $PWD, ke direktori /nccl dalam container.

  3. Pastikan pengujian NCCL dibuat:

    sacct -a

    Outputnya mirip dengan hal berikut ini:

    JobID           JobName  Partition    Account  AllocCPUS      State ExitCode
------------ ---------- ---------- ---------- ---------- ---------- --------
1            build-ncc+    a3high                   112  COMPLETED      0:0

    Jika build berhasil, direktori nccl-tests akan dibuat. Direktori ini berisi file nvidia+pytorch+24.09-py3.sqsh. File .sqsh adalah image sistem file terkompresi dan hanya baca yang berfungsi sebagai format container standar untuk workload AI.

  4. Pastikan folder nccl-tests/build berisi beberapa biner, termasuk all_gather_perf, all_reduce_perf, reduce_scatter_perf, dan alltoall_perf.

  5. Download skrip pengujian NCCL:

    wget -np -nd https://raw.githubusercontent.com/GoogleCloudPlatform/cluster-toolkit/refs/heads/main/examples/machine-learning/a3-highgpu-8g/nccl-tests/run-nccl-tests.sh

    Untuk menjalankan tugas apa pun di cluster A3 Tinggi, beberapa variabel lingkungan harus ditetapkan agar dapat mengaktifkan jaringan berperforma tinggi dengan GPUDirect-TCPX. Karena Anda menggunakan container enroot dalam prosedur ini untuk meluncurkan workload, variabel ini harus ditetapkan di lingkungan container, bukan lingkungan host. Anda dapat memeriksa variabel ini dalam skrip run-nccl-tests.sh yang baru saja Anda download.

  6. Jalankan skrip pengujian NCCL. Pengujian dapat memerlukan waktu sekitar 15 menit, atau lebih lama.

    sbatch run-nccl-tests.sh

  7. Tinjau hasilnya. Skrip ini menghasilkan file slurm-XX.out yang berisi hasil benchmark nccl all_gather_perf.

    Outputnya mirip dengan hal berikut ini:

    #
#                                                              out-of-place                       in-place
#        size         count     type     redop   root     time   algbw   busbw #wrong     time   algbw   busbw #wrong
#         (B)    (elements)                               (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)
    268435456       4194304     float    none      -1    #####  ###.##  ###.##    N/A   ######  ###.##  ###.##      0
    536870912       8388608     float    none      -1    #####  ###.##  ###.##    N/A   ######  ###.##  ###.##      0
   1073741824      16777216     float    none      -1    #####  ###.##  ###.##    N/A   ######  ###.##  ###.##      0
   2147483648      33554432     float    none      -1    #####  ###.##  ###.##    N/A   ######  ###.##  ###.##      0
   4294967296      67108864     float    none      -1    #####  ###.##  ###.##    N/A   ######  ###.##  ###.##      0
   8589934592     134217728     float    none      -1    #####  ###.##  ###.##    N/A   ######  ###.##  ###.##      0
# Out of bounds values : 0 OK
# Avg bus bandwidth    : ###.##
#

Langkah berikutnya