AI Hypercomputer menggunakan layanan jaringan tertentu yang ditentukan oleh jenis mesin GPU yang Anda pilih. Dengan memahami layanan ini, Anda dapat mengoptimalkan performa dan goodput: progres efektif tugas pelatihan machine learning.
Jaringan menurut infrastruktur
Arsitektur jaringan untuk deployment Anda bergantung pada pilihan infrastruktur, GPU Umum atau GPU Berkelompok.
Jaringan VPC standar untuk GPU Umum
GPU Umum menggunakan jaringan VPC Google Cloud standar.
- Arsitektur: mengandalkan desain VPC multi-tenant standar untuk inferensi, penayangan model, dan riset eksploratif.
- Protokol: menggunakan TCP/IP melalui NIC Virtual Google (gVNIC).
Kain berperforma tinggi untuk GPU Bercluster
AI Hypercomputer membantu Anda men-deploy mesin GPU yang menggunakan arsitektur jaringan hierarkis dan selaras dengan rel. Konektivitas berkinerja tinggi dan dapat diprediksi dari desain ini meminimalkan overhead komunikasi, yang secara langsung meningkatkan goodput dengan memungkinkan GPU menghabiskan lebih banyak waktu untuk komputasi daripada menunggu data.
Penataan GPU yang dikelompokkan dan selaras dengan jalur mencakup tiga komponen:
- Sub-blok: sekelompok host yang secara fisik berada di blok yang sama. Switch pada rak teratas (ToR) menghubungkan host ini, sehingga memungkinkan komunikasi satu hop yang sangat efisien antara dua GPU mana pun di dalam sub-blok. RDMA over Converged Ethernet (RoCE) memfasilitasi komunikasi langsung ini. Library NCCL yang ditingkatkan dan dioptimalkan untuk topologi yang sesuai jalur Google menangani kolektif komunikasi GPU.
- Blok: kumpulan sub-blok yang saling terhubung oleh jaringan berkecepatan tinggi non-pemblokiran yang menyediakan bandwidth tinggi. Setiap GPU di dalam blok dapat dijangkau dalam maksimal dua hop jaringan. Sistem mengekspos metadata blok dan sub-blok untuk memungkinkan penempatan tugas yang optimal.
- Cluster: kumpulan blok yang saling terhubung yang dapat diskalakan hingga ribuan GPU, sehingga Anda dapat menjalankan beban kerja pelatihan skala besar. Komunikasi di berbagai blok hanya menambahkan satu hop tambahan, sehingga tetap mempertahankan performa tinggi dan prediktabilitas bahkan pada skala masif. Untuk mengaktifkan penempatan tugas cerdas berskala besar, metadata tingkat cluster juga tersedia untuk orchestrator.
Teknologi untuk komunikasi GPU-ke-GPU
Mesin GPU menggunakan kombinasi teknologi untuk memberikan performa tinggi, throughput tinggi, dan latensi rendah untuk workload. Teknologi ini mencakup RDMA over Converged Ethernet (RoCE), NIC NVIDIA, dan topologi jaringan yang sesuai jalur di seluruh pusat data Google.
Teknologi NVLink NVIDIA menciptakan jalur data langsung berkecepatan ultra-tinggi antar-NIC NVIDIA di setiap mesin. Selain itu, RoCE memungkinkan RDMA yang efisien di antara GPU pada mesin yang berbeda.
Stack jaringan GPU
Stack jaringan adalah kumpulan protokol, driver, dan lapisan software yang bekerja sama untuk menerapkan komunikasi GPU-ke-GPU. Jenis mesin GPU yang berbeda menggunakan stack jaringan yang berbeda. Tabel berikut menentukan stack jaringan dan jenis mesin terkaitnya:
| Stack jaringan | Deskripsi | Jenis mesin GPU |
|---|---|---|
| GPUDirect RDMA | Memungkinkan jalur langsung untuk pertukaran data antara GPU dan perangkat lain. Untuk instance A4X Max dan A4X, stack jaringan ini menggunakan RoCE. Untuk mengetahui informasi selengkapnya, lihat Opsi konfigurasi cluster dengan GPUDirect RDMA. | |
| GPUDirect-TCPXO | Meningkatkan kualitas GPUDirect-TCPX dengan meng-offload protokol TCP. Dengan GPUDirect-TCPXO, jenis mesin A3 Mega menggandakan bandwidth jaringan dibandingkan dengan A3 High. Untuk mengetahui informasi tentang cara memaksimalkan bandwidth jaringan pada cluster GKE yang menggunakan GPUDirect-TCPXO, lihat Memaksimalkan bandwidth jaringan GPU di cluster mode Standar dan pilih tab GPUDirect-TCPXO. | |
| GPUDirect-TCPX | Meningkatkan performa jaringan dengan memungkinkan payload paket data ditransfer langsung dari memori GPU ke antarmuka jaringan. Untuk mengetahui informasi tentang cara memaksimalkan bandwidth jaringan di cluster GKE yang menggunakan GPUDirect-TCPX, lihat Memaksimalkan bandwidth jaringan GPU di cluster mode Standard dan pilih tab GPUDirect-TCPX. |
|
| TCP/IP Standar | Protokol jaringan dasar untuk beban kerja Umum (Standard). Layanan ini memberikan keandalan tinggi dan kompatibilitas luas dengan layanan VPC standar. |
|
Jaringan bidang data host dan penyimpanan
Instance multi-GPU memerlukan konfigurasi jaringan yang berbeda untuk komunikasi dengan instance komputasi dibandingkan dengan pemrosesan informasi GPU-ke-GPU.
Jalur jaringan terpisah (terkadang juga disebut sebagai jaringan Utara-Selatan atau jaringan Frontend) menangani semua komunikasi dengan instance komputasi. Traffic ini mencakup akses disk, komunikasi intra-VM, akses internet, akses ke Cloud Storage, pengelolaan tingkat host, dan komunikasi dengan layanan Google Cloudlainnya.
Untuk mengelola traffic ini, jenis mesin GPU menggunakan konfigurasi Google Virtual NIC (gVNIC) melalui NIC Titanium Google. NIC Titanium mengurangi beban tugas pemrosesan jaringan dari CPU, sehingga CPU dapat fokus pada workload Anda. Pemisahan ini membantu memastikan bahwa traffic host umum dan traffic GPU-ke-GPU khusus menggunakan antarmuka fisik yang berbeda, sehingga mencegah keduanya bersaing untuk resource sistem yang sama.
Lingkungan Multi-VPC
Semua workload beroperasi dalam Virtual Private Cloud (VPC) Google Cloud.
Mesin akselerator berperforma tinggi memiliki desain hardware khusus yang menggunakan beberapa antarmuka jaringan fisik untuk menangani berbagai jenis traffic. Untuk menangani desain hardware khusus ini, lingkungan multi-VPC diperlukan, terlepas dari apakah Anda menggunakan Slurm, GKE, atau Compute Engine untuk menjalankan workload.
Konfigurasi multi-VPC tertentu bergantung pada jenis mesin GPU dan stack jaringannya:
A4X Max, A4X, A4, dan A3 Ultra dengan GPUDirect RDMA: Mesin ini didukung oleh dua NIC fisik: satu yang mendukung traffic tujuan umum dan satu yang mendukung traffic RDMA. vNIC instance yang dipetakan ke NIC fisik serbaguna (antarmuka
nic0dan antarmuka jaringan tambahan) terhubung ke jaringan VPC reguler. vNIC RDMA yang dipetakan ke NIC fisik yang kompatibel dengan RDMA dilampirkan ke jaringan VPC terpisah dengan profil jaringan RDMA untuk memanfaatkan GPUDirect RDMA. Secara total, jenis mesin ini memerlukan tiga jaringan VPC. Untuk mempelajari cara menyiapkan infrastruktur jaringan ini, lihat Membuat VPC dan subnet.A3 Mega dengan GPUDirect-TCPXO: Mesin ini memerlukan delapan VPC terpisah untuk NIC GPU, yang dikhususkan untuk komunikasi ber-bandwidth tinggi. Untuk mengetahui langkah-langkah mendetail tentang cara menyelesaikan konfigurasi ini, lihat Membuat VPC dan subnet.
A3 Tinggi dengan GPUDirect-TCPX: Mesin ini memerlukan empat VPC terpisah untuk NIC GPU, yang dikhususkan untuk komunikasi ber-bandwidth tinggi. Untuk mengetahui langkah-langkah mendetail tentang cara menyelesaikan konfigurasi ini, lihat Membuat VPC dan subnet.
Konfigurasi multi-VPC ini membantu memastikan bahwa operasi penyimpanan dan tugas sistem lainnya tidak bersaing untuk mendapatkan bandwidth dengan komunikasi GPU-ke-GPU yang penting.
Konfigurasi jaringan multi-VPC yang diperlukan yang harus Anda siapkan berbeda-beda berdasarkan jenis mesin GPU Anda. Untuk panduan mendetail tentang pengaturan jaringan, kecepatan bandwidth, dan NIC untuk semua jenis mesin GPU yang didukung, lihat Jaringan dan mesin GPU.
Diagram berikut menunjukkan arsitektur jaringan untuk mesin GPU yang dikelompokkan, yang menyoroti pemisahan traffic serbaguna dan traffic GPU-ke-GPU khusus ke bidang jaringan yang berbeda.
Seperti yang ditunjukkan dalam diagram sebelumnya, mesin GPU ini menggunakan jalur jaringan khusus untuk berbagai jenis traffic. Traffic tujuan umum, termasuk akses pengelolaan dan penyimpanan, mengalir melalui NIC Titanium Google yang terhubung ke VPC. Komunikasi GPU-ke-GPU berperforma tinggi menggunakan antarmuka jaringan dan VPC terpisah, yang dioptimalkan dengan teknologi seperti RDMA, sehingga membantu memastikan bandwidth tinggi dan latensi rendah untuk workload AI dan ML.
Library dan komponen jejaring
Untuk memaksimalkan bandwidth dan performa jaringan, library dan komponen jaringan berikut memungkinkan Anda menggunakan GPU dengan stack jaringan Google:
- gVNIC: NIC Virtual Google (gVNIC) adalah antarmuka jaringan virtual yang dirancang khusus untuk Compute Engine. gVNIC meningkatkan performa, meningkatkan konsistensi, dan membantu mengurangi masalah tetangga berisik. gVNIC direkomendasikan di semua kelompok mesin dan merupakan vNIC yang direkomendasikan untuk komunikasi host-ke-host. Untuk informasi selengkapnya, lihat Menggunakan NIC Virtual Google.
- NCCL: NVIDIA Collective Communications Library (NCCL) menyediakan primitive yang dioptimalkan untuk operasi komunikasi kolektif. NCCL dirancang khusus untuk lingkungan multi-GPU dan multi-node menggunakan GPU dan jaringan NVIDIA. Jalankan pengujian NCCL untuk mengevaluasi performa cluster yang di-deploy. Untuk mengetahui informasi selengkapnya, lihat Menguji performa jaringan.
- Multi-jaringan GKE: dukungan multi-jaringan untuk Pod memungkinkan beberapa antarmuka pada node dan Pod di cluster GKE. Untuk mengetahui detail cara menyiapkan multi-jaringan dalam konteks GPUDirect, lihat Memaksimalkan bandwidth jaringan GPU di cluster mode Standard dan Opsi konfigurasi cluster dengan GPUDirect RDMA.
Untuk mengetahui detail selengkapnya tentang stack software yang tersedia, lihat image OS dan Docker.
Langkah berikutnya
- Untuk mempelajari cara mengamankan deployment, lihat Praktik terbaik untuk menggunakan akun layanan.
- Untuk mempelajari cara memperkuat jaringan, lihat Aturan firewall VPC.
- Untuk mempelajari konektivitas akselerator lebih lanjut, lihat Ringkasan jaringan GPU.