Netzwerkdienste für Bereitstellungen

Die von Ihnen konfigurierten Netzwerkdienste hängen von der ausgewählten Bereitstellungsoption (VMs oder Cluster) und der Infrastruktur ab.

Dieses Dokument richtet sich an Architekten, Netzwerktechniker und Entwickler, die die Netzwerkdienste für ihre AI Hypercomputer-Bereitstellungen verstehen möchten. In diesem Dokument wird davon ausgegangen, dass Sie mit Cloud-Netzwerken und Konzepten für verteiltes Computing vertraut sind. Weitere Informationen zu Bereitstellungsoptionen finden Sie unter Bereitstellungsoptionen – Übersicht.

Ausführliche Informationen zu Netzwerkarchitektur, Protokollen und Hardwaretopologien finden Sie in der Übersicht zum GPU-Netzwerk.

Netzwerkfunktionen für KI-optimierte GKE-Bereitstellungen mit Cluster Toolkit

Wenn Sie einen KI-optimierten GKE-Cluster mit dem Cluster Toolkit erstellen, wird das Netzwerk im Blueprint so konfiguriert:

  • Der Blueprint verwendet das Standard-VPC-Netzwerk für den Haupt-GKE-Cluster.
  • Es werden zwei zusätzliche VPCs erstellt: eine für eine zweite Host-Netzwerkschnittstellenkarte (NIC) und eine weitere für den GPU-zu-GPU-RDMA-Traffic (Remote Direct Memory Access).
  • Der Blueprint wendet ein vorkonfiguriertes, von Google verwaltetes Netzwerkprofil auf die VPC an, die für GPU-Traffic verwendet wird. Mit diesem Profil wird das Netzwerk automatisch für RDMA-Leistung mit hoher Geschwindigkeit und niedriger Latenz konfiguriert.
  • Der Blueprint erstellt automatisch acht dedizierte Subnetze innerhalb der RDMA-VPC, eines für jede RDMA-NIC auf einer Beschleuniger-VM.
  • Es konfiguriert Firewallregeln, die den gesamten TCP-, UDP- und ICMP-Traffic zwischen Knoten im Cluster zulassen.

Netzwerkfunktionen für GKE-Deployments

Die Netzwerkkonfiguration für GKE-Einrichtungen hängt von Ihrem Arbeitslasttyp und Ihrer Infrastruktur ab:

  • Erstellen Sie für allgemeine GPUs oder nicht verteilte Arbeitslasten einen GKE-Cluster ohne GPUDirect RDMA. Bei dieser Konfiguration wird ein einzelnes VPC-Netzwerk für die gesamte Kommunikation verwendet.
  • Für gruppierte GPUs oder verteilte Arbeitslasten erstellen Sie einen GKE-Cluster mit aktiviertem GPUDirect RDMA. Diese Konfiguration verwendet eine Umgebung mit mehreren VPCs, in der der Traffic für allgemeine Zwecke von der GPU-zu-GPU-Kommunikation mit hoher Bandbreite getrennt wird.

Netzwerkfunktionen für Slurm-Clusterbereitstellungen

Mit dem Cluster Toolkit können Sie KI- und ML-Arbeitslasten über anpassbare Blueprints bereitstellen, z. B. für die A4- oder A3-Ultra-Serie.

Die Netzwerkkomponenten, die vom Blueprint für Slurm-Bereitstellungen mit geclusterten GPUs konfiguriert werden, sind:

  • Mit dem Blueprint werden drei separate VPCs erstellt: eine primäre VPC für die Slurm-Steuerungsebene, eine sekundäre VPC für den allgemeinen Traffic auf Hostebene und eine dedizierte leistungsstarke VPC für die GPU-zu-GPU-Kommunikation.
  • Für die GPU-Datenebene wird im Blueprint ein vorkonfiguriertes, von Google verwaltetes Netzwerkprofil angewendet, das für RoCE optimiert ist.
  • Im Blueprint wird ein dedizierter IP-Adressbereich festgelegt, der für den Filestore-Dienst erforderlich ist. Dieser Dienst stellt das freigegebene /home-Verzeichnis für den Cluster bereit.
  • Dabei wird eine temporäre, isolierte VPC für das Erstellen von Images erstellt, die nur während des Erstellens des benutzerdefinierten VM-Images für die Clusterknoten verwendet wird.

Netzwerk für Compute Engine-Instanzen

Mit Compute Engine können Sie eigenständige VMs, Bulk-Compute-Instanzen und verwaltete Instanzgruppen (MIGs) erstellen. Die spezifischen Netzwerkanforderungen hängen vom Infrastrukturmodell des Maschinentyps ab:

  • Clustered GPUs: Für diese Maschinenserien (A4X Max, A4X, A4, A3 Ultra, A3 Mega und A3 High mit 8 GPUs) ist eine Netzwerkkonfiguration mit mehreren VPCs erforderlich, um den allgemeinen Host-zu-Host-Traffic von der GPU-zu-GPU-Kommunikation mit hoher Bandbreite zu trennen.
  • Allgemeine GPUs: Diese Maschinenserien (G2, G4, A2 und N1 mit T4 oder V100) verwenden für die gesamte Kommunikation eine Single-VPC-Architektur über gVNIC-Schnittstellen. A3 Edge ist eine Ausnahme, für die vier Daten-VPCs und GPUDirect-TCPX erforderlich sind.

Ausführliche Informationen zu den NICs und der Netzwerkkonfiguration für Ihren Maschinentyp finden Sie unter Netzwerk und GPU-Maschinen.

Nächste Schritte