Profils réseau RDMA

Cette page présente les profils réseau RDMA (Remote Direct Memory Access) dans Google Cloud.

Présentation

Les profils de réseau RDMA vous permettent de créer des réseaux de cloud privé virtuel (VPC) qui fournissent une communication RDMA à faible latence et à bande passante élevée entre la mémoire ou les GPU des VM créées dans le réseau.

Les profils réseau RDMA sont utiles pour exécuter des charges de travail d'IA. Pour en savoir plus sur l'exécution de charges de travail d'IA dans Google Cloud, consultez la présentation d'AI Hypercomputer.

Vous pouvez créer les types de réseaux VPC suivants à l'aide de profils réseau RDMA :

Type de réseau VPC Nom de ressource du profil réseau Protocole Type de carte d'interface réseau compatible Types de machines compatibles
Réseau VPC Falcon (bêta) ZONE-vpc-falcon RDMA sur le transport Falcon IRDMA
Réseau VPC RoCE ZONE-vpc-roce RDMA over Converged Ethernet v2 (RoCE v2) MRDMA

Zones compatibles

Les profils réseau RDMA sont disponibles dans un nombre limité de zones. Vous ne pouvez créer un réseau VPC Falcon ou RoCE que dans une zone où le profil réseau correspondant est disponible.

Pour afficher les zones compatibles, consultez Lister les profils réseau.

Vous pouvez également afficher les zones compatibles avec le type de machine que vous souhaitez créer dans le réseau. Les profils réseau RDMA sont disponibles dans les mêmes zones que leurs types de machines compatibles. Pour en savoir plus, consultez les ressources suivantes :

Spécifications

Les réseaux VPC créés avec un profil réseau RDMA présentent les spécifications suivantes :

  • Contrainte zonale. Les ressources utilisant un réseau VPC avec un profil réseau RDMA sont limitées à la même zone que le profil réseau RDMA associé au réseau VPC lors de la création du réseau. Cette limite zonale a les effets suivants :

    • Toutes les instances disposant d'interfaces réseau dans le réseau VPC doivent être créées dans la zone correspondant à celle du profil réseau RDMA utilisé par le réseau VPC.

    • Tous les sous-réseaux créés dans le réseau VPC doivent se trouver dans la région qui contient la zone du profil de réseau RDMA utilisé par le réseau VPC.

  • Interfaces réseau RDMA uniquement : Un réseau VPC avec un profil réseau RDMA n'accepte les pièces jointes que provenant d'interfaces réseau spécifiques :

    • Les réseaux VPC Falcon n'acceptent que les interfaces réseau IRDMA, qui ne sont disponibles que sur la série de machines H4D.
    • Les réseaux VPC RoCE ne sont compatibles qu'avec les cartes d'interface réseau MRDMA, qui ne sont disponibles que sur les séries de machines A3 Ultra, A4 et A4X.

    Toutes les cartes d'interface réseau (NIC) non RDMA d'une instance de machine virtuelle (VM) doivent être associées à un réseau VPC standard.

  • MTU de 8 896 octets. Pour des performances optimales, nous recommandons une unité de transmission maximale (MTU) de 8896 octets pour les réseaux VPC avec un profil réseau RDMA. Cela permet au pilote RDMA du système d'exploitation invité de la VM d'utiliser des MTU plus petites si nécessaire.

    Si vous créez un réseau VPC avec un profil de réseau RDMA à l'aide de la gcloud CLI ou de l'API, la MTU par défaut est de 8896 octets. Si vous utilisez la console Google Cloud , vous devez définir la MTU sur 8896.

  • Différences entre les pare-feu Consultez les informations suivantes sur les différences de pare-feu dans les réseaux VPC avec un profil réseau RDMA :

    • Les réseaux VPC avec un profil réseau RDMA utilisent les règles de pare-feu implicites suivantes, qui sont différentes de celles utilisées par les réseaux VPC standards :

      • Sortie autorisée implicite
      • Autorisation d'entrée implicite

    • La compatibilité avec Cloud NGFW dépend du type de réseau VPC :

      • Les réseaux VPC RoCE n'acceptent que les stratégies de pare-feu réseau régionales de type "Stratégie de pare-feu RoCE". L'ensemble des paramètres des règles d'une stratégie de pare-feu de réseau régionale compatible est limité. Pour en savoir plus, consultez Cloud NGFW pour les réseaux VPC RoCE.
      • Les réseaux VPC Falcon ne sont pas compatibles avec la configuration des règles ou des stratégies Cloud NGFW.

  • Les tests de connectivité ne sont pas compatibles. Les tests de connectivité ne sont pas compatibles avec les réseaux VPC dotés d'un profil réseau RDMA.

  • Autres fonctionnalités du VPC Les réseaux VPC avec un profil réseau RDMA sont compatibles avec un ensemble limité d'autres fonctionnalités VPC. Pour en savoir plus, consultez la section Fonctionnalités compatibles et non compatibles.

Fonctionnalités compatibles et non compatibles

Le tableau suivant indique les fonctionnalités VPC compatibles avec les réseaux VPC dotés d'un profil réseau RDMA.

Fonctionnalité Compatible Propriété de profil réseau Valeur de la propriété du profil réseau Détails
Cartes d'interface réseau RDMA interfaceTypes MRDMA ou IRDMA

Les réseaux VPC avec un profil réseau RDMA ne sont compatibles qu'avec le type de carte d'interface réseau correspondant au profil réseau RDMA :

  • IRDMA pour les réseaux VPC Falcon
  • MRDMA pour les réseaux VPC RoCE

Les autres types de cartes réseau, tels que GVNIC ou VIRTIO_NET, ne sont pas acceptés.
Plusieurs cartes d'interface réseau sur le même réseau allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

Les réseaux VPC avec un profil réseau RDMA sont compatibles avec les VM à plusieurs cartes d'interface réseau, ce qui permet à deux cartes d'interface réseau RDMA ou plus de la même VM de se trouver dans le même réseau VPC. Chaque carte d'interface réseau doit être associée à un sous-réseau unique du réseau VPC.

Consultez également Remarques sur les réseaux VPC RoCE à plusieurs cartes d'interface réseau.
Sous-réseaux IPv4 uniquement subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

Les réseaux VPC avec un profil réseau RDMA sont compatibles avec les sous-réseaux IPv4 uniquement, y compris les mêmes plages IPv4 valides que les réseaux VPC standards.

Les réseaux VPC avec un profil réseau RDMA ne sont pas compatibles avec les sous-réseaux à double pile ni IPv6 uniquement. Pour en savoir plus, consultez Types de sous-réseaux.
Objectif du sous-réseau PRIVATE subnetworkPurposes SUBNET_PURPOSE_PRIVATE

Les réseaux VPC avec un profil réseau RDMA sont compatibles avec les sous-réseaux standards, dont la valeur de l'attribut purpose est PRIVATE.

Les réseaux VPC avec un profil réseau RDMA ne sont pas compatibles avec les sous-réseaux Private Service Connect, les sous-réseaux réservés aux proxys ni les sous-réseaux NAT privés. Pour en savoir plus, consultez Objectifs des sous-réseaux.
Finalité de l'adresse GCE_ENDPOINT addressPurposes GCE_ENDPOINT

Les réseaux VPC avec un profil réseau RDMA sont compatibles avec les adresses IP dont la valeur d'attribut purpose est GCE_ENDPOINT, qui est utilisée par les adresses IP internes des cartes d'interface réseau de VM.

Les réseaux VPC avec un profil réseau RDMA ne sont pas compatibles avec les adresses IP à usage spécial, telles que l'objectif SHARED_LOADBALANCER_VIP. Pour en savoir plus, consultez la documentation de référence sur la ressource addresses.
Pièces jointes de nic0 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED Les réseaux VPC avec un profil réseau RDMA ne permettent pas d'associer les interfaces réseau nic0 d'une VM au réseau. Chaque carte d'interface réseau RDMA associée au réseau VPC ne doit pas être nic0.
Adresses IP externes pour les VM allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED Les réseaux VPC avec un profil réseau RDMA n'acceptent pas l'attribution d'adresses IP externes aux cartes d'interface réseau RDMA. Par conséquent, les cartes d'interface réseau RDMA n'ont pas accès à Internet.
Interfaces réseau dynamiques allowSubInterfaces SUBINTERFACES_BLOCKED Les réseaux VPC avec un profil réseau RDMA ne sont pas compatibles avec les cartes d'interface réseau dynamiques.
Plages d'adresses IP d'alias allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED Les réseaux VPC avec un profil réseau RDMA ne permettent pas d'attribuer des plages d'adresses IP d'alias aux cartes d'interface réseau RDMA.
Transfert IP allowIpForwarding IP_FORWARDING_BLOCKED Les réseaux VPC avec un profil réseau RDMA ne sont pas compatibles avec le transfert d'adresse IP.
Migration de réseau de VM allowNetworkMigration NETWORK_MIGRATION_BLOCKED Les réseaux VPC avec un profil réseau RDMA ne sont pas compatibles avec la migration des cartes d'interface réseau de VM entre les réseaux.
Mode automatique allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED Les réseaux VPC avec un profil réseau RDMA ne peuvent pas être des réseaux en mode automatique. Pour en savoir plus, consultez la section Mode de création du sous-réseau.
Appairage de réseaux VPC allowVpcPeering VPC_PEERING_BLOCKED Les réseaux VPC avec un profil réseau RDMA ne sont pas compatibles avec la connexion à d'autres réseaux VPC à l'aide de l'appairage de réseaux VPC. Par conséquent, les réseaux VPC avec un profil réseau RDMA ne permettent pas de se connecter aux services à l'aide de l'accès aux services privés.
Routes statiques allowStaticRoutes STATIC_ROUTES_BLOCKED Les réseaux VPC avec un profil réseau RDMA ne sont pas compatibles avec les routes statiques.
Mise en miroir de paquets allowPacketMirroring PACKET_MIRRORING_BLOCKED Les réseaux VPC avec un profil réseau RDMA ne sont pas compatibles avec la mise en miroir de paquets.
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED Les réseaux VPC avec un profil réseau RDMA ne sont pas compatibles avec Cloud NAT.
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED Les réseaux VPC avec un profil réseau RDMA ne sont pas compatibles avec les routeurs Cloud ni les routes dynamiques.
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED Les réseaux VPC avec un profil réseau RDMA ne sont pas compatibles avec les rattachements de VLAN Cloud Interconnect.
Cloud VPN allowVpn VPN_BLOCKED Les réseaux VPC avec un profil réseau RDMA ne sont pas compatibles avec les tunnels Cloud VPN.
Network Connectivity Center allowNcc NCC_BLOCKED Les réseaux VPC avec un profil réseau RDMA ne sont pas compatibles avec Network Connectivity Center. Vous ne pouvez pas ajouter un réseau VPC avec un profil réseau RDMA en tant que spoke VPC à un hub Network Connectivity Center.
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED Les réseaux VPC avec un profil réseau RDMA ne sont pas compatibles avec Cloud Load Balancing. Par conséquent, les réseaux VPC avec un profil réseau RDMA ne sont pas compatibles avec les fonctionnalités d'équilibrage de charge, y compris Google Cloud Armor.
Accès privé à Google allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED Les réseaux VPC avec un profil réseau RDMA ne sont pas compatibles avec l'accès privé à Google.
Private Service Connect allowPsc PSC_BLOCKED Les réseaux VPC avec un profil réseau RDMA ne sont pas compatibles avec Private Service Connect.

Considérations concernant les cartes d'interface réseau multiples pour le réseau VPC RoCE

Pour prendre en charge les charges de travail qui bénéficient de la communication GPU à GPU entre rails, les réseaux VPC RoCE sont compatibles avec les VM disposant de plusieurs cartes d'interface réseau MRDMA dans le réseau. Chaque carte d'interface réseau MRDMA doit se trouver dans un sous-réseau unique. Placer deux cartes d'interface réseau MRDMA ou plus dans le même réseau VPC RoCE peut affecter les performances du réseau, y compris en augmentant la latence. Les cartes d'interface réseau utilisent NCCL.MRDMA NCCL tente d'aligner tous les transferts réseau, même pour les communications inter-rails. Par exemple, il utilise PXN pour copier des données via NVLink vers un GPU aligné sur un rail avant de les transférer sur le réseau.

Étapes suivantes