פרופילי רשת RDMA

בדף הזה מובאת סקירה כללית על פרופילי רשת של גישה ישירה לזיכרון מרוחק (RDMA) ב- Google Cloud.

סקירה כללית

פרופילים של רשתות RDMA מאפשרים ליצור רשתות של ענן וירטואלי פרטי (VPC) שמספקות תקשורת RDMA עם חביון נמוך ורוחב פס גבוה בין הזיכרון או המעבדים הגרפיים של מופעי Compute Engine שנוצרו ברשת.

פרופילים של רשת RDMA שימושיים להרצת עומסי עבודה של AI. למידע נוסף על הפעלת עומסי עבודה של AI ב- Google Cloud, אפשר לעיין במאמר סקירה כללית של AI Hypercomputer.

אפשר ליצור את הסוגים הבאים של רשתות VPC באמצעות פרופילי רשת RDMA:

סוג רשת VPC פרוטוקול שם המשאב של פרופיל הרשת סוגי מכונות סוג ה-NIC
רשת VPC של Falcon RDMA over Falcon transport ZONE-vpc-falcon H4D IRDMA
רשת VPC של RoCE RDMA over converged ethernet v2 (RoCE v2)

למכונות וירטואליות:
ZONE-vpc-roce

למופעי Bare Metal:
ZONE-vpc-roce-metal

מכונה וירטואלית:
A3 Ultra, A4, A4X

Bare metal:
A4X Max

MRDMA

אזורים נתמכים

פרופילי רשת RDMA זמינים בקבוצה מוגבלת של אזורים. אפשר ליצור רשת VPC של Falcon או רשת VPC של RoCE רק באזור שבו פרופיל הרשת המתאים זמין.

רשימת האזורים הנתמכים מופיעה במאמר בנושא הצגת פרופילים של רשתות.

אפשר גם לראות את האזורים הנתמכים לסוג המכונה שרוצים ליצור ברשת. פרופילי רשת RDMA זמינים באותם אזורים שבהם זמינים סוגי המכונות הנתמכים. למידע נוסף, קראו את המאמרים הבאים:

מפרטים

רשתות VPC שנוצרות עם פרופיל רשת RDMA כוללות את המפרטים הבאים:

  • הגבלה אזורית. המשאבים שמשתמשים ברשת VPC עם פרופיל רשת RDMA מוגבלים לאותו אזור כמו פרופיל רשת ה-RDMA שמשויך לרשת ה-VPC במהלך יצירת הרשת. למגבלה האזורית הזו יש את ההשפעות הבאות:

    • כל המכונות שיש להן ממשקי רשת ברשת ה-VPC חייבות להיווצר באזור שתואם לאזור של פרופיל רשת ה-RDMA שבו נעשה שימוש ברשת ה-VPC.

    • כל רשתות המשנה שנוצרות ברשת ה-VPC צריכות להיות ממוקמות באזור שמכיל את האזור של פרופיל רשת ה-RDMA שמשמש את רשת ה-VPC.

  • RDMA network interfaces only. רשת VPC עם פרופיל רשת RDMA תומכת בצירוף רק מממשקי רשת ספציפיים:

    • רשתות Falcon VPC תומכות רק בIRDMA ממשקי רשת (NIC).
    • רשתות RoCE VPC תומכות רק בMRDMA כרטיסי רשת.

    כל כרטיסי ה-NIC שאינם RDMA של מכונה צריכים להיות מצורפים לרשת VPC רגילה.

  • 8896 byte MTU. כדי לקבל את הביצועים הכי טובים, מומלץ להשתמש ביחידת שידור מקסימלית (MTU) של 8896 בייטים ברשתות VPC עם פרופיל רשת RDMA. הפעולה הזו מאפשרת לדרייבר של RDMA במערכת ההפעלה האורחת של המופע להשתמש ב-MTU קטנים יותר אם צריך.

    אם יוצרים רשת VPC עם פרופיל רשת RDMA, ‏ 8896 בייט הוא ה-MTU שמוגדר כברירת מחדל.

  • הבדלים בחומת האש. בהמשך מפורט מידע על ההבדלים בחומות אש ברשתות VPC עם פרופיל רשת RDMA:

    • רשתות VPC עם פרופיל רשת RDMA משתמשות בכללי חומת האש המשתמעים הבאים, ששונים מכללי חומת האש המשתמעים שבהם משתמשות רשתות VPC רגילות:

      • יציאה מרומזת מותרת
      • הרשאה משתמעת לכניסת תנועה
    • התמיכה ב-Cloud NGFW תלויה בסוג רשת ה-VPC:

      • לגבי רשתות RoCE VPC, אפשר לעיין במאמרים הבאים:

        • רשתות VPC של RoCE למכונות וירטואליות תומכות רק במדיניות אזורית של חומת אש ברשת, עם סוג מדיניות חומת אש של RoCE. קבוצת הפרמטרים לכללים במדיניות חומת אש אזורית נתמכת מוגבלת. מידע נוסף זמין במאמר Cloud NGFW לרשתות VPC של RoCE.
        • רשתות VPC של RoCE למכונות Bare Metal לא תומכות בהגדרת כללים או מדיניות של Cloud NGFW.
      • רשתות Falcon VPC לא תומכות בהגדרת כללים או מדיניות של Cloud NGFW.

  • אין תמיכה בבדיקות קישוריות. בדיקות קישוריות לא תומכות ברשתות VPC עם פרופיל רשת RDMA.

  • תכונות אחרות של VPC. רשתות VPC עם פרופיל רשת RDMA תומכות בקבוצה מוגבלת של תכונות אחרות של VPC. מידע נוסף זמין בקטע תכונות נתמכות ולא נתמכות.

תכונות נתמכות ותכונות שלא נתמכות

בקטעים הבאים מפורטות התכונות של VPC שנתמכות ושלא נתמכות בכל סוג של רשת VPC שאפשר ליצור באמצעות פרופיל רשת RDMA:

רשתות Falcon VPC (falcon)

בטבלה הבאה מפורטות התכונות שנתמכות ברשתות Falcon VPC, שנוצרות באמצעות falcon פרופיל הרשת.

תכונה נתמך מאפיין פרופיל הרשת ערך מאפיין של פרופיל רשת פרטים
כרטיסי NIC של RDMA interfaceTypes IRDMA

רשתות Falcon VPC תומכות רק ב-IRDMA כרטיסי NIC

אין תמיכה בסוגים אחרים של כרטיסי רשת, כמו MRDMA, GVNIC ו-VIRTIO_NET.

כמה כרטיסי רשת באותה רשת allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

רשתות Falcon VPC תומכות במכונות עם כמה כרטיסי NIC, ומאפשרות לשני כרטיסי NIC מסוג RDMA או יותר של אותה מכונה להיות באותה רשת VPC. כל כרטיס NIC צריך להיות מצורף לתת-רשת ייחודית ברשת ה-VPC.

תת-רשתות עם כתובות IPv4 בלבד subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

רשתות Falcon VPC תומכות ברשתות משנה מסוג IPv4 בלבד, כולל אותם טווחים תקפים של IPv4 כמו ברשתות VPC רגילות.

רשתות Falcon VPC לא תומכות בסטאק כפול או ברשתות משנה מסוג IPv6 בלבד. מידע נוסף זמין במאמר בנושא סוגים של רשתות משנה.

PRIVATE מטרת רשת המשנה subnetworkPurposes SUBNET_PURPOSE_PRIVATE

רשתות Falcon VPC תומכות ברשתות משנה רגילות, שערך המאפיין שלהן הוא purpose.PRIVATE

רשתות VPC של Falcon לא תומכות ברשתות משנה של Private Service Connect, ברשתות משנה של proxy בלבד או ברשתות משנה של Private NAT. מידע נוסף זמין במאמר בנושא מטרות של רשתות משנה.

GCE_ENDPOINT כתובת addressPurposes GCE_ENDPOINT

רשתות Falcon VPC תומכות בכתובות IP עם ערך המאפיין purpose של GCE_ENDPOINT, שמשמש כתובות IP פנימיות של כרטיסי רשת של מכונות.

רשתות Falcon VPC לא תומכות בכתובות IP למטרות מיוחדות, כמו המטרה SHARED_LOADBALANCER_VIP. מידע נוסף זמין במאמר הפניה למשאב addresses.

ממשקי Private Service Connect allowPscInterface PSC_INTERFACE_ALLOWED

רשתות Falcon VPC תומכות בקבצים מצורפים לרשת ובחיבורים מממשקי Private Service Connect וירטואליים.

ממשקי רשת דינמיים allowSubInterfaces SUBINTERFACES_BLOCKED רשתות Falcon VPC לא תומכות בכרטיסי רשת דינמיים.
קבצים מצורפים מ-nic0 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED ברשתות Falcon VPC אין תמיכה בצירוף של nic0 ממשק הרשת של מופע לרשת. כל כרטיס רשת RDMA שמצורף לרשת ה-VPC לא יכול להיות nic0.
כתובות IP חיצוניות למכונות allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED רשתות Falcon VPC לא תומכות בהקצאה של כתובות IP חיצוניות לכרטיסי רשת מסוג RDMA. לכן, לכרטיסי RDMA NIC אין גישה לאינטרנט.
טווחי IP של כתובות אימייל חלופיות allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED רשתות Falcon VPC לא תומכות בהקצאה של טווחי כתובות IP של כינוי לכרטיסי רשת של RDMA.
העברת IP allowIpForwarding IP_FORWARDING_BLOCKED רשתות Falcon VPC לא תומכות בהעברת IP.
העברת רשת של מכונה allowNetworkMigration NETWORK_MIGRATION_BLOCKED רשתות Falcon VPC לא תומכות בהעברת כרטיסי רשת של מכונות בין רשתות.
מצב אוטומטי allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED רשתות Falcon VPC לא יכולות להיות רשתות במצב אוטומטי. מידע נוסף זמין במאמר בנושא מצב יצירת רשתות משנה.
קישור בין רשתות VPC שכנות (peering) allowVpcPeering VPC_PEERING_BLOCKED רשתות Falcon VPC לא תומכות בחיבור לרשתות VPC אחרות באמצעות קישור בין רשתות VPC שכנות. לכן, רשתות Falcon VPC לא תומכות בחיבור לשירותים באמצעות גישה לשירותים פרטיים.
מסלולים סטטיים allowStaticRoutes STATIC_ROUTES_BLOCKED רשתות Falcon VPC לא תומכות במסלולים סטטיים.
רפליקציה של חבילות נתונים allowPacketMirroring PACKET_MIRRORING_BLOCKED רשתות Falcon VPC לא תומכות ב-Packet Mirroring.
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED רשתות Falcon VPC לא תומכות ב-Cloud NAT.
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED רשתות Falcon VPC לא תומכות ב-Cloud Routers ובמסלולים דינמיים.
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED רשתות Falcon VPC לא תומכות בצירופי VLAN של Cloud Interconnect.
Cloud VPN allowVpn VPN_BLOCKED רשתות VPC של Falcon לא תומכות במנהרות Cloud VPN.
Network Connectivity Center allowNcc NCC_BLOCKED רשתות Falcon VPC לא תומכות ב-NCC. אי אפשר להוסיף רשת Falcon VPC בתור רשת VPC מסוג Spoke לרשת NCC מסוג Hub.
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED רשתות Falcon VPC לא תומכות ב-Cloud Load Balancing. לכן, רשתות Falcon VPC לא תומכות בתכונות של איזון עומסים, כולל Google Cloud Armor.
גישה פרטית ל-Google allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED רשתות VPC של Falcon לא תומכות בגישה פרטית ל-Google.
התחברות לשירות פרטי allowPsc PSC_BLOCKED רשתות VPC של Falcon לא תומכות ב-Private Service Connect, בשירותים שפורסמו, בנקודות קצה או בבק-אנדים.

רשתות VPC של RoCE למכונות וירטואליות (roce)

בטבלה הבאה מפורטות התכונות שרשתות RoCE VPC תומכות בהן עבור מכונות וירטואליות שנוצרות באמצעות roce פרופיל הרשת.

תכונה נתמך מאפיין פרופיל הרשת ערך מאפיין של פרופיל רשת פרטים
כרטיסי NIC של RDMA interfaceTypes MRDMA

רשתות VPC של RoCE למכונות וירטואליות תומכות רק ב-MRDMA NICs

אין תמיכה בסוגים אחרים של כרטיסי רשת, כמו IRDMA, GVNIC ו-VIRTIO_NET.

כמה כרטיסי רשת באותה רשת allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

רשתות VPC של RoCE למכונות וירטואליות תומכות במכונות עם כמה מתאמי NIC, ומאפשרות לשני מתאמי NIC של RDMA או יותר של אותה מכונה להיות באותה רשת VPC. כל כרטיס NIC צריך להיות מצורף לתת-רשת ייחודית ברשת ה-VPC.

אפשר לעיין גם במאמר שיקולים לגבי רשתות VPC של RoCE עם כמה כרטיסי NIC.

תת-רשתות עם כתובות IPv4 בלבד subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

רשתות VPC של RoCE למכונות וירטואליות תומכות בתת-רשתות IPv4 בלבד, כולל אותם טווחים תקפים של IPv4 כמו ברשתות VPC רגילות.

רשתות VPC של RoCE למכונות וירטואליות לא תומכות ברשתות משנה עם פרוטוקול כפול או IPv6 בלבד. מידע נוסף זמין במאמר בנושא סוגים של רשתות משנה.

PRIVATE מטרת רשת המשנה subnetworkPurposes SUBNET_PURPOSE_PRIVATE

רשתות VPC של RoCE למכונות וירטואליות תומכות ברשתות משנה רגילות, שערך המאפיין שלהן purpose הוא PRIVATE.

רשתות VPC של RoCE למכונות וירטואליות לא תומכות ברשתות משנה של Private Service Connect, ברשתות משנה של proxy בלבד או ברשתות משנה של Private NAT. מידע נוסף זמין במאמר בנושא מטרות של רשתות משנה.

מטרה אחת (GCE_ENDPOINT) addressPurposes GCE_ENDPOINT

רשתות VPC של RoCE למכונות וירטואליות תומכות בכתובות IP עם ערך המאפיין purpose של GCE_ENDPOINT, שמשמש כתובות IP פנימיות של כרטיסי רשת של מכונות.

רשתות VPC של RoCE למכונות וירטואליות לא תומכות בכתובות IP למטרות מיוחדות, כמו SHARED_LOADBALANCER_VIP. מידע נוסף זמין במאמר הפניה למשאב addresses.

טווחי IP של כתובות אימייל חלופיות allowAliasIpRanges ALIAS_IP_RANGES_ALLOWED

רשתות VPC של RoCE למכונות וירטואליות תומכות בהקצאה של טווחים של כתובות IP עם כינוי לכרטיסי רשת של MRDMA.

מידע נוסף זמין במאמר שיקולים לגבי רשתות RoCE VPC בסקירה הכללית על טווחים של כתובות IP וירטואליות.

קבצים מצורפים מ-nic0 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות בצירוף של nic0 ממשקי הרשת של מכונה לרשת. כל כרטיס רשת RDMA שמצורף לרשת ה-VPC לא יכול להיות nic0.
כתובות IP חיצוניות למכונות allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED ברשתות VPC של RoCE למכונות וירטואליות אין תמיכה בהקצאה של כתובות IP חיצוניות לכרטיסי רשת של RDMA. לכן, לכרטיסי RDMA NIC אין גישה לאינטרנט.
ממשקי רשת דינמיים allowSubInterfaces SUBINTERFACES_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות בכרטיסי רשת דינמיים.
ממשקי Private Service Connect allowPscInterface PSC_INTERFACE_BLOCKED

רשתות VPC של RoCE לא תומכות בקבצים מצורפים לרשת או בחיבורים מממשקי Private Service Connect.

העברת IP allowIpForwarding IP_FORWARDING_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות בהעברת IP.
העברה של רשתות מופעים allowNetworkMigration NETWORK_MIGRATION_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות בהעברת כרטיסי רשת של מכונות וירטואליות בין רשתות.
מצב אוטומטי allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא יכולות להיות רשתות במצב אוטומטי. מידע נוסף זמין במאמר בנושא מצב יצירת רשתות משנה.
קישור בין רשתות VPC שכנות (peering) allowVpcPeering VPC_PEERING_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות בחיבור לרשתות VPC אחרות באמצעות קישור בין רשתות VPC שכנות. לכן, רשתות VPC של RoCE למכונות וירטואליות לא תומכות בחיבור לשירותים באמצעות גישה לשירותים פרטיים.
מסלולים סטטיים allowStaticRoutes STATIC_ROUTES_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות במסלולים סטטיים.
רפליקציה של חבילות נתונים allowPacketMirroring PACKET_MIRRORING_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות ב-רפליקציה של חבילות נתונים.
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות ב-Cloud NAT.
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות ב-Cloud Routers ובנתיבים דינמיים.
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות בצירופי VLAN של Cloud Interconnect.
Cloud VPN allowVpn VPN_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות במנהרות Cloud VPN.
Network Connectivity Center allowNcc NCC_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות ב-NCC. אי אפשר להוסיף רשת VPC עם פרופיל רשת RDMA כרשת VPC מסוג Spoke לרכזת NCC.
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED רשתות VPC של RoCE למכונות וירטואליות לא תומכות ב-Cloud Load Balancing. לכן, רשתות VPC של RoCE למכונות וירטואליות לא תומכות בתכונות של מאזן עומסים,כולל Google Cloud Armor.
גישה פרטית ל-Google allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED רשתות VPC של RoCE עבור מופעי מכונות וירטואליות לא תומכות בגישה פרטית ל-Google.
התחברות לשירות פרטי allowPsc PSC_BLOCKED רשתות VPC של RoCE לא תומכות ב-Private Service Connect, בשירותים שפורסמו, בנקודות קצה או בבק-אנדים.

רשתות VPC של RoCE למכונות בשרת פיזי (roce-metal)

בטבלה הבאה מפורטות התכונות שנתמכות ברשתות VPC של RoCE למכונות Bare Metal, שנוצרות באמצעות roce-metal פרופיל הרשת.

בנוסף למאפיינים שמתוארים בטבלה, יש גם מגבלות שחלות על מופעי Bare Metal של GPU:

  • אי אפשר להשתמש ביציאות ה-UDP הבאות במופעי bare metal של GPU ברשתות RoCE VPC כי הן שמורות על ידי Google Cloud: 3882-3895 ו-13882-13895.
  • במכונות Bare Metal עם GPU אי אפשר להשתמש בטווח כתובות IPv6 link-local הבא, כי הוא שמור על ידי Google Cloud: fe80::badd:c0de:cafe:0/120.
תכונה נתמך מאפיין פרופיל הרשת ערך מאפיין של פרופיל רשת פרטים
כרטיסי NIC של RDMA interfaceTypes MRDMA

רשתות VPC של RoCE למכונות Bare Metal תומכות רק ב-MRDMA NICs

אין תמיכה בסוגים אחרים של כרטיסי רשת, כמו IRDMA, GVNIC ו-VIRTIO_NET.

כמה כרטיסי רשת באותה רשת allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

רשתות VPC של RoCE למכונות Bare Metal תומכות במכונות עם כמה כרטיסי NIC, ומאפשרות לשני כרטיסי NIC או יותר של RDMA באותה מכונה להיות באותה רשת VPC.

אפשר לעיין גם במאמר שיקולים לגבי רשתות VPC של RoCE עם כמה כרטיסי NIC.

כמה כרטיסי NIC באותה תת-רשת allowMultiNicInSameSubnetwork MULTI_NIC_IN_SAME_SUBNETWORK_ALLOWED

רשתות VPC של RoCE למכונות Bare Metal תומכות במכונות עם כמה כרטיסי NIC, ומאפשרות לשני כרטיסי NIC או יותר של RDMA באותה מכונה להיות באותה רשת משנה של רשת VPC.

אפשר לעיין גם במאמר שיקולים לגבי רשתות VPC של RoCE עם כמה כרטיסי NIC.

טווח IPv6 ULA מוגדר מראש של הרשת predefinedNetworkInternalIpv6Range ULA_IPV6_RANGE

רשתות VPC של RoCE למכונות Bare Metal תומכות ב-IPv6 פנימי ויש להן טווח /48 כתובות מקומיות ייחודיות (ULA) מוגדר מראש.

הטווח המוגדר מראש מסופק על ידי Google Cloud לכל מופע של פרופיל רשת ולא ניתן להגדרה.

תת-רשת אחת עם IPv6 בלבד subnetworkStackTypes SUBNET_STACK_TYPE_IPV6_ONLY

רשתות RoCE VPC למכונות Bare Metal תומכות ברשת משנה אחת עם IPv6 בלבד, שמוקצית באופן אוטומטי ומשתמשת בטווח מוגדר מראש של רשתות משנה מסוג IPv6 ובכלל למתן שמות, כפי שמתואר בשורה הבאה בטבלה.

רשתות VPC של RoCE למכונות Bare Metal לא תומכות בתת-רשתות עם פרוטוקול כפול או עם IPv4 בלבד, או ביצירה של תת-רשתות נוספות עם IPv6 בלבד. מידע נוסף זמין במאמר בנושא סוגים של רשתות משנה.

טווח רשת משנה של IPv6 שמוגדר מראש ותחילית שם predefinedSubnetworkRanges ipv6Range: ULA_IPV6_RANGE

namePrefix: default-subnet-1

רשתות VPC של RoCE למכונות Bare Metal כוללות תת-רשת אחת שמוקצית באופן אוטומטי וכוללת את המאפיינים הבאים:

  • רשת המשנה משתמשת בטווח IPv6 מוגדר מראש שתואם בדיוק לטווח /48 של הרשת./48
  • תת-הרשת משתמשת בפורמט השמות הבא: default-subnet-1-NETWORK_NAME, כאשר default-subnet-1-NETWORK_NAME הוא השם שסיפקתם כשנוצרה הרשת.NETWORK_NAME
PRIVATE מטרת רשת המשנה subnetworkPurposes SUBNET_PURPOSE_PRIVATE

רשתות RoCE VPC למכונות Bare Metal תומכות ברשתות משנה רגילות, שערך המאפיין שלהן purpose הוא PRIVATE.

רשתות VPC של RoCE למכונות Bare Metal לא תומכות ברשתות משנה של Private Service Connect, ברשתות משנה של Proxy בלבד או ברשתות משנה של Private NAT. מידע נוסף זמין במאמר בנושא מטרות של רשתות משנה.

מטרה אחת (GCE_ENDPOINT) addressPurposes GCE_ENDPOINT

רשתות VPC של RoCE למכונות Bare Metal תומכות בכתובות IP עם ערך המאפיין purpose של GCE_ENDPOINT, שמשמש כתובות IP פנימיות של כרטיסי רשת של מכונות.

רשתות VPC של RoCE למכונות Bare Metal לא תומכות בכתובות IP למטרות מיוחדות, כמו המטרה SHARED_LOADBALANCER_VIP. מידע נוסף זמין במאמר הפניה למשאב addresses.

יצירת רשת משנה allowSubnetworkCreation SUBNETWORK_CREATION_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות ביצירת רשתות משנה ברשת.
קבצים מצורפים מ-nic0 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות בצירוף של nic0ממשקי הרשת של מכונה לרשת. כל כרטיס רשת RDMA שמצורף לרשת ה-VPC לא יכול להיות nic0.
כתובות IP סטטיות למופעים allowAddressCreation ADDRESS_CREATION_BLOCKED

ברשתות VPC של RoCE למכונות Bare Metal אין תמיכה בשמירת כתובות IP פנימיות או חיצוניות סטטיות, או בהגדרת כתובות IP פנימיות או חיצוניות סטטיות למכונות.

כתוצאה מכך, מכונות ברשת יכולות להשתמש רק בכתובות IP פנימיות ארעיות.

כתובות IP חיצוניות למכונות allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED רשתות RoCE VPC למכונות Bare Metal לא תומכות בהקצאה של כתובות IP חיצוניות, סטטיות או ארעיות, לכרטיסי RDMA NIC. לכן, לכרטיסי RDMA NIC אין גישה לאינטרנט.
ממשקי רשת דינמיים allowSubInterfaces SUBINTERFACES_BLOCKED רשתות RoCE VPC למקרים של Bare Metal לא תומכות בכרטיסי רשת דינמיים.
ממשקי Private Service Connect allowPscInterface PSC_INTERFACE_BLOCKED

רשתות VPC של RoCE לא תומכות בקבצים מצורפים לרשת או בחיבורים מממשקי Private Service Connect.

טווחי IP של כתובות אימייל חלופיות allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED רשתות RoCE VPC למכונות Bare Metal לא תומכות בהקצאה של טווחים של כתובות IP עם כינוי לכרטיסי רשת של RDMA.
העברת IP allowIpForwarding IP_FORWARDING_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות בהעברת IP.
העברת רשת של מכונה allowNetworkMigration NETWORK_MIGRATION_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות בהעברת כרטיסי רשת של מכונות בין רשתות.
מצב אוטומטי allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא יכולות להיות רשתות במצב אוטומטי. מידע נוסף זמין במאמר בנושא מצב יצירת רשתות משנה.
קישור בין רשתות VPC שכנות (peering) allowVpcPeering VPC_PEERING_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות בחיבור לרשתות VPC אחרות באמצעות קישור בין רשתות VPC שכנות. לכן, רשתות VPC של RoCE למכונות Bare Metal לא תומכות בחיבור לשירותים באמצעות גישה לשירותים פרטיים.
מסלולים סטטיים allowStaticRoutes STATIC_ROUTES_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות בניתוב סטטי.
כללי חומת אש ב-VPC allowVpcFirewallRules VPC_FIREWALL_RULES_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות בכללים של חומת אש ב-VPC.
מדיניות חומת אש allowFirewallPolicy FIREWALL_POLICY_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות במדיניות חומת אש.
רפליקציה של חבילות נתונים allowPacketMirroring PACKET_MIRRORING_BLOCKED רשתות RoCE VPC למקרים של Bare Metal לא תומכות ב-Packet Mirroring.
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות ב-Cloud NAT.
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות ב-Cloud Routers ובנתיבים דינמיים.
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות בצירופי VLAN של Cloud Interconnect.
Cloud VPN allowVpn VPN_BLOCKED רשתות VPC מסוג RoCE למכונות Bare Metal לא תומכות במנהרות Cloud VPN.
Network Connectivity Center allowNcc NCC_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות ב-NCC. אי אפשר להוסיף רשת RoCE VPC כרשת Spoke של VPC לרכזת NCC.
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות ב-Cloud Load Balancing. לכן, רשתות VPC של RoCE למקרים של bare metal לא תומכות בתכונות של מאזן עומסים, כולל Google Cloud Armor.
גישה פרטית ל-Google allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED רשתות VPC של RoCE למופעי Bare Metal לא תומכות בגישה פרטית ל-Google.
התחברות לשירות פרטי allowPsc PSC_BLOCKED רשתות VPC של RoCE למכונות Bare Metal לא תומכות בשירותים שפורסמו, בנקודות קצה או בשרתי קצה עורפיים של Private Service Connect.

שיקולים לגבי כרטיסי NIC מרובים ברשתות VPC של RoCE

כדי לתמוך בעומסי עבודה שמרוויחים מתקשורת בין יחידות GPU שחוצות מסילות, רשתות RoCE VPC תומכות במופעים שיש להם כמה כרטיסי NIC‏ MRDMA ברשת. הצבת שני כרטיסי NIC או יותר באותה רשת VPC של RoCE עשויה להשפיע על ביצועי הרשת, כולל הגדלת זמן האחזור.MRDMA MRDMA כרטיסי NIC משתמשים ב-NCCL. ‫NCCL מנסה ליישר את כל ההעברות ברשת, גם עבור תקשורת בין מסילות. לדוגמה, היא משתמשת ב-PXN כדי להעתיק נתונים דרך NVlink ל-GPU בארכיטקטורת rail-aligned לפני שהיא מעבירה אותם ברשת.

מגבלת מספר החיבורים לרשתות VPC של RoCE

לרשת VPC מסוג RoCE יש את מגבלת המערכת הבאה:

פריט הגבלה הערות
מספר החיבורים המקסימלי 20,000

המספר המקסימלי של חיבורים דרך MRDMA vNICs לכל 2-tuple (כתובת IP של המקור, כתובת IP של היעד).

חיבור נוצר כשכתובת IP של מקור וכתובת IP של יעד מתקשרות בפעם הראשונה. עבור 2-tuple נתון, כמה זוגות של תורי קבלה ושליחה משתפים את החיבור.

לדוגמה, נניח של-instance-a ול-instance-b יש 8 כרטיסי רשת וירטואליים (vNIC) מסוג MRDMA, ולכל אחד מהם יש 2 כתובות IP שניתנות לניתוב:

  • מספר החיבורים ההתחלתי הוא 0.
  • כשכתובת ה-IP הראשונה ב-vNIC הראשון של instance-a מתקשרת עם כתובת ה-IP הראשונה ב-vNIC הראשון של instance-b, מספר החיבורים הופך ל-1.
  • כש-instance-a פותח עוד זוג תורים ל-instance-b באמצעות אותן כתובות IP באותם vNIC, מספר החיבורים נשאר 1.
  • כש-instance-a מתחיל תקשורת מסוג all-to-all בארכיטקטורת rail-aligned שמפעילה את כל 8 כרטיסי ה-vNIC, מספר החיבורים הופך ל-8.

אם מספר החיבורים חורג מהמגבלה של 20,000, יכול להיות שחיבורים חדשים ייכשלו, אבל חיבורים קיימים לא יושפעו.

המאמרים הבאים