פרופילי רשת RDMA

בדף הזה מובאת סקירה כללית על פרופילי רשת של גישה ישירה לזיכרון מרחוק (RDMA) ב- Google Cloud.

סקירה כללית

פרופילים של רשתות RDMA מאפשרים ליצור רשתות של ענן וירטואלי פרטי (VPC) שמספקות תקשורת RDMA עם השהיה נמוכה ורוחב פס גבוה בין הזיכרון או המעבדים הגרפיים של מופעי Compute Engine שנוצרו ברשת.

פרופילים של רשת RDMA שימושיים להרצת עומסי עבודה של AI. למידע נוסף על הפעלת עומסי עבודה של AI ב- Google Cloud, אפשר לעיין במאמר סקירה כללית על AI Hypercomputer.

אפשר ליצור את הסוגים הבאים של רשתות VPC באמצעות פרופילי רשת RDMA:

סוג רשת VPC	שם המשאב של פרופיל הרשת	פרוטוקול	סוג כרטיס רשת נתמך	סוגי מכונות נתמכים
רשת Falcon VPC	`ZONE-vpc-falcon`	‫RDMA over Falcon transport	`IRDMA`	מכונות H4D VM
רשת VPC של RoCE	`ZONE-vpc-roce`	‫RDMA over converged ethernet v2 (RoCE v2)	`MRDMA`	מכונות A3 Ultra VM מכונות וירטואליות מסוג A4 מכונות וירטואליות מסוג A4X

אזורים נתמכים

פרופילי רשת RDMA זמינים בקבוצה מוגבלת של אזורים. אפשר ליצור רשת Falcon VPC או רשת RoCE VPC רק באזור שבו פרופיל הרשת המתאים זמין.

כדי לראות את האזורים הנתמכים, אפשר לעיין ברשימת פרופילי הרשת.

אפשר גם לראות את האזורים הנתמכים עבור סוג המכונה שרוצים ליצור ברשת. פרופילי רשת RDMA זמינים באותם אזורים שבהם זמינים סוגי המכונות הנתמכים. למידע נוסף, קראו את המאמרים הבאים:

לגבי סוגי מכונות עם GPU, אפשר לעיין במאמר בנושא מיקומי GPU.
למידע על סוגי מכונות אחרים, אפשר לעיין במאמר אזורים ותחומים זמינים.

מפרטים

לרשתות VPC שנוצרות עם פרופיל רשת RDMA יש את המפרטים הבאים:

הגבלה אזורית. משאבים שמשתמשים ברשת VPC עם פרופיל רשת RDMA מוגבלים לאותו אזור כמו פרופיל רשת ה-RDMA שמשויך לרשת ה-VPC במהלך יצירת הרשת. המגבלה האזורית הזו משפיעה על הדברים הבאים:
- כל המכונות שיש להן ממשקי רשת ברשת ה-VPC צריכות להיווצר באזור שתואם לאזור של פרופיל רשת ה-RDMA שבו נעשה שימוש ברשת ה-VPC.
- כל רשתות המשנה שנוצרות ברשת ה-VPC צריכות להיות ממוקמות באזור שמכיל את האזור של פרופיל רשת ה-RDMA שמשמש את רשת ה-VPC.
ממשקי רשת של RDMA בלבד. רשת VPC עם פרופיל רשת RDMA תומכת בצירוף רק מממשקי רשת ספציפיים:
- רשתות Falcon VPC תומכות רק בIRDMA ממשקי רשת (NIC).
- רשתות RoCE VPC תומכות רק בMRDMA כרטיסי רשת.
כל כרטיסי ה-NIC שאינם RDMA של מופע צריכים להיות מצורפים לרשת VPC רגילה.
‫MTU‏ 8896 בייט. לקבלת הביצועים הטובים ביותר, מומלץ להשתמש ביחידת שידור מקסימלית (MTU) של 8896 בייט לרשתות VPC עם פרופיל רשת RDMA. כך מנהל ההתקן של RDMA במערכת ההפעלה האורחת של המופע יכול להשתמש ב-MTU קטנים יותר אם צריך.

אם יוצרים רשת VPC עם פרופיל רשת RDMA, ‏ MTU ברירת המחדל הוא 8896 בייט.
ההבדלים בין חומות האש. בהמשך מפורט מידע על ההבדלים בחומות האש ברשתות VPC עם פרופיל רשת RDMA:
- רשתות VPC עם פרופיל רשת RDMA משתמשות בכללי חומת האש המשתמעים הבאים, ששונים מכללי חומת האש המשתמעים שבהם משתמשות רשתות VPC רגילות:
  - יציאה מרומזת מותרת
  - היתר מרומז לכניסת תעבורת נתונים
- התמיכה ב-Cloud NGFW תלויה בסוג רשת ה-VPC:
  - רשתות VPC מסוג RoCE תומכות רק במדיניות אזורית של חומת אש בין רשתות, עם סוג מדיניות חומת אש מסוג RoCE. קבוצת הפרמטרים לכללים במדיניות חומת אש בין רשתות אזורית נתמכת מוגבלת. מידע נוסף זמין במאמר Cloud NGFW לרשתות VPC של RoCE.
  - רשתות Falcon VPC לא תומכות בהגדרת כללים או מדיניות של Cloud NGFW.
אין תמיכה בבדיקות קישוריות. בדיקות קישוריות לא תומכות ברשתות VPC עם פרופיל רשת RDMA.
תכונות אחרות של VPC. רשתות VPC עם פרופיל רשת RDMA תומכות בקבוצה מוגבלת של תכונות אחרות של VPC. מידע נוסף זמין בקטע תכונות נתמכות ולא נתמכות.

תכונות נתמכות ותכונות שלא נתמכות

בקטעים הבאים מפורטות התכונות של VPC שנתמכות ושלא נתמכות בכל סוג של רשת VPC שאפשר ליצור באמצעות פרופיל רשת RDMA:

רשתות Falcon VPC ‏ (falcon)
רשתות VPC של RoCE ‏ (roce)

רשתות Falcon VPC (`falcon`)

בטבלה הבאה מפורטות התכונות שנתמכות ברשתות Falcon VPC, שנוצרות באמצעות falcon פרופיל הרשת.

תכונה	מאפיין פרופיל הרשת	ערך מאפיין של פרופיל רשת	פרטים
כרטיסי RDMA NIC	`interfaceTypes`	`IRDMA`	רשתות Falcon VPC תומכות רק ב-`IRDMA` כרטיסי NIC אין תמיכה בסוגים אחרים של כרטיסי רשת, כמו `MRDMA`,‏ `GVNIC` ו-`VIRTIO_NET`.
כמה כרטיסי רשת באותה רשת	`allowMultiNicInSameNetwork`	`MULTI_NIC_IN_SAME_NETWORK_ALLOWED`	רשתות Falcon VPC תומכות במכונות עם כמה כרטיסי רשת, ומאפשרות לשני כרטיסי רשת או יותר מסוג RDMA של אותה מכונה להיות באותה רשת VPC. כל כרטיס NIC צריך להיות מצורף לתת-רשת ייחודית ברשת ה-VPC.
תת-רשתות עם כתובות IPv4 בלבד	`subnetworkStackTypes`	`SUBNET_STACK_TYPE_IPV4_ONLY`	רשתות Falcon VPC תומכות ברשתות משנה מסוג IPv4 בלבד, כולל אותם טווחים תקפים של IPv4 כמו ברשתות VPC רגילות. רשתות Falcon VPC לא תומכות ברשתות משנה עם פרוטוקול כפול או עם IPv6 בלבד. מידע נוסף זמין במאמר בנושא סוגים של רשתות משנה.
`PRIVATE` מטרת רשת המשנה	`subnetworkPurposes`	`SUBNET_PURPOSE_PRIVATE`	רשתות Falcon VPC תומכות ברשתות משנה רגילות, שערך המאפיין שלהן הוא `purpose`.`PRIVATE` רשתות Falcon VPC לא תומכות ברשתות משנה של Private Service Connect, ברשתות משנה של פרוקסי בלבד או ברשתות משנה של Private NAT. מידע נוסף זמין במאמר בנושא מטרות של רשתות משנה.
`GCE_ENDPOINT` כתובת למטרה מסוימת	`addressPurposes`	`GCE_ENDPOINT`	רשתות Falcon VPC תומכות בכתובות IP עם ערך המאפיין `purpose` של `GCE_ENDPOINT`, שמשמש כתובות IP פנימיות של כרטיסי רשת של מכונות. רשתות Falcon VPC לא תומכות בכתובות IP למטרות מיוחדות, כמו המטרה `SHARED_LOADBALANCER_VIP`. מידע נוסף זמין במאמר הפניה למשאב addresses.
ממשקי רשת דינמיים	`allowSubInterfaces`	`SUBINTERFACES_BLOCKED`	רשתות Falcon VPC לא תומכות בכרטיסי רשת דינמיים.
קבצים מצורפים מ-`nic0`	`allowDefaultNicAttachment`	`DEFAULT_NIC_ATTACHMENT_BLOCKED`	ברשתות Falcon VPC אין תמיכה בצירוף `nic0` ממשק הרשת של מופע לרשת. כל כרטיס רשת RDMA שמצורף לרשת ה-VPC לא יכול להיות `nic0`.
כתובות IP חיצוניות של מכונות וירטואליות	`allowExternalIpAccess`	`EXTERNAL_IP_ACCESS_BLOCKED`	רשתות Falcon VPC לא תומכות בהקצאה של כתובות IP חיצוניות ל-NIC של RDMA. לכן, לכרטיסי RDMA NIC אין גישה לאינטרנט.
טווחי IP של כתובות אימייל חלופיות	`allowAliasIpRanges`	`ALIAS_IP_RANGE_BLOCKED`	רשתות Falcon VPC לא תומכות בהקצאה של טווחי כתובות IP של כינוי לכרטיסי רשת של RDMA.
העברת IP	`allowIpForwarding`	`IP_FORWARDING_BLOCKED`	רשתות Falcon VPC לא תומכות בהעברת IP.
העברת רשת של מכונה	`allowNetworkMigration`	`NETWORK_MIGRATION_BLOCKED`	רשתות Falcon VPC לא תומכות בהעברת כרטיסי רשת של מכונות בין רשתות.
מצב אוטומטי	`allowAutoModeSubnet`	`AUTO_MODE_SUBNET_BLOCKED`	רשתות Falcon VPC לא יכולות להיות רשתות במצב אוטומטי. מידע נוסף זמין במאמר בנושא מצב יצירת רשתות משנה.
קישור בין רשתות VPC שכנות (peering)	`allowVpcPeering`	`VPC_PEERING_BLOCKED`	רשתות Falcon VPC לא תומכות בחיבור לרשתות VPC אחרות באמצעות קישור בין רשתות שכנות (peering). לכן, רשתות Falcon VPC לא תומכות בחיבור לשירותים באמצעות גישה לשירותים פרטיים.
מסלולים סטטיים	`allowStaticRoutes`	`STATIC_ROUTES_BLOCKED`	רשתות Falcon VPC לא תומכות במסלולים סטטיים.
רפליקציה של חבילות נתונים	`allowPacketMirroring`	`PACKET_MIRRORING_BLOCKED`	רשתות Falcon VPC לא תומכות ב-Packet Mirroring.
Cloud NAT	`allowCloudNat`	`CLOUD_NAT_BLOCKED`	רשתות Falcon VPC לא תומכות ב-Cloud NAT.
Cloud Router	`allowCloudRouter`	`CLOUD_ROUTER_BLOCKED`	רשתות Falcon VPC לא תומכות ב-Cloud Routers ובמסלולים דינמיים.
Cloud Interconnect	`allowInterconnect`	`INTERCONNECT_BLOCKED`	רשתות Falcon VPC לא תומכות ב-Cloud Interconnect ובחיבורי VLAN.
Cloud VPN	`allowVpn`	`VPN_BLOCKED`	רשתות Falcon VPC לא תומכות במנהרות Cloud VPN.
Network Connectivity Center	`allowNcc`	`NCC_BLOCKED`	רשתות Falcon VPC לא תומכות ב-NCC. אי אפשר להוסיף רשת Falcon VPC כרשת VPC מסוג Spoke לרכזת NCC.
Cloud Load Balancing	`allowLoadBalancing`	`LOAD_BALANCING_BLOCKED`	רשתות Falcon VPC לא תומכות ב-Cloud Load Balancing. לכן, רשתות Falcon VPC לא תומכות בתכונות של איזון עומסים, כולל Google Cloud Armor.
גישה פרטית ל-Google	`allowPrivateGoogleAccess`	`PRIVATE_GOOGLE_ACCESS_BLOCKED`	רשתות Falcon VPC לא תומכות בגישה פרטית ל-Google.
התחברות לשירות פרטי	`allowPsc`	`PSC_BLOCKED`	רשתות Falcon VPC לא תומכות ב-Private Service Connect.

רשתות VPC של RoCE‏ (`roce`)

בטבלה הבאה מפורטות התכונות שנתמכות ברשתות VPC של RoCE, שנוצרות באמצעות פרופיל הרשת roce.

תכונה	מאפיין פרופיל הרשת	ערך מאפיין של פרופיל רשת	פרטים
כרטיסי RDMA NIC	`interfaceTypes`	`MRDMA`	רשתות RoCE VPC תומכות רק ב-`MRDMA` NICs אין תמיכה בסוגים אחרים של כרטיסי רשת, כמו `IRDMA`,‏ `GVNIC` ו-`VIRTIO_NET`.
כרטיסי רשת מרובים באותה רשת	`allowMultiNicInSameNetwork`	`MULTI_NIC_IN_SAME_NETWORK_ALLOWED`	רשתות VPC של RoCE תומכות במכונות עם כמה כרטיסי NIC, ומאפשרות לשני כרטיסי NIC של RDMA או יותר באותה מכונה להיות באותה רשת VPC. כל כרטיס NIC צריך להיות מצורף לתת-רשת ייחודית ברשת ה-VPC. אפשר גם לעיין במאמר שיקולים לגבי כרטיסי NIC מרובים ברשת VPC של RoCE.
תת-רשתות עם כתובות IPv4 בלבד	`subnetworkStackTypes`	`SUBNET_STACK_TYPE_IPV4_ONLY`	רשתות VPC עם RoCE תומכות ברשתות משנה עם IPv4 בלבד, כולל אותם טווחים תקפים של IPv4 כמו ברשתות VPC רגילות. רשתות RoCE VPC לא תומכות ברשתות משנה עם פרוטוקול כפול או עם IPv6 בלבד. מידע נוסף זמין במאמר בנושא סוגים של רשתות משנה.
`PRIVATE` מטרת רשת המשנה	`subnetworkPurposes`	`SUBNET_PURPOSE_PRIVATE`	רשתות VPC של RoCE תומכות ברשתות משנה רגילות, שערך המאפיין שלהן `purpose` הוא `PRIVATE`. רשתות VPC של RoCE לא תומכות ברשתות משנה של Private Service Connect, ברשתות משנה של proxy בלבד או ברשתות משנה של Private NAT. מידע נוסף זמין במאמר בנושא מטרות של רשתות משנה.
`GCE_ENDPOINT` כתובת למטרה מסוימת	`addressPurposes`	`GCE_ENDPOINT`	רשתות VPC של RoCE תומכות בכתובות IP עם ערך המאפיין `purpose` של `GCE_ENDPOINT`, שמשמש כתובות IP פנימיות של כרטיסי רשת של מכונות. רשתות VPC של RoCE לא תומכות בכתובות IP למטרות מיוחדות, כמו מטרה `SHARED_LOADBALANCER_VIP`. מידע נוסף זמין במאמר הפניה למשאב addresses.
קבצים מצורפים מ-`nic0`	`allowDefaultNicAttachment`	`DEFAULT_NIC_ATTACHMENT_BLOCKED`	ברשתות VPC של RoCE אי אפשר לצרף את ממשקי הרשת `nic0` של מכונה לרשת. כל כרטיס רשת RDMA שמצורף לרשת ה-VPC לא יכול להיות `nic0`.
כתובות IP חיצוניות של מכונות וירטואליות	`allowExternalIpAccess`	`EXTERNAL_IP_ACCESS_BLOCKED`	ברשתות VPC עם RoCE אין תמיכה בהקצאה של כתובות IP חיצוניות לכרטיסי רשת עם RDMA. לכן, לכרטיסי RDMA NIC אין גישה לאינטרנט.
ממשקי רשת דינמיים	`allowSubInterfaces`	`SUBINTERFACES_BLOCKED`	רשתות VPC של RoCE לא תומכות בכרטיסי רשת דינמיים.
טווחי IP של כתובות אימייל חלופיות	`allowAliasIpRanges`	`ALIAS_IP_RANGE_BLOCKED`	רשתות VPC של RoCE לא תומכות בהקצאה של טווחי כתובות IP של כינויים לכרטיסי רשת של RDMA.
העברת IP	`allowIpForwarding`	`IP_FORWARDING_BLOCKED`	רשתות VPC של RoCE לא תומכות בהעברת IP.
העברת רשת של מכונה	`allowNetworkMigration`	`NETWORK_MIGRATION_BLOCKED`	ברשתות VPC של RoCE אין תמיכה בהעברת כרטיסי NIC של מכונות בין רשתות.
מצב אוטומטי	`allowAutoModeSubnet`	`AUTO_MODE_SUBNET_BLOCKED`	רשתות VPC של RoCE לא יכולות להיות רשתות במצב אוטומטי. מידע נוסף זמין במאמר בנושא מצב יצירת רשתות משנה.
קישור בין רשתות VPC שכנות (peering)	`allowVpcPeering`	`VPC_PEERING_BLOCKED`	רשתות VPC של RoCE לא תומכות בחיבור לרשתות VPC אחרות באמצעות קישור בין רשתות שכנות (peering). לכן, רשתות VPC של RoCE לא תומכות בחיבור לשירותים באמצעות גישה לשירותים פרטיים.
מסלולים סטטיים	`allowStaticRoutes`	`STATIC_ROUTES_BLOCKED`	רשתות VPC של RoCE לא תומכות במסלולים סטטיים.
רפליקציה של חבילות נתונים	`allowPacketMirroring`	`PACKET_MIRRORING_BLOCKED`	רשתות RoCE VPC לא תומכות ב-רפליקציה של חבילות נתונים.
Cloud NAT	`allowCloudNat`	`CLOUD_NAT_BLOCKED`	רשתות VPC של RoCE לא תומכות ב-Cloud NAT.
Cloud Router	`allowCloudRouter`	`CLOUD_ROUTER_BLOCKED`	רשתות VPC של RoCE לא תומכות ב-Cloud Routers ובמסלולים דינמיים.
Cloud Interconnect	`allowInterconnect`	`INTERCONNECT_BLOCKED`	רשתות VPC של RoCE לא תומכות ב-Cloud Interconnect ובחיבורי VLAN.
Cloud VPN	`allowVpn`	`VPN_BLOCKED`	רשתות VPC של RoCE לא תומכות במנהרות Cloud VPN.
Network Connectivity Center	`allowNcc`	`NCC_BLOCKED`	רשתות VPC של RoCE לא תומכות ב-NCC. אי אפשר להוסיף רשת VPC מסוג RoCE כרשת VPC מסוג Spoke למרכז NCC.
Cloud Load Balancing	`allowLoadBalancing`	`LOAD_BALANCING_BLOCKED`	רשתות VPC של RoCE לא תומכות ב-Cloud Load Balancing. לכן, רשתות VPC של RoCE לא תומכות בתכונות של מאזן עומסים, כולל Google Cloud Armor.
גישה פרטית ל-Google	`allowPrivateGoogleAccess`	`PRIVATE_GOOGLE_ACCESS_BLOCKED`	רשתות VPC של RoCE לא תומכות בגישה פרטית ל-Google.
התחברות לשירות פרטי	`allowPsc`	`PSC_BLOCKED`	רשתות VPC של RoCE לא תומכות ב-Private Service Connect.

שיקולים לגבי כרטיסי NIC מרובים ברשתות VPC של RoCE

כדי לתמוך בעומסי עבודה שמרוויחים מתקשורת בין יחידות GPU שונות, רשתות RoCE VPC תומכות במכונות וירטואליות שיש להן כמה כרטיסי NIC‏ MRDMA ברשת. כל כרטיס רשת (NIC) של MRDMA צריך להיות בתת-רשת ייחודית. הצבת שני כרטיסי NIC או יותר באותה רשת RoCE VPC עשויה להשפיע על ביצועי הרשת, כולל הגדלת זמן האחזור.MRDMA MRDMA כרטיסי NIC משתמשים ב-NCCL. ספריית NCCL מנסה ליישר את כל ההעברות ברשת, גם עבור תקשורת בין מסילות. לדוגמה, היא משתמשת ב-PXN כדי להעתיק נתונים דרך NVlink ל-GPU שמותאם למסילה לפני העברתם ברשת.