מאזני עומסים מקובצים עם Border Gateway Protocol (BGP) מאפשרים לכם לפרסם כתובות IP וירטואליות (VIP) למישור הבקרה ולשירותי ServiceType
LoadBalancer באמצעות BGP חיצוני (eBGP) לאשכולות של Google Distributed Cloud. רשת האשכול פועלת כמערכת אוטונומית שמתחברת לרשת חיצונית. כשהרשת משתמשת בניתוב מסלולים מרובים בעלות שווה (ECMP) וב-BGP ADD-PATH, התכונה הזו מספקת איזון עומסים פעיל/פעיל ב-N כיוונים, כדי לאפשר יתירות כשל מהירה יותר ושימוש יעיל יותר ברוחב הפס. הוא פועל עם מתגים ונתבים של צד שלישי בראש הארון (ToR) שתומכים ב-eBGP. במרכזי נתונים שפועל בהם מחסנית של שירותי Networking מוגדרי-תוכנה (SDN), אפשר גם להעביר את הגבול של שכבה 3 עד לאשכולות.
היכולת הזו רלוונטית לכל סוגי האשכולות, אבל אשכולות אדמין תומכים רק באיזון עומסים במישור הבקרה. כדי להגדיר את התכונה הזו ב-GKE On-Prem API, משתמשים ב-BareMetalLoadBalancerConfig לאשכולות של משתמשים, או ב-BareMetalAdminLoadBalancerConfig לאשכולות של אדמינים בגרסה 1.34 ואילך.
איך פועל איזון עומסים מקובץ עם BGP
בקטעים הבאים מוסבר בקצרה איך פועלים מאזני עומסים מקובצים עם BGP.
קישור BGP בין רשתות שכנות (peering)
התכונה "מַאזני עומסים מקובצים עם BGP" מפעילה כמה חיבורי BGP לתשתית שלכם. ל-BGP יש את הדרישות הטכניות הבאות:
- סשנים של קישור שכנים (peering) נפרדים לכתובת ה-VIP של מישור הבקרה ולכתובות ה-VIP של השירותים.
- סשנים של קישור בין רשתות שכנות (peering) במישור הבקרה מתחילים מכתובות ה-IP של הצמתים במישור הבקרה.
- סשנים של קישור בין רשתות שכנות מתחילים מכתובות IP צפות שאתם מציינים במשאב בהתאמה אישית של
NetworkGatewayGroup. - שער הרשת של בקר GDC מנהל את כתובות ה-IP הצפות.
- איזון עומסים מבוסס-BGP בחבילה תומך רק בקישור בין שכנים ב-eBGP.
- כברירת מחדל, יש תמיכה בקישור מעבר בין רשתות שכנות (peering) עם כמה דילוגים.
- אין תמיכה בסיסמאות MD5 בסשנים של BGP.
- אין תמיכה בסשנים של קישור בין רשתות שכנות (peering) שמבוססים על IPv6.
- הנתיבים שמפורסמים לכל עמית אמורים להיות מופצים מחדש ברשת, וניתן להגיע אליהם מכל מקום אחר באשכול.
- מומלץ להשתמש ביכולת
ADD-PATHשל BGP במצב קבלה לסשנים של קישור שכנים. - פרסום של כמה נתיבים מכל נקודת קצה (peer) גורם לאיזון עומסים פעיל/פעיל.
- צריך להפעיל ברשת ניתוב מרובה נתיבים בעלות שווה (ECMP), כדי שאפשר יהיה להשתמש בכמה נתיבים להפצת תעבורת הנתונים בקבוצה של צומתי מאזן עומסים.
- מגדירים את סשני ה-BGP בעמיתים החיצוניים (כמו מתגי Top-of-Rack) במצב פסיבי. הצמתים באשכול וכתובות ה-IP הצפות פועלים כעמיתים פעילים ומתחילים את סשני ה-BGP Peering.
איזון עומסים במישור הבקרה
כל צומת של מישור הבקרה באשכול יוצר סשנים של BGP עם עמית אחד או יותר בתשתית. כל צומת במישור הבקרה צריך להיות מקושר לפחות לצומת אחד אחר. בקובץ התצורה של האשכול, אתם יכולים להגדיר אילו צמתים של מישור הבקרה יתחברו לאילו עמיתים חיצוניים.
בתרשים הבא מוצגת דוגמה של קישור בין רשתות שכנות (peering) במישור הבקרה. לאשכול יש שני צמתים של מישור הבקרה ברשת משנה אחת וצומת אחד ברשת משנה אחרת. בכל רשת משנה יש נקודת קצה חיצונית (TOR), והצמתים של מישור הבקרה של Google Distributed Cloud מתחברים ל-TOR שלהם.
איזון עומסים בשירות
בנוסף לסשנים של קישור Peering שמתחילים מכל צומת של מישור הבקרה בשביל קישור Peering של מישור הבקרה, מתחילים סשנים נוספים של קישור Peering בשביל שירותי LoadBalancer. הסשנים האלה של קישור שכנים לא מתחילים ישירות מכתובות ה-IP של הצמתים באשכול, אלא משתמשים בכתובות IP צפות.
יש תמיכה בשירותים עם מדיניות רשת ב-Kubernetes מסוג externalTrafficPolicy=Local.
עם זאת, ההגדרה externalTrafficPolicy=Local תלויה בעומס העבודה וגורמת לעדכון של המסלולים בכל פעם ש-Pod שמגבה את השירות מתווסף לצומת או מוסר ממנו לחלוטין. ההתנהגות הזו של עדכון המסלולים עלולה לגרום לשינוי של זרימת התנועה בניתוב Equal Cost Multi-Path (ECMP), וכתוצאה מכך לירידה בתנועה.
כתובות IP צפות
כדי לאזן את העומסים בשירות, צריך להקצות כתובות IP צפות ברשתות המשנה של הצמתים באשכול, שישמשו להתאמת BGP. לאשכול נדרשת לפחות כתובת IP צפה אחת, אבל מומלץ להקצות לפחות שתי כתובות כדי להבטיח זמינות גבוהה של סשנים של BGP. כתובות ה-IP הצפות מצוינות במשאב המותאם אישית (CR) של NetworkGatewayGroup, שאפשר לכלול בקובץ התצורה של האשכול.
כתובות IP צפות מסירות את הצורך במיפוי כתובות IP של רמקולי BGP לצמתים. הבקר של Network Gateway for GDC מקצה את ה-NetworkGatewayGroup לצמתים ומנהל את כתובות ה-IP הצפות.
אם צומת מושבת, הבקר של שער הרשת ל-GDC מקצה מחדש כתובות IP צפות כדי לוודא שלעמיתים החיצוניים יש כתובת IP דטרמיניסטית להתחבר אליה.
משתמשים חיצוניים
לאיזון עומסים במישור הנתונים, אתם יכולים להשתמש באותם עמיתים חיצוניים שצוינו להצמדת עמיתים במישור הבקרה בקטע loadBalancer.controlPlaneBGP של קובץ התצורה של האשכול. לחלופין, אפשר לציין נקודות קצה שונות של BGP.
אם רוצים לציין נקודות קצה שונות של BGP להעברת נתונים בין נקודות קצה, מוסיפים את מפרטי המשאבים BGPLoadBalancer ו-BGPPeer לקובץ ההגדרות של האשכול. אם לא תציינו את המשאבים בהתאמה אישית, המערכת תשתמש באופן אוטומטי בעמיתים של מישור הבקרה בשביל מישור הנתונים.
אתם מציינים את נקודות הקצה החיצוניות שמשמשות לסשנים של קישור בין רשתות שכנות (peering) עם כתובות ה-IP הצפות במשאב בהתאמה אישית BGPPeer, שאותו אתם מוסיפים לקובץ ההגדרות של האשכול. המשאב BGPPeer כולל תווית לזיהוי על ידי המשאב המותאם אישית התואם BGPLoadBalancer. כדי לבחור את ה-BGPPeer לשימוש, מציינים את התווית התואמת בשדה peerSelector במשאב המותאם אישית BGPLoadBalancer.
הבקר של Network Gateway for GDC מנסה ליצור סשנים (אפשר להגדיר את מספר הסשנים) לכל נקודת קצה חיצונית, מתוך קבוצת כתובות ה-IP הצפות השמורות. כדי להבטיח זמינות גבוהה של סשנים של BGP, מומלץ לציין לפחות שתי נקודות קצה חיצוניות. כל נקודת קצה חיצונית שמיועדת לאיזון עומסים של שירותים צריכה להיות מוגדרת כך שתתחבר לכל כתובת IP צפה שצוינה במשאב המותאם אישית NetworkGatewayGroup.
צמתים של מאזן עומסים
קבוצת משנה של צמתים מהאשכול משמשת לאיזון עומסים, כלומר אלה הצמתים שמוגדרים ככאלה שיכולים לקבל תנועה נכנסת של איזון עומסים.
קבוצת הצמתים הזו מוגדרת כברירת מחדל למאגר הצמתים של מישור הבקרה, אבל אפשר לציין מאגר צמתים אחר בקטע loadBalancer של קובץ התצורה של האשכול. אם מציינים מאגר צמתים, הוא משמש לצמתים של מאזן העומסים במקום למאגר הצמתים של מישור הבקרה.
כתובות ה-IP הצפות, שפועלות כרמקולים של BGP, יכולות לפעול בצמתים של מאזן העומסים, אבל לא חייבות. כתובות ה-IP הצפות מוקצות לצומת באותו רשת משנה, וההתאמה בין רשתות שכנות (peering) מתחילה משם, גם אם מדובר בצומת של מאזן עומסים. עם זאת, הצעדים הבאים שמפורסמים דרך BGP הם תמיד הצמתים של מאזן העומסים.
דוגמה לטופולוגיית קישור בין רשתות שכנות (peering)
בתרשים הבא מוצגת דוגמה לאיזון עומסים של שירות עם קישור שכנים ב-BGP. יש שתי כתובות IP צפות שמוקצות לצמתים ברשתות המשנה שלהם. יש שני עמיתים חיצוניים מוגדרים. כל כתובת IP צפה מקושרת לשני העמיתים החיצוניים.
הגדרת מאזן העומסים של BGP
בקטעים הבאים מוסבר איך להגדיר את האשכולות ואת הרשת החיצונית לשימוש במאזן העומסים המצורף עם BGP.
תכנון השילוב עם תשתית חיצונית
כדי להשתמש במאזן העומסים המצורף עם BGP, צריך להגדיר את התשתית החיצונית:
כדי להגדיר את התקשורת של מישור הבקרה, צריך להגדיר את התשתית החיצונית כך שתתחבר לכל אחד מהצמתים של מישור הבקרה באשכול. סשנים אלה של קישור שכנים משמשים לפרסום כתובות ה-VIP של מישור הבקרה של Kubernetes.
צריך להגדיר תשתית חיצונית שתתחבר באמצעות Peering לקבוצה של כתובות IP צפות שמיועדות לתקשורת במישור הנתונים. כתובות ה-IP הצפות משמשות ל-BGP peering של כתובות ה-VIP של השירות. כדי להבטיח זמינות גבוהה של סשנים של BGP, מומלץ להשתמש בשתי כתובות IP צפות ובשני עמיתים. התהליך של הקצאת כתובת IP צפה מתואר כחלק מהגדרת האשכול לאיזון עומסים מקובץ באמצעות BGP.
אחרי שמגדירים את התשתית, מוסיפים את פרטי ה-BGP Peering לקובץ התצורה של האשכול. האשכול שאתם יוצרים יכול להתחיל סשנים של קישור בין רשתות שכנות (peering) עם התשתית החיצונית.
הגדרת האשכול לאיזון עומסים בחבילה עם BGP
כשיוצרים אשכול, מפעילים ומגדירים את איזון העומסים המצורף עם BGP בקובץ התצורה של האשכול. בקובץ התצורה של האשכול, מפעילים את הרשת המתקדמת ומעדכנים את הקטע loadBalancer. אתם גם מוסיפים מפרטים לשלושת המשאבים הבאים בהתאמה אישית:
NetworkGatewayGroup: מציין כתובות IP צפות שמשמשות לסשנים של קישור ישיר (peering) ב-BGP של שירותים.
BGPLoadBalancer: מציין באמצעות בוררי תוויות אילו נקודות קצה משמשות לאיזון עומסים של BGP.
BGPPeer: מציין נקודות קצה (Peers) ספציפיות, כולל תווית למטרות בחירה, לסשנים של קישור שכנים ב-BGP.
בהוראות הבאות מוסבר איך להגדיר את האשכול ואת שלושת המשאבים בהתאמה אישית כדי להגדיר איזון עומסים בחבילה עם BGP.
מוסיפים את השדה
advancedNetworkingלקובץ התצורה של האשכול בקטעclusterNetworkומגדירים אותו ל-true.השדה הזה מאפשר יכולת מתקדמת של עבודה ברשת, ובמיוחד את המשאב Network Gateway Group.
apiVersion: baremetal.cluster.gke.io/v1 kind: Cluster metadata: name: bm namespace: CLUSTER_NAMESPACE spec: ... clusterNetwork: advancedNetworking: trueמחליפים את
CLUSTER_NAMESPACEבמרחב השמות של האשכול. כברירת מחדל, מרחבי השמות של האשכולות ב-Google Distributed Cloud הם שם האשכול עם הקידומתcluster-. לדוגמה, אם נותנים לאשכול את השםtest, מרחב השמות הואcluster-test.בקטע
loadBalancerשל קובץ התצורה של האשכול, מגדירים אתmodeל-bundledומוסיפים שדהtypeעם הערךbgp.ערכי השדות האלה מאפשרים איזון עומסים מקובץ שמבוסס על BGP.
... loadBalancer: mode: bundled # type can be 'bgp' or 'layer2'. If no type is specified, we default to layer2. type: bgp ...כדי לציין את פרטי ה-BGP-peering של מישור הבקרה, מוסיפים את השדות הבאים לקטע
loadBalancer:... # AS number for the cluster localASN: CLUSTER_ASN # List of BGP peers used for the control plane peering sessions. bgpPeers: - ip: PEER_IP asn: PEER_ASN # optional; if not specified, all CP nodes connect to all peers. controlPlaneNodes: # optional - CP_NODE_IP ...מחליפים את מה שכתוב בשדות הבאים:
-
CLUSTER_ASN: מספר המערכת האוטונומית של האשכול שנוצר. -
PEER_IP: כתובת ה-IP של המכשיר החיצוני המקביל. -
PEER_ASN: מספר המערכת האוטונומית של הרשת שמכילה את המכשיר החיצוני המקביל. -
CP_NODE_IP: (אופציונלי) כתובת ה-IP של צומת מישור הבקרה שמתחבר לישות המקבילה החיצונית. אם לא תציינו צומתי מישור בקרה, כל צומתי מישור הבקרה יוכלו להתחבר לעמית החיצוני. אם מציינים כתובת IP אחת או יותר, רק הצמתים שצוינו משתתפים בסשנים של קישור שכנים.
אפשר לציין כמה נקודות קצה חיצוניות,
bgpPeersמקבל רשימה של מיפויים. כדי להבטיח זמינות גבוהה של סשנים של BGP, מומלץ לציין לפחות שני עמיתים חיצוניים. בקטע הגדרות לדוגמה מופיעה דוגמה עם כמה נקודות קצה (peers).-
מגדירים את השדות
loadBalancer.ports,loadBalancer.vipsו-loadBalancer.addressPools(מוצגים ערכי ברירת המחדל).... loadBalancer: ... # Other existing load balancer options remain the same ports: controlPlaneLBPort: 443 # When type=bgp, the VIPs are advertised over BGP vips: controlPlaneVIP: 10.0.0.8 ingressVIP: 10.0.0.1 addressPools: - name: pool1 addresses: - 10.0.0.1-10.0.0.4 ...מציינים את הצומת באשכול שישמש לאיזון עומסים במישור הנתונים.
השלב הזה הוא אופציונלי. אם לא מבטלים את ההערה בקטע
nodePoolSpec, הצמתים של מישור הבקרה משמשים לאיזון עומסים במישור הנתונים.... # Node pool used for load balancing data plane (nodes where incoming traffic # arrives. If not specified, this defaults to the control plane node pool. # nodePoolSpec: # nodes: # - address: <Machine 1 IP> ...שומרים כתובות IP צפות על ידי הגדרת המשאב בהתאמה אישית
NetworkGatewayGroup:כתובות ה-IP הצפות משמשות בסשנים של קישור שכנים לאיזון עומסים במישור הנתונים.
... --- apiVersion: networking.gke.io/v1 kind: NetworkGatewayGroup metadata: name: default namespace: CLUSTER_NAMESPACE spec: floatingIPs: - FLOATING_IP nodeSelector: # optional - NODE_SELECTOR ...מחליפים את מה שכתוב בשדות הבאים:
-
CLUSTER_NAMESPACE: מרחב השמות של האשכול. כברירת מחדל, מרחבי השמות של האשכולות ב-Google Distributed Cloud הם שם האשכול עם הקידומתcluster-. לדוגמה, אם נותנים לאשכול את השםtest, מרחב השמות הואcluster-test. -
FLOATING_IP: כתובת IP מאחת מרשתות המשנה של האשכול. צריך לציין לפחות כתובת IP אחת, אבל מומלץ לציין לפחות שתי כתובות IP. -
NODE_SELECTOR: (אופציונלי) בורר תוויות לזיהוי צמתים ליצירת סשנים של קישור שכנים עם שכנים חיצוניים, כמו מתגי top-of-rack (ToR). אם הוא לא נחוץ, הסירו אותו.
מוודאים שהמשאב המותאם אישית של
NetworkGatewayGroupנקראdefaultומשתמש במרחב השמות של האשכול. בקטע דוגמאות להגדרות מופיעה דוגמה למפרט של משאב בהתאמה אישית (NetworkGatewayGroup).-
(אופציונלי) מציינים את נקודות הקצה שבהן רוצים להשתמש לאיזון עומסים במישור הנתונים, על ידי הגדרת המשאב בהתאמה אישית
BGPLoadBalancer:... --- apiVersion: networking.gke.io/v1 kind: BGPLoadBalancer metadata: name: default namespace: CLUSTER_NAMESPACE spec: peerSelector: PEER_LABEL: "true" ...מחליפים את מה שכתוב בשדות הבאים:
-
CLUSTER_NAMESPACE: מרחב השמות של האשכול. כברירת מחדל, מרחבי השמות של האשכולות ב-Google Distributed Cloud הם שם האשכול עם הקידומתcluster-. לדוגמה, אם נותנים לאשכול את השםtest, מרחב השמות הואcluster-test. -
PEER_LABEL: התווית שמשמשת לזיהוי העמיתים שבהם צריך להשתמש לאיזון עומסים. כל משאב מותאם אישית שלBGPPeerעם תווית תואמת מציין את הפרטים של כל עמית.
מוודאים שהמשאב המותאם אישית
BGPLoadBalancerנקראdefaultומשתמש במרחב השמות של האשכול. אם לא מציינים משאב בהתאמה אישית מסוגBGPLoadBalancer, המערכת משתמשת באופן אוטומטי בנקודות הקצה של מישור הבקרה לאיזון עומסים במישור הנתונים. במאמר הגדרות לדוגמה מופיעות דוגמאות מקיפות.-
(אופציונלי) מציינים את נקודות הקצה החיצוניות של מישור הנתונים על ידי הגדרה של משאב אחד או יותר בהתאמה אישית של
BGPPeer:... --- apiVersion: networking.gke.io/v1 kind: BGPPeer metadata: name: BGP_PEER_NAME namespace: CLUSTER_NAMESPACE labels: PEER_LABEL: "true" spec: localASN: CLUSTER_ASN peerASN: PEER_ASN peerIP: PEER_IP sessions: SESSION_QTY selectors: # Optional gatewayRefs: - GATEWAY_REF ...מחליפים את מה שכתוב בשדות הבאים:
-
BGP_PEER_NAME: שם המשתמש השני. -
CLUSTER_NAMESPACE: מרחב השמות של האשכול. כברירת מחדל, מרחבי השמות של האשכולות ב-Google Distributed Cloud הם שם האשכול עם הקידומתcluster-. לדוגמה, אם נותנים לאשכול את השםtest, מרחב השמות הואcluster-test. -
PEER_LABEL: התווית שמשמשת לזיהוי העמיתים שבהם צריך להשתמש לאיזון עומסים. התווית הזו צריכה להתאים לתווית שצוינה במשאב המותאם אישיתBGPLoadBalancer. -
CLUSTER_ASN: מספר המערכת האוטונומית של האשכול שנוצר. -
PEER_IP: כתובת ה-IP של המכשיר החיצוני המקביל. מומלץ לציין לפחות שני עמיתים חיצוניים, אבל חובה לציין לפחות אחד. -
PEER_ASN: מספר המערכת האוטונומית של הרשת שמכילה את המכשיר החיצוני המקביל. SESSION_QTY: מספר הסשנים שצריך ליצור למקביל הזה. מומלץ ליצור לפחות שני סשנים כדי לוודא שהחיבור לעמית יישמר גם אם אחד מהצמתים יושבת.-
GATEWAY_REF: (אופציונלי) השם של משאב NetworkGatewayGroup שבו רוצים להשתמש לצורך קישור בין רשתות שכנות (Peering). אם לא מגדירים את המדיניות, אפשר להשתמש בכל משאבי השער או בחלק מהם. אתם יכולים להשתמש בהגדרה הזו בשילוב עם השדהnodeSelectorבמשאב NetworkGatewayGroups כדי לבחור באילו צמתים להשתמש לצורך קישור בין רשתות שכנות (peering) עם רשת שכנה חיצונית ספציפית, כמו מתג ToR. אם יש כמה שערים, אפשר להזין כמה ערכים כדי לבחור כמה קבוצות של NetworkGatewayGroups.
כדי לציין כמה עמיתים חיצוניים, אפשר ליצור עוד
BGPPeerמשאבים בהתאמה אישית. כדי להבטיח זמינות גבוהה של סשנים של BGP, מומלץ לציין לפחות שתי נקודות קצה חיצוניות (שני משאבים בהתאמה אישית). אם לא מציינים משאב מותאם אישית מסוגBGPPeer, המערכת משתמשת באופן אוטומטי בעמיתים של מישור הבקרה לאיזון עומסים במישור הנתונים.-
כשמריצים את
bmctl cluster createכדי ליצור את האשכול, מתבצעות בדיקות קדם הפעלה. בין השאר, הבדיקות המקדימות מאמתות את הגדרת הקישור בין רשתות שכנות באמצעות BGP למישור הבקרה, ומדווחות על כל בעיה ישירות לתחנת העבודה של האדמין לפני שאפשר ליצור את האשכול.אם הפעולה תצליח, המשאבים שנוספו לאיזון עומסים של BGP (NetworkGatewayGroup, BGPLoadBalancer ו-BGPPeer) יועברו לאשכול האדמין במרחב השמות של אשכול המשתמש. כדי לבצע עדכונים נוספים במשאבים האלה, צריך להשתמש בקובץ kubeconfig של אשכול האדמין. לאחר מכן, אשכול האדמין מתאים את השינויים לאשכול המשתמש. אם תערכו את המשאבים האלה ישירות באשכול המשתמש, אשכול האדמין יחליף את השינויים שלכם בהתאמות הבאות.
פרסום של כמה צעדים הבאים לכל סשן באמצעות BGP ADD-PATH
מומלץ להשתמש ביכולת ADD-PATH של BGP לסשנים של קישור שכנים, כפי שמפורט ב-RFC 7911.
כברירת מחדל, פרוטוקול BGP מאפשר לפרסם רק את הצעד הבא יחיד לעמיתים עבור קידומת אחת. פרוטוקול BGP ADD-PATH מאפשר לפרסם כמה צעדים הבאים לאותה קידומת. כשמשתמשים ב-ADD-PATH עם איזון עומסים מקובץ שמבוסס על BGP, האשכול יכול לפרסם כמה צומתי אשכול כצומתי חזית (הצעדים הבאים) לשירות של איזון עומסים (קידומת). מפעילים את ECMP ברשת כדי שתעבורת הנתונים תוכל להתפזר על פני כמה נתיבים. היכולת לפזר את התנועה על ידי פרסום של כמה צומתי אשכולות בתור הצעדים הבאים, מאפשרת לשפר את קנה המידה של קיבולת מישור הנתונים לאיזון עומסים.
אם מכשיר ה-peer החיצוני, כמו מתג או נתב top-of-rack (ToR), תומך ב-BGP ADD-PATH, מספיק להפעיל רק את תוסף הקבלה.
איזון עומסים מקובץ עם BGP פועל בלי היכולת ADD-PATH, אבל ההגבלה של פרסום צומת איזון עומסים יחיד לכל סשן קישור ישיר מגבילה את הקיבולת של מישור הנתונים של מאזן העומסים. בלי ADD-PATH, המערכת של Google Distributed Cloud בוחרת צמתים לפרסום ממאגר הצמתים של מאזן העומסים, ומנסה לפזר את הדילוגים הבאים של כתובות VIP שונות בין צמתים שונים.
הגבלת קישור BGP בין רשתות שכנות לצומתי מאזן עומסים
Google Distributed Cloud מקצה באופן אוטומטי כתובות IP צפות לכל צומת באותה רשת משנה של כתובת ה-IP הצפה. סשנים של BGP מתחילים מכתובות ה-IP האלה, גם אם הם לא מגיעים לצומתי מאזן העומסים. ההתנהגות הזו היא מכוונת, כי הפרדנו את מישור הבקרה (BGP) ממישור הנתונים (מאגרי צמתים של LB).
אם רוצים להגביל את קבוצת הצמתים שאפשר להשתמש בהם לקישור BGP, אפשר להגדיר רשת משנה אחת שתשמש רק לצמתים של מאזן העומסים. כלומר, אפשר להגדיר את כל הצמתים ברשת המשנה הזו כך שיהיו במאגר הצמתים של מאזן העומסים. לאחר מכן, כשמגדירים כתובות IP צפות שמשמשות ל-BGP Peering, צריך לוודא שהן מאותה רשת משנה. ב-Google Distributed Cloud, ההקצאות של כתובות ה-IP הצפות והתאמת ה-BGP מתבצעות רק מצומתי מאזן העומסים.
הגדרת איזון עומסים של BGP עם רשתות ב-Dual-Stack
החל מגרסה 1.14.0 של Google Distributed Cloud, מאזן העומסים המקובץ שמבוסס על BGP תומך ב-IPv6. עם התמיכה ב-IPv6, אתם יכולים להגדיר שירותי LoadBalancer עם IPv6 וסטאק כפול באשכול שמוגדר לרשת עם סטאק כפול. בקטע הזה מוסבר איך להגדיר איזון עומסים משולב ב-BGP עם שני סוגי כתובות IP.
כדי להפעיל שירותי LoadBalancer עם מחסנית כפולה, צריך לבצע את השינויים הבאים בהגדרות:
האשכול הבסיסי חייב להיות מוגדר לרשתות עם מחסנית כפולה:
מציינים את טווחי ה-CIDR של השירות ב-IPv4 וב-IPv6 בקובץ התצורה של האשכול, בקטע
spec.clusterNetwork.services.cidrBlocks.מגדירים משאבי ClusterCIDRConfig מתאימים כדי לציין טווחי CIDR של IPv4 ו-IPv6 לפודים.
מידע נוסף על הגדרת אשכול לרשתות עם שני סוגי כתובות IP זמין במאמר רשתות עם שני סוגי כתובות IP, IPv4/IPv6.
מציינים מאגר כתובות IPv6 בקובץ התצורה של האשכול בקטע
spec.loadBalancer.addressPools. כדי ש-MetalLB יקצה כתובות IP לשירות Dual Stack, צריך להיות לפחות מאגר כתובות אחד עם כתובות בפורמט IPv4 ו-IPv6.
בדוגמה הבאה מוצגים השינויים שצריך לבצע כדי להגדיר איזון עומסים משולב עם BGP ב-dual-stack:
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
name: bm
namespace: cluster-bm
spec:
...
clusterNetwork:
services:
cidrBlocks:
# Dual-stack Service IP addresses must be provided
- 10.96.0.0/16
- fd00::/112
...
loadBalancer:
mode: bundled
# type can be 'bgp' or 'layer2'. If no type is specified we default to layer2.
type: bgp
# AS number for the cluster
localASN: 65001
bgpPeers:
- ip: 10.8.0.10
asn: 65002
- ip: 10.8.0.11
asn: 65002
addressPools:
- name: pool1
addresses:
# Each address must be either in the CIDR form (1.2.3.0/24)
# or range form (1.2.3.1-1.2.3.5).
- "203.0.113.1-203.0.113.20"
- "2001:db8::1-2001:db8::20" # Note the additional IPv6 range
... # Other cluster config info omitted
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
metadata:
name: default
namespace: cluster-bm
spec:
floatingIPs:
- 10.0.1.100
- 10.0.2.100
---
apiVersion: baremetal.cluster.gke.io/v1alpha1
kind: ClusterCIDRConfig
metadata:
name: cluster-wide-1
namespace: cluster-bm
spec:
ipv4:
cidr: "192.168.0.0/16"
perNodeMaskSize: 24
ipv6:
cidr: "2001:db8:1::/112"
perNodeMaskSize: 120
מגבלות על איזון עומסים משולב עם BGP ב-dual-stack
כשמגדירים את האשכול לשימוש ב-dual-stack, איזון עומסים בחבילה עם BGP, שימו לב למגבלות הבאות:
אין תמיכה באיזון עומסים במישור הבקרה של IPv6.
אין תמיכה בסשנים של IPv6 BGP, אבל אפשר לפרסם מסלולי IPv6 בסשנים של IPv4 באמצעות Multiprotocol BGP.
הגדרות לדוגמה
בקטעים הבאים מוסבר איך להגדיר איזון עומסים מבוסס-BGP לאפשרויות או להתנהגויות שונות.
הגדרת כל הצמתים כך שישתמשו באותם עמיתים
כפי שמוצג בתרשים הבא, ההגדרה הזו יוצרת קבוצה של עמיתים חיצוניים (10.8.0.10 ו-10.8.0.11) שכל הצמתים יכולים להגיע אליהם.
צומתי מישור הבקרה (10.0.1.10, 10.0.1.11 ו-10.0.2.10) וכתובות IP צפות (10.0.1.100 ו-10.0.2.100) שמוקצות לצומתי מישור הנתונים מגיעים כולם לעמיתים.
אותם עמיתים חיצוניים נגישים באמצעות כל אחת מכתובות ה-IP הצפות (10.0.1.100 או 10.0.2.100) ששמורות לשירותי הקישור בין רשתות שכנות (peering) של loadBalancer. אפשר להקצות את כתובות ה-IP הצפות לצמתים שנמצאים באותה רשת משנה.
כמו שמוצג בדוגמה הבאה להגדרת אשכול, מגדירים את העמיתים לצומתי מישור הבקרה, bgpPeers, בלי לציין את controlPlaneNodes.
אם לא מציינים צמתים לעמיתים, כל הצמתים של מישור הבקרה מתחברים לכל העמיתים.
אתם מציינים את כתובות ה-IP הצפות שבהן תשתמשו לסשנים של קישור בין רשתות שכנות (peering) לאיזון עומסים של שירותים במשאב המותאם אישית NetworkGatewayGroup. בדוגמה הזו, מכיוון שלא צוין BGPLoadBalancer, המערכת משתמשת באופן אוטומטי בנקודות הקצה של מישור הבקרה בשביל סשנים של BGP במישור הנתונים.
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
name: bm
namespace: cluster-bm
spec:
...
loadBalancer:
mode: bundled
# type can be 'bgp' or 'layer2'. If no type is specified, we default to layer2.
type: bgp
# AS number for the cluster
localASN: 65001
bgpPeers:
- ip: 10.8.0.10
asn: 65002
- ip: 10.8.0.11
asn: 65002
... (other cluster config omitted)
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
metadata:
name: default
namespace: cluster-bm
spec:
floatingIPs:
- 10.0.1.100
- 10.0.2.100
הגדרת צומתי מישור בקרה ספציפיים ל-peering עם עמיתים חיצוניים ספציפיים
כמו שמוצג בתרשים הבא, ההגדרה הזו יוצרת שני צומתי מישור בקרה (10.0.1.10 ו-10.0.1.11) שמקושרים לעמית חיצוני אחד (10.0.1.254). צומת מישור הבקרה השלישי (10.0.2.10) מקושר לעמית חיצוני אחר (10.0.2.254). ההגדרה הזו שימושית כשלא רוצים שכל הצמתים יתחברו לכל העמיתים. לדוגמה, יכול להיות שתרצו שצומתי מישור הבקרה יתחברו רק למתגי ה-ToR (בראש המדף) המתאימים.
אותם עמיתים חיצוניים נגישים באמצעות כל אחת מכתובות ה-IP הצפות (10.0.1.100 או 10.0.2.100) ששמורות לסשנים של קישור בין רשתות שכנות (peering) לאיזון עומסים של שירותים. אפשר להקצות את כתובות ה-IP הצפות לצמתים שנמצאים באותה רשת משנה.
כפי שמוצג בדוגמה הבאה להגדרת אשכול, אתם מגבילים את צומתי מישור הבקרה שיכולים להתחבר לעמית נתון על ידי ציון כתובות ה-IP שלהם בשדה controlPlaneNodes של העמית בקטע bgpPeers.
אתם מציינים את כתובות ה-IP הצפות שבהן תשתמשו לסשנים של קישור בין רשתות שכנות (peering) לאיזון עומסים של שירותים במשאב המותאם אישית NetworkGatewayGroup. בדוגמה הזו, מכיוון שלא צוין BGPLoadBalancer, המערכת משתמשת באופן אוטומטי בעמיתים של מישור הבקרה בשביל סשנים של BGP במישור הנתונים.
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
name: bm
namespace: cluster-bm
spec:
...
loadBalancer:
mode: bundled
# type can be 'bgp' or 'layer2'. If no type is specified, we default to layer2.
type: bgp
# AS number for the cluster
localASN: 65001
bgpPeers:
- ip: 10.0.1.254
asn: 65002
controlPlaneNodes:
- 10.0.1.10
- 10.0.1.11
- ip: 10.0.2.254
asn: 65002
controlPlaneNodes:
- 10.0.2.10
... (other cluster config omitted)
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
name: default
namespace: cluster-bm
spec:
floatingIPs:
- 10.0.1.100
- 10.0.2.100
הגדרה של מישור הבקרה ומישור הנתונים בנפרד
כמו שמוצג בתרשים הבא, התוצאה של ההגדרה הזו היא ששני צומתי מישור בקרה (10.0.1.10 ו-10.0.1.11) מקושרים לעמית חיצוני אחד (10.0.1.254), וצומת מישור הבקרה השלישי (10.0.2.11) מקושר לעמית חיצוני אחר (10.0.2.254).
אפשר להגיע למחשב עמית חיצוני שלישי (10.0.3.254) באמצעות אחת מכתובות ה-IP הצפות (10.0.3.100 או 10.0.3.101) ששמורות לסשנים של קישור בין רשתות שכנות (peering) לאיזון עומסים של שירותים. אפשר להקצות את כתובות ה-IP הצפות לצמתים שנמצאים באותה רשת משנה.
כפי שמוצג בדוגמה הבאה להגדרת אשכול, אתם מגבילים את צומתי מישור הבקרה שיכולים להתחבר לעמית נתון על ידי ציון כתובות ה-IP שלהם בשדה controlPlaneNodes של העמית בקטע bgpPeers.
אתם מציינים את כתובות ה-IP הצפות שבהן תשתמשו לסשנים של קישור בין רשתות שכנות (peering) לאיזון עומסים של שירותים במשאב המותאם אישית NetworkGatewayGroup.
כדי להגדיר את איזון העומסים במישור הנתונים:
מציינים את נקודת הקצה החיצונית של מישור הנתונים במשאב
BGPPeerומוסיפים תווית לשימוש בבחירת נקודת הקצה, למשלcluster.baremetal.gke.io/default-peer: "true".מציינים את התווית התואמת לשדה
peerSelectorבמשאבBGPLoadBalancer.
apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
name: bm
namespace: cluster-bm
spec:
...
loadBalancer:
mode: bundled
# type can be 'bgp' or 'layer2'. If no type is specified, we default to layer2.
type: bgp
# AS number for the cluster
localASN: 65001
bgpPeers:
- ip: 10.0.1.254
asn: 65002
controlPlaneNodes:
- 10.0.1.10
- 10.0.1.11
- ip: 10.0.2.254
asn: 65002
controlPlaneNodes:
- 10.0.2.11
... (other cluster config omitted)
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
name: default
namespace: cluster-bm
spec:
floatingIPs:
- 10.0.3.100
- 10.0.3.101
---
apiVersion: networking.gke.io/v1
kind: BGPLoadBalancer
metadata:
name: default
namespace: cluster-bm
spec:
peerSelector:
cluster.baremetal.gke.io/default-peer: "true"
---
apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
name: bgppeer1
namespace: cluster-bm
labels:
cluster.baremetal.gke.io/default-peer: "true"
spec:
localASN: 65001
peerASN: 65002
peerIP: 10.0.3.254
sessions: 2
שינוי ההגדרות של איזון העומסים שמבוסס על BGP
אחרי שיוצרים את האשכול שמוגדר לשימוש באיזון עומסים בחבילה עם BGP, אפשר לעדכן חלק מהגדרות האישיות, אבל חלק מהן אי אפשר לעדכן אחרי שיוצרים את האשכול.
כשאתם מבצעים עדכונים נוספים במשאבים שקשורים ל-BGP (NetworkGatewayGroup, BGPLoadBalancer ו-BGPPeer), אתם צריכים להשתמש בקובץ kubeconfig של אשכול האדמין. לאחר מכן, אשכול האדמין מתאים את השינויים לאשכול המשתמש. אם תערכו את המשאבים האלה ישירות באשכול המשתמש, אשכול האדמין יחליף את השינויים שלכם בהתאמות הבאות.
מישור הבקרה
אפשר לעדכן את פרטי ה-BGP-peering של מישור הבקרה במשאב Cluster.
אפשר להוסיף או להסיר עמיתים שצוינו בקטע של איזון העומסים במישור הבקרה.
בקטעים הבאים מפורטות השיטות המומלצות לעדכון פרטי ה-BGP Peering של מישור הבקרה.
בדיקת סטטוס העמית לפני העדכון
כדי לצמצם את הסיכון להגדרה שגויה של עמיתים, לפני שמבצעים שינויים צריך לוודא שסשנים של קישור בין עמיתים ב-BGP במישור הבקרה נמצאים במצב הצפוי. לדוגמה, אם אתם מצפים שכל הסשנים של קישור Peering ב-BGP יהיו פעילים, ודאו שכל ה-Pods של bgp-advertiser מדווחים על ready, מה שמציין שהסשנים פעילים. אם הסטטוס הנוכחי לא תואם למה שציפיתם, תקנו את הבעיה לפני שתעדכנו את הגדרת ה-peer.
למידע על אחזור פרטי סשן BGP של מישור הבקרה, ראו סשנים של BGP במישור הבקרה.
עדכון עמיתים באופן מבוקר
אם אפשר, כדאי לעדכן כל עמית בנפרד כדי לבודד בעיות אפשריות:
- הוספה או עדכון של עמית יחיד.
- מחכים שההגדרות יתואמו.
- מוודאים שהאשכול יכול להתחבר למערכת המקבילה החדשה או המעודכנת.
- מסירים את הישויות הישנות או המיותרות.
שירותים
כדי לעדכן את מאגרי הכתובות ואת ההגדרות של צומת מאזן העומסים, עורכים את nodePoolSpec במשאב Cluster.
כדי לשנות את הגדרת ה-BGP Peering אחרי יצירת האשכול, עורכים את המשאבים המותאמים אישית NetworkGatewayGroup ו-BGPLoadBalancer. כל שינוי בפרטי ה-peering במשאבים המותאמים אישית האלה משתקף בהגדרות של פתרון איזון העומסים באשכול היעד.
מבצעים עדכונים במשאבי המקור במרחב השמות של האשכול באשכול האדמין בלבד. כל השינויים שבוצעו במשאבים באשכול היעד (המשתמש) נמחקים.
פתרון בעיות
בקטעים הבאים מוסבר איך לגשת למידע על פתרון בעיות באיזון עומסים מקובץ עם BGP.
סשנים של BGP במישור הבקרה
הגדרת ה-BGP-peering של מישור הבקרה מאומתת באמצעות בדיקות מקדימות במהלך יצירת האשכול. בדיקות קדם ההפעלה מנסות:
- יוצרים חיבור BGP עם כל נתב.
- מפרסמים את ה-VIP של מישור הבקרה.
- מוודאים שאפשר להגיע לצומת של מישור הבקרה באמצעות ה-VIP.
אם יצירת האשכול נכשלת בבדיקות קדם ההפעלה, צריך לבדוק אם יש שגיאות ביומני בדיקות קדם ההפעלה. קובצי היומן של הבדיקה המקדימה עם חותמת התאריך נמצאים בספרייה baremetal/bmctl-workspace/CLUSTER_NAME/log.
בזמן הריצה, רמקולי ה-BGP של מישור הבקרה פועלים כ-pods סטטיים בכל צומת של מישור הבקרה וכותבים מידע על אירועים ביומנים. השם של הפודים הסטטיים האלה כולל את המחרוזת bgpadvertiser, לכן צריך להשתמש בפקודה הבאה של kubectl get pods כדי לראות את הסטטוס של הפודים של רמקול ה-BGP:
kubectl -n kube-system get pods | grep bgpadvertiser
כשה-Pods פועלים כמו שצריך, התגובה נראית בערך כך:
bgpadvertiser-node-01 1/1 Running 1 167m
bgpadvertiser-node-02 1/1 Running 1 165m
bgpadvertiser-node-03 1/1 Running 1 163m
כדי להציג את היומנים של Pod bgpadvertiser-node-01, משתמשים בפקודה הבאה:
kubectl -n kube-system logs bgpadvertiser-node-01
סשנים של BGP לשירותים
המשאב BGPSession מספק מידע על סשנים נוכחיים של BGP. כדי לקבל מידע על סשן, קודם צריך לקבל את הסשנים הנוכחיים, ואז לאחזר את המשאב BGPSession של אחד מהסשנים.
כדי להציג את רשימת הסשנים הנוכחיים, משתמשים בפקודה kubectl get הבאה:
kubectl -n kube-system get bgpsessions
הפקודה מחזירה רשימה של סשנים, כמו בדוגמה הבאה:
NAME LOCAL ASN PEER ASN LOCAL IP PEER IP STATE LAST REPORT
10.0.1.254-node-01 65500 65000 10.0.1.178 10.0.1.254 Established 2s
10.0.1.254-node-02 65500 65000 10.0.3.212 10.0.1.254 Established 2s
10.0.3.254-node-01 65500 65000 10.0.1.178 10.0.3.254 Established 2s
10.0.3.254-node-02 65500 65000 10.0.3.212 10.0.3.254 Established 2s
מריצים את הפקודה kubectl describe הבאה כדי לקבל את המשאב BGPSession של סשן ה-BGP שנקרא 10.0.1.254-node-01:
kubectl -n kube-system describe bgpsession 10.0.1.254-node-01
המשאב BGPSession שמוחזר אמור להיראות בערך כמו בדוגמה הבאה:
Name: 10.0.1.254-node-01
Namespace: kube-system
Labels: <none>
Annotations: <none>
API Version: networking.gke.io/v1
Kind: BGPSession
Metadata:
(omitted)
Spec:
Floating IP: 10.0.1.178
Local ASN: 65500
Local IP: 10.0.1.178
Node Name: node-01
Peer ASN: 65000
Peer IP: 10.0.1.254
Status:
Advertised Routes:
10.0.4.1/32
Last Report Time: 2021-06-14T22:09:36Z
State: Established
משתמשים בפקודה kubectl get כדי לקבל את המשאבים של BGPAdvertisedRoute:
kubectl -n kube-system get bgpadvertisedroutes
התגובה אמורה להיראות כמו בדוגמה הבאה, שבה מוצגים המסלולים שפורסמו:
NAME PREFIX METRIC
default-default-load-balancer-example 10.1.1.34/32
default-gke-system-istio-ingress 10.1.1.107/32
אפשר להשתמש ב-kubectl describe כדי לראות פרטים על הצעדים הבאים שכל מסלול מפרסם.
שחזור הגישה לכתובת ה-VIP של מישור הבקרה באשכולות בניהול עצמי
כדי לקבל שוב גישה ל-VIP של מישור הבקרה באשכול אדמין, באשכול היברידי או באשכול עצמאי, צריך לעדכן את הגדרת ה-BGP באשכול. כמו שמוצג בדוגמה הבאה, משתמשים ב-SSH כדי להתחבר לצומת, ואז משתמשים ב-kubectl כדי לפתוח את משאב האשכול לעריכה.
ssh -i IDENTITY_FILE root@CLUSTER_NODE_IP
kubectl --kubeconfig /etc/kubernetes/admin.conf edit -n CLUSTER_NAMESPACE cluster CLUSTER_NAME
מחליפים את מה שכתוב בשדות הבאים:
-
IDENTITY_FILE: השם של קובץ הזהות של SSH שמכיל את מפתח הזהות לאימות מפתח ציבורי. -
CLUSTER_NODE_IP: כתובת ה-IP של הצומת באשכול. -
CLUSTER_NAMESPACE: מרחב השמות של האשכול. -
CLUSTER_NAME: שם האשכול.
משנים את הגדרת ה-BGP Peering באובייקט האשכול. אחרי ששומרים את הגדרת האשכול החדשה, עוקבים אחרי התקינות של הפודים של bgpadvertiser. אם ההגדרה פועלת, הפודים מופעלים מחדש וחוזרים למצב תקין כשהם מתחברים לפודים האחרים.
אימות ידני של BGP
בקטע הזה מוסבר איך לאמת ידנית את הגדרות ה-BGP. התהליך מגדיר חיבור BGP לטווח ארוך, כדי שתוכלו להמשיך לנפות באגים בהגדרת ה-BGP עם צוות הרשת שלכם. השתמשו בהליך הזה כדי לאמת את ההגדרות האישיות לפני שאתם יוצרים אשכול, או אם בדיקות ההכנה שקשורות ל-BGP נכשלות.
בדיקות מקדימות מבצעות באופן אוטומטי את משימות האימות הבאות של BGP:
- הגדרת חיבור BGP לעמית.
- מפרסמים את ה-VIP של מישור הבקרה.
- מוודאים שתנועה שנשלחת מכל שאר הצמתים באשכול ל-VIP מגיעה לצומת הנוכחי של מאזן העומסים.
המשימות האלה מופעלות לכל נתב BGP בכל צומת של מישור הבקרה. חשוב מאוד לעבור את הבדיקות האלה כשיוצרים אשכול. עם זאת, בדיקות ה-preflight לא יוצרות חיבורים לטווח ארוך, ולכן קשה לנפות באגים במקרה של כשל.
בקטעים הבאים מוסבר איך להגדיר חיבור BGP ולפרסם מסלול ממכונה אחת באשכול לנתב אחד. כדי לבדוק כמה מכונות וכמה עמיתים, חוזרים על ההוראות שוב, באמצעות שילוב אחר של מכונה ועמית.
חשוב לזכור שחיבורי BGP נוצרים מצומתי מישור הבקרה, לכן צריך לבדוק את התהליך הזה מאחד מצומתי מישור הבקרה המתוכננים.
הורדת הקובץ הבינארי של תוכנית הבדיקה של BGP
מבצעים את השלבים שבקטע הזה בתחנת העבודה של האדמין. בשלבים האלה מורידים את התוכנית bgpadvertiser שמשמשת לבדיקת חיבורי BGP, ומעתיקים אותה לצומתי מישור הבקרה שבהם רוצים לבצע את הבדיקה.
מורידים את קובץ האימג' של Docker של ansible-runner.
ללא מראה של המרשם
אם אתם לא משתמשים ב-registry mirror, הריצו את הפקודות הבאות כדי למשוך את קובץ האימג' של Docker של ansible-runner:
gcloud auth login gcloud auth configure-docker docker pull gcr.io/anthos-baremetal-release/ansible-runner:1.10.0-gke.13עם Registry Mirror
אם אתם משתמשים ב-registry mirror, הריצו את הפקודות הבאות כדי למשוך את קובץ האימג' של Docker של ansible-runner:
docker login REGISTRY_HOST docker pull REGISTRY_HOST/anthos-baremetal-release/ansible-runner:1.10.0-gke.13מחליפים את REGISTRY_HOST בשם של שרת המראה של המרשם.
כדי לחלץ את הקובץ הבינארי של
bgpadvertiser.ללא מראה של המרשם
כדי לחלץ את הקובץ הבינארי של
bgpadvertiser, מריצים את הפקודה הבאה:docker cp $(docker create gcr.io/anthos-baremetal-release/ansible-runner:1.10.0-gke.13):/bgpadvertiser .עם Registry Mirror
כדי לחלץ את הקובץ הבינארי של
bgpadvertiser, מריצים את הפקודה הבאה:docker cp $(docker create REGISTRY_HOST/anthos-baremetal-release/ansible-runner:1.10.0-gke.13):/bgpadvertiser .כדי להעתיק את הקובץ הבינארי של
bgpadvertiserלצומת של מישור הבקרה שרוצים לבדוק, מריצים את הפקודה הבאה:scp bgpadvertiser USERNAME>@CP_NODE_IP:/tmp/מחליפים את מה שכתוב בשדות הבאים:
USERNAME: שם המשתמש שמשמש לגישה לצומת של מישור הבקרה.
CP_NODE_IP: כתובת ה-IP של צומת מישור הבקרה.
הגדרת חיבור BGP
מבצעים את השלבים שבקטע הזה בצומת של מישור הבקרה.
יוצרים קובץ תצורה בצומת ב-
/tmp/bgpadvertiser.conf, שנראה כך:localIP: NODE_IP localASN: CLUSTER_ASN peers: - peerIP: PEER_IP peerASN: PEER_ASNמחליפים את מה שכתוב בשדות הבאים:
-
NODE_IP: כתובת ה-IP של צומת מישור הבקרה שאתם נמצאים בו. -
CLUSTER_ASN: מספר המערכת האוטונומית שמשמשת את האשכול. -
PEER_IP: כתובת ה-IP של אחד מהמחשבים המקבילים החיצוניים שרוצים לבדוק. -
PEER_ASN: מספר המערכת האוטונומית של הרשת שמכילה את המכשיר החיצוני המקביל.
-
מריצים את ה-daemon של
bgpadvertiser, ומחליפים את ה-VIP של מישור הבקרה בפקודה הבאה:/tmp/bgpadvertiser --config /tmp/bgpadvertiser.conf --advertise-ip CONTROL_PLANE_VIPמחליפים את
CONTROL_PLANE_VIPבכתובת ה-IP שבה רוצים להשתמש ל-VIP של מישור הבקרה. הפקודה הזו גורמת למפרסם ה-BGP לפרסם את הכתובת הזו לעמית.צופים בפלט של התוכנית.
בשלב הזה, הדימון (daemon) של
bgpadvertiserמופעל, מנסה להתחבר לעמית ומפרסם את ה-VIP. התוכנית מדפיסה מדי פעם הודעות (ראו את הפלט לדוגמה בהמשך) שכוללות אתBGP_FSM_ESTABLISHEDכשחיבור ה-BGP נוצר.{"level":"info","ts":1646788815.5588224,"logger":"BGPSpeaker","msg":"GoBGP gRPC debug endpoint disabled","localIP":"21.0.101.64"} {"level":"info","ts":1646788815.5596201,"logger":"BGPSpeaker","msg":"Started.","localIP":"21.0.101.64"} I0309 01:20:15.559667 1320826 main.go:154] BGP advertiser started. I0309 01:20:15.561434 1320826 main.go:170] Health status HTTP server started at "127.0.0.1:8080". INFO[0000] Add a peer configuration for:21.0.101.80 Topic=Peer {"level":"info","ts":1646788815.5623345,"logger":"BGPSpeaker","msg":"Peer added.","localIP":"21.0.101.64","peer":"21.0.101.80/4273481989"} DEBU[0000] IdleHoldTimer expired Duration=0 Key=21.0.101.80 Topic=Peer I0309 01:20:15.563503 1320826 main.go:187] Peer applied: {4273481989 21.0.101.80} DEBU[0000] state changed Key=21.0.101.80 Topic=Peer new=BGP_FSM_ACTIVE old=BGP_FSM_IDLE reason=idle-hold-timer-expired DEBU[0000] create Destination Nlri=10.0.0.1/32 Topic=Table {"level":"info","ts":1646788815.5670514,"logger":"BGPSpeaker","msg":"Route added.","localIP":"21.0.101.64","route":{"ID":0,"Metric":0,"NextHop":"21.0.101.64","Prefix":"10.0.0.1/32","VRF":""}} I0309 01:20:15.568029 1320826 main.go:199] Route added: {0 0 21.0.101.64 10.0.0.1/32 } I0309 01:20:15.568073 1320826 main.go:201] BGP advertiser serving... DEBU[0005] try to connect Key=21.0.101.80 Topic=Peer DEBU[0005] state changed Key=21.0.101.80 Topic=Peer new=BGP_FSM_OPENSENT old=BGP_FSM_ACTIVE reason=new-connection DEBU[0005] state changed Key=21.0.101.80 Topic=Peer new=BGP_FSM_OPENCONFIRM old=BGP_FSM_OPENSENT reason=open-msg-received INFO[0005] Peer Up Key=21.0.101.80 State=BGP_FSM_OPENCONFIRM Topic=Peer DEBU[0005] state changed Key=21.0.101.80 Topic=Peer new=BGP_FSM_ESTABLISHED old=BGP_FSM_OPENCONFIRM reason=open-msg-negotiated DEBU[0005] sent update Key=21.0.101.80 State=BGP_FSM_ESTABLISHED Topic=Peer attributes="[{Origin: i} 4273481990 {Nexthop: 21.0.101.64}]" nlri="[10.0.0.1/32]" withdrawals="[]" DEBU[0006] received update Key=21.0.101.80 Topic=Peer attributes="[{Origin: i} 4273481989 4273481990 {Nexthop: 21.0.101.64}]" nlri="[10.0.0.1/32]" withdrawals="[]" DEBU[0006] create Destination Nlri=10.0.0.1/32 Topic=Table DEBU[0035] sent Key=21.0.101.80 State=BGP_FSM_ESTABLISHED Topic=Peer data="&{{[] 19 4} 0x166e528}" DEBU[0065] sent Key=21.0.101.80 State=BGP_FSM_ESTABLISHED Topic=Peer data="&{{[] 19 4} 0x166e528}"
אם ההודעות האלה לא מופיעות, צריך לבדוק שוב את הפרמטרים של הגדרת ה-BGP בקובץ התצורה ולוודא אותם עם מנהל הרשת. עכשיו יש לכם חיבור BGP מוגדר. אפשר לבקש ממנהל הרשת לוודא שהחיבור נוצר בצד שלו ושהוא רואה את פרסום הניתוב.
בדיקת תנועה
כדי לבדוק אם הרשת יכולה להעביר תנועה ל-VIP, צריך להוסיף את ה-VIP לצומת מישור הבקרה שבו פועל bgpadvertiser. מריצים את הפקודה הבאה בטרמינל אחר כדי ש-bgpadvertiser ימשיך לפעול:
מוסיפים את ה-VIP לצומת של מישור הבקרה:
ip addr add CONTROL_PLANE_VIP/32 dev INTF_NAMEמחליפים את מה שכתוב בשדות הבאים:
-
CONTROL_PLANE_VIP: הארגומנט של VIP--advertise-ipב-bgpadvertiser. -
INTF_NAME: הממשק של Kubernetes בצומת. כלומר, הממשק עם כתובת ה-IP שהזנתם בהגדרות של Google Distributed Cloud בשבילloadBalancer.bgpPeers.controlPlaneNodes.
-
שולחים פינג ל-VIP מצומת אחר:
ping CONTROL_PLANE_VIPאם הפינג לא מצליח, יכול להיות שיש בעיה בהגדרת ה-BGP במכשיר הרשת. כדי לפתור את הבעיה, צריך לפנות למנהל הרשת ולבקש ממנו לבדוק את ההגדרות.
הסרת המשאבים
חשוב לבצע את השלבים הבאים כדי לאפס את הצומת אחרי שמוודאים באופן ידני ש-BGP פועל. אם לא מאפסים את הצומת כמו שצריך, ההגדרה הידנית עלולה להפריע לבדיקה המקדימה או ליצירת האשכול לאחר מכן.
אם הוספתם את ה-VIP לצומת של מישור הבקרה בשביל בדיקת התנועה, הסירו אותו:
ip addr del CONTROL_PLANE_VIP/32 dev INTF_NAMEבצומת של מישור הבקרה, מקישים על
Ctrl+Cבטרמינל שלbgpadvertiserכדי לעצור את bgpadvertiser.מוודאים שאין תהליכים של
bgpadvertiserשפועלים:ps -ef | grep bgpadvertiserאם רואים תהליכים שפועלים, עוצרים אותם באמצעות הפקודה
kill.
מגבלת בורר BGP עם Cloud API או Terraform
כשמנהלים אשכולות של Google Distributed Cloud באמצעות GKE On-Prem API (Terraform, מסוף Google Cloud או ה-CLI של gcloud), אי אפשר לציין בוררי BGP בהגדרות של האשכול. אם באשכול שלכם נעשה שימוש באיזון עומסים של BGP וב-Egress NAT, יכול להיות שההתאמה בין שכנים ב-BGP תיכשל.
דרך לעקיפת הבעיה
כדי לבצע שינויים ידניים, צריך להגדיר את מאזן העומסים ל-"unmanaged" באשכול האדמין. ההגדרה הזו מונעת מ-GKE On-Prem API להתאים באופן אוטומטי את השינויים למאזן העומסים.
- אכיפת IP anti-affinity: פיצול ה-
NetworkGatewayGroupשל BGP למשאביNetworkGatewayGroupנפרדים (אחד לכל כתובת IP צפה) ושימוש ב-nodeSelectorבכלNetworkGatewayGroupכדי להצמיד את כתובת ה-IP הצפה לצומת פיזי ספציפי. כך אפשר למנוע מצב שבו כמה כתובות IP של BGP מגיעות לאותו צומת. - ביטול הניהול של מאזן העומסים: באשכול האדמין, מסירים את ההערה
baremetal.cluster.gke.io/managed: "true"מהמשאבBGPLoadBalancerבמרחב השמות של אשכול המשתמש. כך הבקרים של GDC לא יבטלו את השינויים הידניים שביצעתם. - תיקון משאבי BGPPeer: מתקנים ידנית את משאבי
BGPPeerבאשכול האדמין כדי להוסיף את הבלוקselectorsשמפנה למשאביNetworkGatewayGroupולכתובות ה-IP הצפות הנכונות. השינויים האלה מסתנכרנים עם אשכול המשתמשים ומייצבים את הסשנים של BGP.