הגדרת מאזני עומסים בחבילה עם BGP

מאזני עומסים מקובצים עם Border Gateway Protocol ‏ (BGP) מאפשרים לכם לפרסם כתובות IP וירטואליות (VIP) למישור הבקרה ולשירותי ServiceType LoadBalancer באמצעות BGP חיצוני (eBGP) לאשכולות של Google Distributed Cloud. רשת האשכול פועלת כמערכת אוטונומית שמתחברת לרשת חיצונית. כשהרשת משתמשת בניתוב מסלולים מרובים בעלות שווה (ECMP) וב-BGP ADD-PATH, התכונה הזו מספקת איזון עומסים פעיל/פעיל ב-N כיוונים, כדי לאפשר יתירות כשל מהירה יותר ושימוש יעיל יותר ברוחב הפס. הוא פועל עם מתגים ונתבים של צד שלישי בראש הארון (ToR) שתומכים ב-eBGP. במרכזי נתונים שפועל בהם מחסנית של שירותי Networking מוגדרי-תוכנה (SDN), אפשר גם להעביר את הגבול של שכבה 3 עד לאשכולות.

היכולת הזו רלוונטית לכל סוגי האשכולות, אבל אשכולות אדמין תומכים רק באיזון עומסים במישור הבקרה. כדי להגדיר את התכונה הזו ב-GKE On-Prem API, משתמשים ב-BareMetalLoadBalancerConfig לאשכולות של משתמשים, או ב-BareMetalAdminLoadBalancerConfig לאשכולות של אדמינים בגרסה 1.34 ואילך.

איך פועל איזון עומסים מקובץ עם BGP

בקטעים הבאים מוסבר בקצרה איך פועלים מאזני עומסים מקובצים עם BGP.

קישור BGP בין רשתות שכנות (peering)

התכונה "מַאזני עומסים מקובצים עם BGP" מפעילה כמה חיבורי BGP לתשתית שלכם. ל-BGP יש את הדרישות הטכניות הבאות:

  • סשנים של קישור שכנים (peering) נפרדים לכתובת ה-VIP של מישור הבקרה ולכתובות ה-VIP של השירותים.
  • סשנים של קישור בין רשתות שכנות (peering) במישור הבקרה מתחילים מכתובות ה-IP של הצמתים במישור הבקרה.
  • סשנים של קישור בין רשתות שכנות מתחילים מכתובות IP צפות שאתם מציינים במשאב בהתאמה אישית של NetworkGatewayGroup.
  • שער הרשת של בקר GDC מנהל את כתובות ה-IP הצפות.
  • איזון עומסים מבוסס-BGP בחבילה תומך רק בקישור בין שכנים ב-eBGP.
  • כברירת מחדל, יש תמיכה בקישור מעבר בין רשתות שכנות (peering) עם כמה דילוגים.
  • אין תמיכה בסיסמאות MD5 בסשנים של BGP.
  • אין תמיכה בסשנים של קישור בין רשתות שכנות (peering) שמבוססים על IPv6.
  • הנתיבים שמפורסמים לכל עמית אמורים להיות מופצים מחדש ברשת, וניתן להגיע אליהם מכל מקום אחר באשכול.
  • מומלץ להשתמש ביכולת ADD-PATH של BGP במצב קבלה לסשנים של קישור שכנים.
  • פרסום של כמה נתיבים מכל נקודת קצה (peer) גורם לאיזון עומסים פעיל/פעיל.
  • צריך להפעיל ברשת ניתוב מרובה נתיבים בעלות שווה (ECMP), כדי שאפשר יהיה להשתמש בכמה נתיבים להפצת תעבורת הנתונים בקבוצה של צומתי מאזן עומסים.
  • מגדירים את סשני ה-BGP בעמיתים החיצוניים (כמו מתגי Top-of-Rack) במצב פסיבי. הצמתים באשכול וכתובות ה-IP הצפות פועלים כעמיתים פעילים ומתחילים את סשני ה-BGP Peering.

איזון עומסים במישור הבקרה

כל צומת של מישור הבקרה באשכול יוצר סשנים של BGP עם עמית אחד או יותר בתשתית. כל צומת במישור הבקרה צריך להיות מקושר לפחות לצומת אחד אחר. בקובץ התצורה של האשכול, אתם יכולים להגדיר אילו צמתים של מישור הבקרה יתחברו לאילו עמיתים חיצוניים.

בתרשים הבא מוצגת דוגמה של קישור בין רשתות שכנות (peering) במישור הבקרה. לאשכול יש שני צמתים של מישור הבקרה ברשת משנה אחת וצומת אחד ברשת משנה אחרת. בכל רשת משנה יש נקודת קצה חיצונית (TOR), והצמתים של מישור הבקרה של Google Distributed Cloud מתחברים ל-TOR שלהם.

איזון עומסים של שירותים עם קישור BGP בין רשתות שכנות

איזון עומסים בשירות

בנוסף לסשנים של קישור Peering שמתחילים מכל צומת של מישור הבקרה בשביל קישור Peering של מישור הבקרה, מתחילים סשנים נוספים של קישור Peering בשביל שירותי LoadBalancer. הסשנים האלה של קישור שכנים לא מתחילים ישירות מכתובות ה-IP של הצמתים באשכול, אלא משתמשים בכתובות IP צפות.

יש תמיכה בשירותים עם מדיניות רשת ב-Kubernetes מסוג externalTrafficPolicy=Local. עם זאת, ההגדרה externalTrafficPolicy=Local תלויה בעומס העבודה וגורמת לעדכון של המסלולים בכל פעם ש-Pod שמגבה את השירות מתווסף לצומת או מוסר ממנו לחלוטין. ההתנהגות הזו של עדכון המסלולים עלולה לגרום לשינוי של זרימת התנועה בניתוב Equal Cost Multi-Path ‏ (ECMP), וכתוצאה מכך לירידה בתנועה.

כתובות IP צפות

כדי לאזן את העומסים בשירות, צריך להקצות כתובות IP צפות ברשתות המשנה של הצמתים באשכול, שישמשו להתאמת BGP. לאשכול נדרשת לפחות כתובת IP צפה אחת, אבל מומלץ להקצות לפחות שתי כתובות כדי להבטיח זמינות גבוהה של סשנים של BGP. כתובות ה-IP הצפות מצוינות במשאב המותאם אישית (CR) של NetworkGatewayGroup, שאפשר לכלול בקובץ התצורה של האשכול.

כתובות IP צפות מסירות את הצורך במיפוי כתובות IP של רמקולי BGP לצמתים. הבקר של Network Gateway for GDC מקצה את ה-NetworkGatewayGroup לצמתים ומנהל את כתובות ה-IP הצפות. אם צומת מושבת, הבקר של שער הרשת ל-GDC מקצה מחדש כתובות IP צפות כדי לוודא שלעמיתים החיצוניים יש כתובת IP דטרמיניסטית להתחבר אליה.

משתמשים חיצוניים

לאיזון עומסים במישור הנתונים, אתם יכולים להשתמש באותם עמיתים חיצוניים שצוינו להצמדת עמיתים במישור הבקרה בקטע loadBalancer.controlPlaneBGP של קובץ התצורה של האשכול. לחלופין, אפשר לציין נקודות קצה שונות של BGP.

אם רוצים לציין נקודות קצה שונות של BGP להעברת נתונים בין נקודות קצה, מוסיפים את מפרטי המשאבים BGPLoadBalancer ו-BGPPeer לקובץ ההגדרות של האשכול. אם לא תציינו את המשאבים בהתאמה אישית, המערכת תשתמש באופן אוטומטי בעמיתים של מישור הבקרה בשביל מישור הנתונים.

אתם מציינים את נקודות הקצה החיצוניות שמשמשות לסשנים של קישור בין רשתות שכנות (peering) עם כתובות ה-IP הצפות במשאב בהתאמה אישית BGPPeer, שאותו אתם מוסיפים לקובץ ההגדרות של האשכול. המשאב BGPPeer כולל תווית לזיהוי על ידי המשאב המותאם אישית התואם BGPLoadBalancer. כדי לבחור את ה-BGPPeer לשימוש, מציינים את התווית התואמת בשדה peerSelector במשאב המותאם אישית BGPLoadBalancer.

הבקר של Network Gateway for GDC מנסה ליצור סשנים (אפשר להגדיר את מספר הסשנים) לכל נקודת קצה חיצונית, מתוך קבוצת כתובות ה-IP הצפות השמורות. כדי להבטיח זמינות גבוהה של סשנים של BGP, מומלץ לציין לפחות שתי נקודות קצה חיצוניות. כל נקודת קצה חיצונית שמיועדת לאיזון עומסים של שירותים צריכה להיות מוגדרת כך שתתחבר לכל כתובת IP צפה שצוינה במשאב המותאם אישית NetworkGatewayGroup.

צמתים של מאזן עומסים

קבוצת משנה של צמתים מהאשכול משמשת לאיזון עומסים, כלומר אלה הצמתים שמוגדרים ככאלה שיכולים לקבל תנועה נכנסת של איזון עומסים. קבוצת הצמתים הזו מוגדרת כברירת מחדל למאגר הצמתים של מישור הבקרה, אבל אפשר לציין מאגר צמתים אחר בקטע loadBalancer של קובץ התצורה של האשכול. אם מציינים מאגר צמתים, הוא משמש לצמתים של מאזן העומסים במקום למאגר הצמתים של מישור הבקרה.

כתובות ה-IP הצפות, שפועלות כרמקולים של BGP, יכולות לפעול בצמתים של מאזן העומסים, אבל לא חייבות. כתובות ה-IP הצפות מוקצות לצומת באותו רשת משנה, וההתאמה בין רשתות שכנות (peering) מתחילה משם, גם אם מדובר בצומת של מאזן עומסים. עם זאת, הצעדים הבאים שמפורסמים דרך BGP הם תמיד הצמתים של מאזן העומסים.

דוגמה לטופולוגיית קישור בין רשתות שכנות (peering)

בתרשים הבא מוצגת דוגמה לאיזון עומסים של שירות עם קישור שכנים ב-BGP. יש שתי כתובות IP צפות שמוקצות לצמתים ברשתות המשנה שלהם. יש שני עמיתים חיצוניים מוגדרים. כל כתובת IP צפה מקושרת לשני העמיתים החיצוניים.

איזון עומסים של שירותים עם קישור BGP בין רשתות שכנות

הגדרת מאזן העומסים של BGP

בקטעים הבאים מוסבר איך להגדיר את האשכולות ואת הרשת החיצונית לשימוש במאזן העומסים המצורף עם BGP.

תכנון השילוב עם תשתית חיצונית

כדי להשתמש במאזן העומסים המצורף עם BGP, צריך להגדיר את התשתית החיצונית:

  • כדי להגדיר את התקשורת של מישור הבקרה, צריך להגדיר את התשתית החיצונית כך שתתחבר לכל אחד מהצמתים של מישור הבקרה באשכול. סשנים אלה של קישור שכנים משמשים לפרסום כתובות ה-VIP של מישור הבקרה של Kubernetes.

  • צריך להגדיר תשתית חיצונית שתתחבר באמצעות Peering לקבוצה של כתובות IP צפות שמיועדות לתקשורת במישור הנתונים. כתובות ה-IP הצפות משמשות ל-BGP peering של כתובות ה-VIP של השירות. כדי להבטיח זמינות גבוהה של סשנים של BGP, מומלץ להשתמש בשתי כתובות IP צפות ובשני עמיתים. התהליך של הקצאת כתובת IP צפה מתואר כחלק מהגדרת האשכול לאיזון עומסים מקובץ באמצעות BGP.

אחרי שמגדירים את התשתית, מוסיפים את פרטי ה-BGP Peering לקובץ התצורה של האשכול. האשכול שאתם יוצרים יכול להתחיל סשנים של קישור בין רשתות שכנות (peering) עם התשתית החיצונית.

הגדרת האשכול לאיזון עומסים בחבילה עם BGP

כשיוצרים אשכול, מפעילים ומגדירים את איזון העומסים המצורף עם BGP בקובץ התצורה של האשכול. בקובץ התצורה של האשכול, מפעילים את הרשת המתקדמת ומעדכנים את הקטע loadBalancer. אתם גם מוסיפים מפרטים לשלושת המשאבים הבאים בהתאמה אישית:

  • ‫NetworkGatewayGroup: מציין כתובות IP צפות שמשמשות לסשנים של קישור ישיר (peering) ב-BGP של שירותים.

  • ‫BGPLoadBalancer: מציין באמצעות בוררי תוויות אילו נקודות קצה משמשות לאיזון עומסים של BGP.

  • ‫BGPPeer: מציין נקודות קצה (Peers) ספציפיות, כולל תווית למטרות בחירה, לסשנים של קישור שכנים ב-BGP.

בהוראות הבאות מוסבר איך להגדיר את האשכול ואת שלושת המשאבים בהתאמה אישית כדי להגדיר איזון עומסים בחבילה עם BGP.

  1. מוסיפים את השדה advancedNetworking לקובץ התצורה של האשכול בקטע clusterNetwork ומגדירים אותו ל-true.

    השדה הזה מאפשר יכולת מתקדמת של עבודה ברשת, ובמיוחד את המשאב Network Gateway Group.

    apiVersion: baremetal.cluster.gke.io/v1
    kind: Cluster
    metadata:
      name: bm
      namespace: CLUSTER_NAMESPACE
    spec:
    ...
      clusterNetwork:
        advancedNetworking: true
    

    מחליפים את CLUSTER_NAMESPACE במרחב השמות של האשכול. כברירת מחדל, מרחבי השמות של האשכולות ב-Google Distributed Cloud הם שם האשכול עם הקידומת cluster-. לדוגמה, אם נותנים לאשכול את השם test, מרחב השמות הוא cluster-test.

  2. בקטע loadBalancer של קובץ התצורה של האשכול, מגדירים את mode ל-bundled ומוסיפים שדה type עם הערך bgp.

    ערכי השדות האלה מאפשרים איזון עומסים מקובץ שמבוסס על BGP.

    ...
      loadBalancer:
        mode: bundled
    
        # type can be 'bgp' or 'layer2'. If no type is specified, we default to layer2.
        type: bgp
        ...
    
  3. כדי לציין את פרטי ה-BGP-peering של מישור הבקרה, מוסיפים את השדות הבאים לקטע loadBalancer:

        ...
        # AS number for the cluster
        localASN: CLUSTER_ASN
    
        # List of BGP peers used for the control plane peering sessions.
        bgpPeers:
        - ip: PEER_IP
          asn: PEER_ASN
          # optional; if not specified, all CP nodes connect to all peers.
          controlPlaneNodes:   # optional
          - CP_NODE_IP
    ...
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫CLUSTER_ASN: מספר המערכת האוטונומית של האשכול שנוצר.
    • ‫PEER_IP: כתובת ה-IP של המכשיר החיצוני המקביל.
    • ‫PEER_ASN: מספר המערכת האוטונומית של הרשת שמכילה את המכשיר החיצוני המקביל.
    • ‫CP_NODE_IP: (אופציונלי) כתובת ה-IP של צומת מישור הבקרה שמתחבר לישות המקבילה החיצונית. אם לא תציינו צומתי מישור בקרה, כל צומתי מישור הבקרה יוכלו להתחבר לעמית החיצוני. אם מציינים כתובת IP אחת או יותר, רק הצמתים שצוינו משתתפים בסשנים של קישור שכנים.

    אפשר לציין כמה נקודות קצה חיצוניות, bgpPeers מקבל רשימה של מיפויים. כדי להבטיח זמינות גבוהה של סשנים של BGP, מומלץ לציין לפחות שני עמיתים חיצוניים. בקטע הגדרות לדוגמה מופיעה דוגמה עם כמה נקודות קצה (peers).

  4. מגדירים את השדות loadBalancer.ports,‏ loadBalancer.vips ו-loadBalancer.addressPools (מוצגים ערכי ברירת המחדל).

    ...
      loadBalancer:
      ...
        # Other existing load balancer options remain the same
        ports:
          controlPlaneLBPort: 443
        # When type=bgp, the VIPs are advertised over BGP
        vips:
          controlPlaneVIP: 10.0.0.8
          ingressVIP: 10.0.0.1
    
        addressPools:
        - name: pool1
          addresses:
          - 10.0.0.1-10.0.0.4
    ...
    
  5. מציינים את הצומת באשכול שישמש לאיזון עומסים במישור הנתונים.

    השלב הזה הוא אופציונלי. אם לא מבטלים את ההערה בקטע nodePoolSpec, הצמתים של מישור הבקרה משמשים לאיזון עומסים במישור הנתונים.

    ...
      # Node pool used for load balancing data plane (nodes where incoming traffic
      # arrives. If not specified, this defaults to the control plane node pool.
      # nodePoolSpec:
      #   nodes:
      #   - address: <Machine 1 IP>
    ...
    
  6. שומרים כתובות IP צפות על ידי הגדרת המשאב בהתאמה אישית NetworkGatewayGroup:

    כתובות ה-IP הצפות משמשות בסשנים של קישור שכנים לאיזון עומסים במישור הנתונים.

    ...
    ---
    apiVersion: networking.gke.io/v1
    kind: NetworkGatewayGroup
    metadata:
      name: default
      namespace: CLUSTER_NAMESPACE
    spec:
      floatingIPs:
      - FLOATING_IP
      nodeSelector:    # optional
      - NODE_SELECTOR
    ...
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫CLUSTER_NAMESPACE: מרחב השמות של האשכול. כברירת מחדל, מרחבי השמות של האשכולות ב-Google Distributed Cloud הם שם האשכול עם הקידומת cluster-. לדוגמה, אם נותנים לאשכול את השם test, מרחב השמות הוא cluster-test.
    • ‫FLOATING_IP: כתובת IP מאחת מרשתות המשנה של האשכול. צריך לציין לפחות כתובת IP אחת, אבל מומלץ לציין לפחות שתי כתובות IP.
    • ‫NODE_SELECTOR: (אופציונלי) בורר תוויות לזיהוי צמתים ליצירת סשנים של קישור שכנים עם שכנים חיצוניים, כמו מתגי top-of-rack ‏ (ToR). אם הוא לא נחוץ, הסירו אותו.

    מוודאים שהמשאב המותאם אישית של NetworkGatewayGroup נקרא default ומשתמש במרחב השמות של האשכול. בקטע דוגמאות להגדרות מופיעה דוגמה למפרט של משאב בהתאמה אישית (NetworkGatewayGroup).

  7. (אופציונלי) מציינים את נקודות הקצה שבהן רוצים להשתמש לאיזון עומסים במישור הנתונים, על ידי הגדרת המשאב בהתאמה אישית BGPLoadBalancer:

    ...
    ---
    apiVersion: networking.gke.io/v1
    kind: BGPLoadBalancer
    metadata:
      name: default
      namespace: CLUSTER_NAMESPACE
    spec:
      peerSelector:
        PEER_LABEL: "true"
    ...
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫CLUSTER_NAMESPACE: מרחב השמות של האשכול. כברירת מחדל, מרחבי השמות של האשכולות ב-Google Distributed Cloud הם שם האשכול עם הקידומת cluster-. לדוגמה, אם נותנים לאשכול את השם test, מרחב השמות הוא cluster-test.
    • ‫PEER_LABEL: התווית שמשמשת לזיהוי העמיתים שבהם צריך להשתמש לאיזון עומסים. כל משאב מותאם אישית של BGPPeer עם תווית תואמת מציין את הפרטים של כל עמית.

    מוודאים שהמשאב המותאם אישית BGPLoadBalancer נקרא default ומשתמש במרחב השמות של האשכול. אם לא מציינים משאב בהתאמה אישית מסוג BGPLoadBalancer, המערכת משתמשת באופן אוטומטי בנקודות הקצה של מישור הבקרה לאיזון עומסים במישור הנתונים. במאמר הגדרות לדוגמה מופיעות דוגמאות מקיפות.

  8. (אופציונלי) מציינים את נקודות הקצה החיצוניות של מישור הנתונים על ידי הגדרה של משאב אחד או יותר בהתאמה אישית של BGPPeer:

    ...
    ---
    apiVersion: networking.gke.io/v1
    kind: BGPPeer
    metadata:
      name: BGP_PEER_NAME
      namespace: CLUSTER_NAMESPACE
      labels:
        PEER_LABEL: "true"
    spec:
      localASN: CLUSTER_ASN
      peerASN: PEER_ASN
      peerIP: PEER_IP
      sessions: SESSION_QTY
      selectors:   # Optional
        gatewayRefs:
        - GATEWAY_REF
      ...
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫BGP_PEER_NAME: שם המשתמש השני.
    • ‫CLUSTER_NAMESPACE: מרחב השמות של האשכול. כברירת מחדל, מרחבי השמות של האשכולות ב-Google Distributed Cloud הם שם האשכול עם הקידומת cluster-. לדוגמה, אם נותנים לאשכול את השם test, מרחב השמות הוא cluster-test.
    • ‫PEER_LABEL: התווית שמשמשת לזיהוי העמיתים שבהם צריך להשתמש לאיזון עומסים. התווית הזו צריכה להתאים לתווית שצוינה במשאב המותאם אישית BGPLoadBalancer.
    • ‫CLUSTER_ASN: מספר המערכת האוטונומית של האשכול שנוצר.
    • ‫PEER_IP: כתובת ה-IP של המכשיר החיצוני המקביל. מומלץ לציין לפחות שני עמיתים חיצוניים, אבל חובה לציין לפחות אחד.
    • ‫PEER_ASN: מספר המערכת האוטונומית של הרשת שמכילה את המכשיר החיצוני המקביל.
    • SESSION_QTY: מספר הסשנים שצריך ליצור למקביל הזה. מומלץ ליצור לפחות שני סשנים כדי לוודא שהחיבור לעמית יישמר גם אם אחד מהצמתים יושבת.
    • ‫GATEWAY_REF: (אופציונלי) השם של משאב NetworkGatewayGroup שבו רוצים להשתמש לצורך קישור בין רשתות שכנות (Peering). אם לא מגדירים את המדיניות, אפשר להשתמש בכל משאבי השער או בחלק מהם. אתם יכולים להשתמש בהגדרה הזו בשילוב עם השדה nodeSelector במשאב NetworkGatewayGroups כדי לבחור באילו צמתים להשתמש לצורך קישור בין רשתות שכנות (peering) עם רשת שכנה חיצונית ספציפית, כמו מתג ToR. אם יש כמה שערים, אפשר להזין כמה ערכים כדי לבחור כמה קבוצות של NetworkGatewayGroups.

    כדי לציין כמה עמיתים חיצוניים, אפשר ליצור עוד BGPPeer משאבים בהתאמה אישית. כדי להבטיח זמינות גבוהה של סשנים של BGP, מומלץ לציין לפחות שתי נקודות קצה חיצוניות (שני משאבים בהתאמה אישית). אם לא מציינים משאב מותאם אישית מסוג BGPPeer, המערכת משתמשת באופן אוטומטי בעמיתים של מישור הבקרה לאיזון עומסים במישור הנתונים.

  9. כשמריצים את bmctl cluster create כדי ליצור את האשכול, מתבצעות בדיקות קדם הפעלה. בין השאר, הבדיקות המקדימות מאמתות את הגדרת הקישור בין רשתות שכנות באמצעות BGP למישור הבקרה, ומדווחות על כל בעיה ישירות לתחנת העבודה של האדמין לפני שאפשר ליצור את האשכול.

    אם הפעולה תצליח, המשאבים שנוספו לאיזון עומסים של BGP‏ (NetworkGatewayGroup,‏ BGPLoadBalancer ו-BGPPeer) יועברו לאשכול האדמין במרחב השמות של אשכול המשתמש. כדי לבצע עדכונים נוספים במשאבים האלה, צריך להשתמש בקובץ kubeconfig של אשכול האדמין. לאחר מכן, אשכול האדמין מתאים את השינויים לאשכול המשתמש. אם תערכו את המשאבים האלה ישירות באשכול המשתמש, אשכול האדמין יחליף את השינויים שלכם בהתאמות הבאות.

מומלץ להשתמש ביכולת ADD-PATH של BGP לסשנים של קישור שכנים, כפי שמפורט ב-RFC 7911. כברירת מחדל, פרוטוקול BGP מאפשר לפרסם רק את הצעד הבא יחיד לעמיתים עבור קידומת אחת. פרוטוקול BGP ADD-PATH מאפשר לפרסם כמה צעדים הבאים לאותה קידומת. כשמשתמשים ב-ADD-PATH עם איזון עומסים מקובץ שמבוסס על BGP, האשכול יכול לפרסם כמה צומתי אשכול כצומתי חזית (הצעדים הבאים) לשירות של איזון עומסים (קידומת). מפעילים את ECMP ברשת כדי שתעבורת הנתונים תוכל להתפזר על פני כמה נתיבים. היכולת לפזר את התנועה על ידי פרסום של כמה צומתי אשכולות בתור הצעדים הבאים, מאפשרת לשפר את קנה המידה של קיבולת מישור הנתונים לאיזון עומסים.

אם מכשיר ה-peer החיצוני, כמו מתג או נתב top-of-rack ‏ (ToR), תומך ב-BGP ADD-PATH, מספיק להפעיל רק את תוסף הקבלה. איזון עומסים מקובץ עם BGP פועל בלי היכולת ADD-PATH, אבל ההגבלה של פרסום צומת איזון עומסים יחיד לכל סשן קישור ישיר מגבילה את הקיבולת של מישור הנתונים של מאזן העומסים. בלי ADD-PATH, המערכת של Google Distributed Cloud בוחרת צמתים לפרסום ממאגר הצמתים של מאזן העומסים, ומנסה לפזר את הדילוגים הבאים של כתובות VIP שונות בין צמתים שונים.

הגבלת קישור BGP בין רשתות שכנות לצומתי מאזן עומסים

‫Google Distributed Cloud מקצה באופן אוטומטי כתובות IP צפות לכל צומת באותה רשת משנה של כתובת ה-IP הצפה. סשנים של BGP מתחילים מכתובות ה-IP האלה, גם אם הם לא מגיעים לצומתי מאזן העומסים. ההתנהגות הזו היא מכוונת, כי הפרדנו את מישור הבקרה (BGP) ממישור הנתונים (מאגרי צמתים של LB).

אם רוצים להגביל את קבוצת הצמתים שאפשר להשתמש בהם לקישור BGP, אפשר להגדיר רשת משנה אחת שתשמש רק לצמתים של מאזן העומסים. כלומר, אפשר להגדיר את כל הצמתים ברשת המשנה הזו כך שיהיו במאגר הצמתים של מאזן העומסים. לאחר מכן, כשמגדירים כתובות IP צפות שמשמשות ל-BGP Peering, צריך לוודא שהן מאותה רשת משנה. ב-Google Distributed Cloud, ההקצאות של כתובות ה-IP הצפות והתאמת ה-BGP מתבצעות רק מצומתי מאזן העומסים.

הגדרת איזון עומסים של BGP עם רשתות ב-Dual-Stack

החל מגרסה 1.14.0 של Google Distributed Cloud, מאזן העומסים המקובץ שמבוסס על BGP תומך ב-IPv6. עם התמיכה ב-IPv6, אתם יכולים להגדיר שירותי LoadBalancer עם IPv6 וסטאק כפול באשכול שמוגדר לרשת עם סטאק כפול. בקטע הזה מוסבר איך להגדיר איזון עומסים משולב ב-BGP עם שני סוגי כתובות IP.

כדי להפעיל שירותי LoadBalancer עם מחסנית כפולה, צריך לבצע את השינויים הבאים בהגדרות:

  • האשכול הבסיסי חייב להיות מוגדר לרשתות עם מחסנית כפולה:

    • מציינים את טווחי ה-CIDR של השירות ב-IPv4 וב-IPv6 בקובץ התצורה של האשכול, בקטע spec.clusterNetwork.services.cidrBlocks.

    • מגדירים משאבי ClusterCIDRConfig מתאימים כדי לציין טווחי CIDR של IPv4 ו-IPv6 לפודים.

    מידע נוסף על הגדרת אשכול לרשתות עם שני סוגי כתובות IP זמין במאמר רשתות עם שני סוגי כתובות IP, ‏IPv4/IPv6.

  • מציינים מאגר כתובות IPv6 בקובץ התצורה של האשכול בקטע spec.loadBalancer.addressPools. כדי ש-MetalLB יקצה כתובות IP לשירות Dual Stack, צריך להיות לפחות מאגר כתובות אחד עם כתובות בפורמט IPv4 ו-IPv6.

בדוגמה הבאה מוצגים השינויים שצריך לבצע כדי להגדיר איזון עומסים משולב עם BGP ב-dual-stack:

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: bm
  namespace: cluster-bm
spec:
...
  clusterNetwork:
  services:
      cidrBlocks:
      # Dual-stack Service IP addresses must be provided
      - 10.96.0.0/16
      - fd00::/112
...
  loadBalancer:
    mode: bundled

    # type can be 'bgp' or 'layer2'. If no type is specified we default to layer2.
    type: bgp

    # AS number for the cluster
    localASN: 65001

    bgpPeers:
    - ip: 10.8.0.10
      asn: 65002
    - ip: 10.8.0.11
      asn: 65002

    addressPools:
    - name: pool1
      addresses:
      # Each address must be either in the CIDR form (1.2.3.0/24)
      # or range form (1.2.3.1-1.2.3.5).
      - "203.0.113.1-203.0.113.20"
      - "2001:db8::1-2001:db8::20"  # Note the additional IPv6 range

... # Other cluster config info omitted
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
metadata:
  name: default
  namespace: cluster-bm
spec:
  floatingIPs:
  - 10.0.1.100
  - 10.0.2.100
---
apiVersion: baremetal.cluster.gke.io/v1alpha1
kind: ClusterCIDRConfig
metadata:
  name: cluster-wide-1
  namespace: cluster-bm
spec:
  ipv4:
    cidr: "192.168.0.0/16"
    perNodeMaskSize: 24
  ipv6:
    cidr: "2001:db8:1::/112"
    perNodeMaskSize: 120

מגבלות על איזון עומסים משולב עם BGP ב-dual-stack

כשמגדירים את האשכול לשימוש ב-dual-stack, איזון עומסים בחבילה עם BGP, שימו לב למגבלות הבאות:

  • אין תמיכה באיזון עומסים במישור הבקרה של IPv6.

  • אין תמיכה בסשנים של IPv6 BGP, אבל אפשר לפרסם מסלולי IPv6 בסשנים של IPv4 באמצעות Multiprotocol BGP.

הגדרות לדוגמה

בקטעים הבאים מוסבר איך להגדיר איזון עומסים מבוסס-BGP לאפשרויות או להתנהגויות שונות.

הגדרת כל הצמתים כך שישתמשו באותם עמיתים

כפי שמוצג בתרשים הבא, ההגדרה הזו יוצרת קבוצה של עמיתים חיצוניים (10.8.0.10 ו-10.8.0.11) שכל הצמתים יכולים להגיע אליהם. צומתי מישור הבקרה (10.0.1.10,‏ 10.0.1.11 ו-10.0.2.10) וכתובות IP צפות (10.0.1.100 ו-10.0.2.100) שמוקצות לצומתי מישור הנתונים מגיעים כולם לעמיתים.

אותם עמיתים חיצוניים נגישים באמצעות כל אחת מכתובות ה-IP הצפות (10.0.1.100 או 10.0.2.100) ששמורות לשירותי הקישור בין רשתות שכנות (peering) של loadBalancer. אפשר להקצות את כתובות ה-IP הצפות לצמתים שנמצאים באותה רשת משנה.

איזון עומסים של BGP שבו כל הצמתים משתמשים באותם עמיתים

כמו שמוצג בדוגמה הבאה להגדרת אשכול, מגדירים את העמיתים לצומתי מישור הבקרה, bgpPeers, בלי לציין את controlPlaneNodes. אם לא מציינים צמתים לעמיתים, כל הצמתים של מישור הבקרה מתחברים לכל העמיתים.

אתם מציינים את כתובות ה-IP הצפות שבהן תשתמשו לסשנים של קישור בין רשתות שכנות (peering) לאיזון עומסים של שירותים במשאב המותאם אישית NetworkGatewayGroup. בדוגמה הזו, מכיוון שלא צוין BGPLoadBalancer, המערכת משתמשת באופן אוטומטי בנקודות הקצה של מישור הבקרה בשביל סשנים של BGP במישור הנתונים.

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: bm
  namespace: cluster-bm
spec:
...
  loadBalancer:
    mode: bundled

    # type can be 'bgp' or 'layer2'. If no type is specified, we default to layer2.
    type: bgp

    # AS number for the cluster
    localASN: 65001

    bgpPeers:
    - ip: 10.8.0.10
      asn: 65002
    - ip: 10.8.0.11
      asn: 65002

... (other cluster config omitted)
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
metadata:
  name: default
  namespace: cluster-bm
spec:
  floatingIPs:
  - 10.0.1.100
  - 10.0.2.100

הגדרת צומתי מישור בקרה ספציפיים ל-peering עם עמיתים חיצוניים ספציפיים

כמו שמוצג בתרשים הבא, ההגדרה הזו יוצרת שני צומתי מישור בקרה (10.0.1.10 ו-10.0.1.11) שמקושרים לעמית חיצוני אחד (10.0.1.254). צומת מישור הבקרה השלישי (10.0.2.10) מקושר לעמית חיצוני אחר (10.0.2.254). ההגדרה הזו שימושית כשלא רוצים שכל הצמתים יתחברו לכל העמיתים. לדוגמה, יכול להיות שתרצו שצומתי מישור הבקרה יתחברו רק למתגי ה-ToR (בראש המדף) המתאימים.

אותם עמיתים חיצוניים נגישים באמצעות כל אחת מכתובות ה-IP הצפות (10.0.1.100 או 10.0.2.100) ששמורות לסשנים של קישור בין רשתות שכנות (peering) לאיזון עומסים של שירותים. אפשר להקצות את כתובות ה-IP הצפות לצמתים שנמצאים באותה רשת משנה.

איזון עומסים של BGP עם מיפוי מפורש של צומתי מישור הבקרה לעמיתים

כפי שמוצג בדוגמה הבאה להגדרת אשכול, אתם מגבילים את צומתי מישור הבקרה שיכולים להתחבר לעמית נתון על ידי ציון כתובות ה-IP שלהם בשדה controlPlaneNodes של העמית בקטע bgpPeers.

אתם מציינים את כתובות ה-IP הצפות שבהן תשתמשו לסשנים של קישור בין רשתות שכנות (peering) לאיזון עומסים של שירותים במשאב המותאם אישית NetworkGatewayGroup. בדוגמה הזו, מכיוון שלא צוין BGPLoadBalancer, המערכת משתמשת באופן אוטומטי בעמיתים של מישור הבקרה בשביל סשנים של BGP במישור הנתונים.

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: bm
  namespace: cluster-bm
spec:
...
  loadBalancer:
    mode: bundled

    # type can be 'bgp' or 'layer2'. If no type is specified, we default to layer2.
    type: bgp

    # AS number for the cluster
    localASN: 65001

    bgpPeers:
    - ip: 10.0.1.254
      asn: 65002
      controlPlaneNodes:
        - 10.0.1.10
        - 10.0.1.11
    - ip: 10.0.2.254
      asn: 65002
      controlPlaneNodes:
        - 10.0.2.10

... (other cluster config omitted)
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
  name: default
  namespace: cluster-bm
spec:
  floatingIPs:
  - 10.0.1.100
  - 10.0.2.100

הגדרה של מישור הבקרה ומישור הנתונים בנפרד

כמו שמוצג בתרשים הבא, התוצאה של ההגדרה הזו היא ששני צומתי מישור בקרה (10.0.1.10 ו-10.0.1.11) מקושרים לעמית חיצוני אחד (10.0.1.254), וצומת מישור הבקרה השלישי (10.0.2.11) מקושר לעמית חיצוני אחר (10.0.2.254).

אפשר להגיע למחשב עמית חיצוני שלישי (10.0.3.254) באמצעות אחת מכתובות ה-IP הצפות (10.0.3.100 או 10.0.3.101) ששמורות לסשנים של קישור בין רשתות שכנות (peering) לאיזון עומסים של שירותים. אפשר להקצות את כתובות ה-IP הצפות לצמתים שנמצאים באותה רשת משנה.

איזון עומסים של BGP עם הגדרה נפרדת למישור הבקרה ולמישור הנתונים

כפי שמוצג בדוגמה הבאה להגדרת אשכול, אתם מגבילים את צומתי מישור הבקרה שיכולים להתחבר לעמית נתון על ידי ציון כתובות ה-IP שלהם בשדה controlPlaneNodes של העמית בקטע bgpPeers.

אתם מציינים את כתובות ה-IP הצפות שבהן תשתמשו לסשנים של קישור בין רשתות שכנות (peering) לאיזון עומסים של שירותים במשאב המותאם אישית NetworkGatewayGroup.

כדי להגדיר את איזון העומסים במישור הנתונים:

  • מציינים את נקודת הקצה החיצונית של מישור הנתונים במשאב BGPPeer ומוסיפים תווית לשימוש בבחירת נקודת הקצה, למשל cluster.baremetal.gke.io/default-peer: "true".

  • מציינים את התווית התואמת לשדה peerSelector במשאב BGPLoadBalancer.

apiVersion: baremetal.cluster.gke.io/v1
kind: Cluster
metadata:
  name: bm
  namespace: cluster-bm
spec:
...
  loadBalancer:
    mode: bundled

    # type can be 'bgp' or 'layer2'. If no type is specified, we default to layer2.
    type: bgp

    # AS number for the cluster
    localASN: 65001

    bgpPeers:
    - ip: 10.0.1.254
      asn: 65002
      controlPlaneNodes:
        - 10.0.1.10
        - 10.0.1.11
    - ip: 10.0.2.254
      asn: 65002
      controlPlaneNodes:
        - 10.0.2.11

... (other cluster config omitted)
---
apiVersion: networking.gke.io/v1
kind: NetworkGatewayGroup
  name: default
  namespace: cluster-bm
spec:
  floatingIPs:
  - 10.0.3.100
  - 10.0.3.101
---
apiVersion: networking.gke.io/v1
kind: BGPLoadBalancer
metadata:
  name: default
  namespace: cluster-bm
spec:
  peerSelector:
    cluster.baremetal.gke.io/default-peer: "true"
---
apiVersion: networking.gke.io/v1
kind: BGPPeer
metadata:
  name: bgppeer1
  namespace: cluster-bm
  labels:
    cluster.baremetal.gke.io/default-peer: "true"
spec:
  localASN: 65001
  peerASN: 65002
  peerIP: 10.0.3.254
  sessions: 2

שינוי ההגדרות של איזון העומסים שמבוסס על BGP

אחרי שיוצרים את האשכול שמוגדר לשימוש באיזון עומסים בחבילה עם BGP, אפשר לעדכן חלק מהגדרות האישיות, אבל חלק מהן אי אפשר לעדכן אחרי שיוצרים את האשכול.

כשאתם מבצעים עדכונים נוספים במשאבים שקשורים ל-BGP‏ (NetworkGatewayGroup, ‏ BGPLoadBalancer ו-BGPPeer), אתם צריכים להשתמש בקובץ kubeconfig של אשכול האדמין. לאחר מכן, אשכול האדמין מתאים את השינויים לאשכול המשתמש. אם תערכו את המשאבים האלה ישירות באשכול המשתמש, אשכול האדמין יחליף את השינויים שלכם בהתאמות הבאות.

מישור הבקרה

אפשר לעדכן את פרטי ה-BGP-peering של מישור הבקרה במשאב Cluster. אפשר להוסיף או להסיר עמיתים שצוינו בקטע של איזון העומסים במישור הבקרה.

בקטעים הבאים מפורטות השיטות המומלצות לעדכון פרטי ה-BGP Peering של מישור הבקרה.

בדיקת סטטוס העמית לפני העדכון

כדי לצמצם את הסיכון להגדרה שגויה של עמיתים, לפני שמבצעים שינויים צריך לוודא שסשנים של קישור בין עמיתים ב-BGP במישור הבקרה נמצאים במצב הצפוי. לדוגמה, אם אתם מצפים שכל הסשנים של קישור Peering ב-BGP יהיו פעילים, ודאו שכל ה-Pods של bgp-advertiser מדווחים על ready, מה שמציין שהסשנים פעילים. אם הסטטוס הנוכחי לא תואם למה שציפיתם, תקנו את הבעיה לפני שתעדכנו את הגדרת ה-peer.

למידע על אחזור פרטי סשן BGP של מישור הבקרה, ראו סשנים של BGP במישור הבקרה.

עדכון עמיתים באופן מבוקר

אם אפשר, כדאי לעדכן כל עמית בנפרד כדי לבודד בעיות אפשריות:

  1. הוספה או עדכון של עמית יחיד.
  2. מחכים שההגדרות יתואמו.
  3. מוודאים שהאשכול יכול להתחבר למערכת המקבילה החדשה או המעודכנת.
  4. מסירים את הישויות הישנות או המיותרות.

שירותים

כדי לעדכן את מאגרי הכתובות ואת ההגדרות של צומת מאזן העומסים, עורכים את nodePoolSpec במשאב Cluster.

כדי לשנות את הגדרת ה-BGP Peering אחרי יצירת האשכול, עורכים את המשאבים המותאמים אישית NetworkGatewayGroup ו-BGPLoadBalancer. כל שינוי בפרטי ה-peering במשאבים המותאמים אישית האלה משתקף בהגדרות של פתרון איזון העומסים באשכול היעד.

מבצעים עדכונים במשאבי המקור במרחב השמות של האשכול באשכול האדמין בלבד. כל השינויים שבוצעו במשאבים באשכול היעד (המשתמש) נמחקים.

פתרון בעיות

בקטעים הבאים מוסבר איך לגשת למידע על פתרון בעיות באיזון עומסים מקובץ עם BGP.

סשנים של BGP במישור הבקרה

הגדרת ה-BGP-peering של מישור הבקרה מאומתת באמצעות בדיקות מקדימות במהלך יצירת האשכול. בדיקות קדם ההפעלה מנסות:

  • יוצרים חיבור BGP עם כל נתב.
  • מפרסמים את ה-VIP של מישור הבקרה.
  • מוודאים שאפשר להגיע לצומת של מישור הבקרה באמצעות ה-VIP.

אם יצירת האשכול נכשלת בבדיקות קדם ההפעלה, צריך לבדוק אם יש שגיאות ביומני בדיקות קדם ההפעלה. קובצי היומן של הבדיקה המקדימה עם חותמת התאריך נמצאים בספרייה baremetal/bmctl-workspace/CLUSTER_NAME/log.

בזמן הריצה, רמקולי ה-BGP של מישור הבקרה פועלים כ-pods סטטיים בכל צומת של מישור הבקרה וכותבים מידע על אירועים ביומנים. השם של הפודים הסטטיים האלה כולל את המחרוזת bgpadvertiser, לכן צריך להשתמש בפקודה הבאה של kubectl get pods כדי לראות את הסטטוס של הפודים של רמקול ה-BGP:

kubectl -n kube-system get pods | grep bgpadvertiser

כשה-Pods פועלים כמו שצריך, התגובה נראית בערך כך:

bgpadvertiser-node-01                            1/1     Running   1          167m
bgpadvertiser-node-02                            1/1     Running   1          165m
bgpadvertiser-node-03                            1/1     Running   1          163m

כדי להציג את היומנים של Pod bgpadvertiser-node-01, משתמשים בפקודה הבאה:

kubectl -n kube-system logs bgpadvertiser-node-01

סשנים של BGP לשירותים

המשאב BGPSession מספק מידע על סשנים נוכחיים של BGP. כדי לקבל מידע על סשן, קודם צריך לקבל את הסשנים הנוכחיים, ואז לאחזר את המשאב BGPSession של אחד מהסשנים.

כדי להציג את רשימת הסשנים הנוכחיים, משתמשים בפקודה kubectl get הבאה:

kubectl -n kube-system get bgpsessions

הפקודה מחזירה רשימה של סשנים, כמו בדוגמה הבאה:

NAME                 LOCAL ASN   PEER ASN   LOCAL IP     PEER IP      STATE            LAST REPORT
10.0.1.254-node-01   65500       65000      10.0.1.178   10.0.1.254   Established      2s
10.0.1.254-node-02   65500       65000      10.0.3.212   10.0.1.254   Established      2s
10.0.3.254-node-01   65500       65000      10.0.1.178   10.0.3.254   Established      2s
10.0.3.254-node-02   65500       65000      10.0.3.212   10.0.3.254   Established      2s

מריצים את הפקודה kubectl describe הבאה כדי לקבל את המשאב BGPSession של סשן ה-BGP שנקרא 10.0.1.254-node-01:

kubectl -n kube-system describe bgpsession 10.0.1.254-node-01

המשאב BGPSession שמוחזר אמור להיראות בערך כמו בדוגמה הבאה:

Name:         10.0.1.254-node-01
Namespace:    kube-system
Labels:       <none>
Annotations:  <none>
API Version:  networking.gke.io/v1
Kind:         BGPSession
Metadata:
 (omitted)
Spec:
  Floating IP:  10.0.1.178
  Local ASN:    65500
  Local IP:     10.0.1.178
  Node Name:    node-01
  Peer ASN:     65000
  Peer IP:      10.0.1.254
Status:
  Advertised Routes:
    10.0.4.1/32
  Last Report Time:  2021-06-14T22:09:36Z
  State:             Established

משתמשים בפקודה kubectl get כדי לקבל את המשאבים של BGPAdvertisedRoute:

kubectl -n kube-system get bgpadvertisedroutes

התגובה אמורה להיראות כמו בדוגמה הבאה, שבה מוצגים המסלולים שפורסמו:

NAME                                    PREFIX           METRIC
default-default-load-balancer-example   10.1.1.34/32
default-gke-system-istio-ingress        10.1.1.107/32

אפשר להשתמש ב-kubectl describe כדי לראות פרטים על הצעדים הבאים שכל מסלול מפרסם.

שחזור הגישה לכתובת ה-VIP של מישור הבקרה באשכולות בניהול עצמי

כדי לקבל שוב גישה ל-VIP של מישור הבקרה באשכול אדמין, באשכול היברידי או באשכול עצמאי, צריך לעדכן את הגדרת ה-BGP באשכול. כמו שמוצג בדוגמה הבאה, משתמשים ב-SSH כדי להתחבר לצומת, ואז משתמשים ב-kubectl כדי לפתוח את משאב האשכול לעריכה.

ssh -i IDENTITY_FILE root@CLUSTER_NODE_IP

kubectl --kubeconfig /etc/kubernetes/admin.conf edit -n CLUSTER_NAMESPACE cluster CLUSTER_NAME

מחליפים את מה שכתוב בשדות הבאים:

  • ‫IDENTITY_FILE: השם של קובץ הזהות של SSH שמכיל את מפתח הזהות לאימות מפתח ציבורי.
  • ‫CLUSTER_NODE_IP: כתובת ה-IP של הצומת באשכול.
  • ‫CLUSTER_NAMESPACE: מרחב השמות של האשכול.
  • ‫CLUSTER_NAME: שם האשכול.

משנים את הגדרת ה-BGP Peering באובייקט האשכול. אחרי ששומרים את הגדרת האשכול החדשה, עוקבים אחרי התקינות של הפודים של bgpadvertiser. אם ההגדרה פועלת, הפודים מופעלים מחדש וחוזרים למצב תקין כשהם מתחברים לפודים האחרים.

אימות ידני של BGP

בקטע הזה מוסבר איך לאמת ידנית את הגדרות ה-BGP. התהליך מגדיר חיבור BGP לטווח ארוך, כדי שתוכלו להמשיך לנפות באגים בהגדרת ה-BGP עם צוות הרשת שלכם. השתמשו בהליך הזה כדי לאמת את ההגדרות האישיות לפני שאתם יוצרים אשכול, או אם בדיקות ההכנה שקשורות ל-BGP נכשלות.

בדיקות מקדימות מבצעות באופן אוטומטי את משימות האימות הבאות של BGP:

  • הגדרת חיבור BGP לעמית.
  • מפרסמים את ה-VIP של מישור הבקרה.
  • מוודאים שתנועה שנשלחת מכל שאר הצמתים באשכול ל-VIP מגיעה לצומת הנוכחי של מאזן העומסים.

המשימות האלה מופעלות לכל נתב BGP בכל צומת של מישור הבקרה. חשוב מאוד לעבור את הבדיקות האלה כשיוצרים אשכול. עם זאת, בדיקות ה-preflight לא יוצרות חיבורים לטווח ארוך, ולכן קשה לנפות באגים במקרה של כשל.

בקטעים הבאים מוסבר איך להגדיר חיבור BGP ולפרסם מסלול ממכונה אחת באשכול לנתב אחד. כדי לבדוק כמה מכונות וכמה עמיתים, חוזרים על ההוראות שוב, באמצעות שילוב אחר של מכונה ועמית.

חשוב לזכור שחיבורי BGP נוצרים מצומתי מישור הבקרה, לכן צריך לבדוק את התהליך הזה מאחד מצומתי מישור הבקרה המתוכננים.

הורדת הקובץ הבינארי של תוכנית הבדיקה של BGP

מבצעים את השלבים שבקטע הזה בתחנת העבודה של האדמין. בשלבים האלה מורידים את התוכנית bgpadvertiser שמשמשת לבדיקת חיבורי BGP, ומעתיקים אותה לצומתי מישור הבקרה שבהם רוצים לבצע את הבדיקה.

  1. מורידים את קובץ האימג' של Docker של ansible-runner.

    ללא מראה של המרשם

    אם אתם לא משתמשים ב-registry mirror, הריצו את הפקודות הבאות כדי למשוך את קובץ האימג' של Docker של ansible-runner:

    gcloud auth login
    gcloud auth configure-docker
    docker pull gcr.io/anthos-baremetal-release/ansible-runner:1.10.0-gke.13
    

    עם Registry Mirror

    אם אתם משתמשים ב-registry mirror, הריצו את הפקודות הבאות כדי למשוך את קובץ האימג' של Docker של ansible-runner:

    docker login REGISTRY_HOST
    docker pull REGISTRY_HOST/anthos-baremetal-release/ansible-runner:1.10.0-gke.13
    

    מחליפים את REGISTRY_HOST בשם של שרת המראה של המרשם.

  2. כדי לחלץ את הקובץ הבינארי של bgpadvertiser.

    ללא מראה של המרשם

    כדי לחלץ את הקובץ הבינארי של bgpadvertiser, מריצים את הפקודה הבאה:

    docker cp $(docker create gcr.io/anthos-baremetal-release/ansible-runner:1.10.0-gke.13):/bgpadvertiser .
    

    עם Registry Mirror

    כדי לחלץ את הקובץ הבינארי של bgpadvertiser, מריצים את הפקודה הבאה:

    docker cp $(docker create REGISTRY_HOST/anthos-baremetal-release/ansible-runner:1.10.0-gke.13):/bgpadvertiser .
    
  3. כדי להעתיק את הקובץ הבינארי של bgpadvertiser לצומת של מישור הבקרה שרוצים לבדוק, מריצים את הפקודה הבאה:

    scp bgpadvertiser USERNAME>@CP_NODE_IP:/tmp/
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫USERNAME: שם המשתמש שמשמש לגישה לצומת של מישור הבקרה.

    • ‫CP_NODE_IP: כתובת ה-IP של צומת מישור הבקרה.

הגדרת חיבור BGP

מבצעים את השלבים שבקטע הזה בצומת של מישור הבקרה.

  1. יוצרים קובץ תצורה בצומת ב-/tmp/bgpadvertiser.conf, שנראה כך:

    localIP: NODE_IP
    localASN: CLUSTER_ASN
    peers:
    - peerIP: PEER_IP
      peerASN: PEER_ASN
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫NODE_IP: כתובת ה-IP של צומת מישור הבקרה שאתם נמצאים בו.
    • ‫CLUSTER_ASN: מספר המערכת האוטונומית שמשמשת את האשכול.
    • ‫PEER_IP: כתובת ה-IP של אחד מהמחשבים המקבילים החיצוניים שרוצים לבדוק.
    • ‫PEER_ASN: מספר המערכת האוטונומית של הרשת שמכילה את המכשיר החיצוני המקביל.
  2. מריצים את ה-daemon של bgpadvertiser, ומחליפים את ה-VIP של מישור הבקרה בפקודה הבאה:

    /tmp/bgpadvertiser --config /tmp/bgpadvertiser.conf --advertise-ip CONTROL_PLANE_VIP
    

    מחליפים את CONTROL_PLANE_VIP בכתובת ה-IP שבה רוצים להשתמש ל-VIP של מישור הבקרה. הפקודה הזו גורמת למפרסם ה-BGP לפרסם את הכתובת הזו לעמית.

  3. צופים בפלט של התוכנית.

    בשלב הזה, הדימון (daemon) של bgpadvertiser מופעל, מנסה להתחבר לעמית ומפרסם את ה-VIP. התוכנית מדפיסה מדי פעם הודעות (ראו את הפלט לדוגמה בהמשך) שכוללות את BGP_FSM_ESTABLISHED כשחיבור ה-BGP נוצר.

    {"level":"info","ts":1646788815.5588224,"logger":"BGPSpeaker","msg":"GoBGP gRPC debug endpoint disabled","localIP":"21.0.101.64"}
    {"level":"info","ts":1646788815.5596201,"logger":"BGPSpeaker","msg":"Started.","localIP":"21.0.101.64"}
    I0309 01:20:15.559667 1320826 main.go:154] BGP advertiser started.
    I0309 01:20:15.561434 1320826 main.go:170] Health status HTTP server started at "127.0.0.1:8080".
    INFO[0000] Add a peer configuration for:21.0.101.80      Topic=Peer
    {"level":"info","ts":1646788815.5623345,"logger":"BGPSpeaker","msg":"Peer added.","localIP":"21.0.101.64","peer":"21.0.101.80/4273481989"}
    DEBU[0000] IdleHoldTimer expired                         Duration=0 Key=21.0.101.80 Topic=Peer
    I0309 01:20:15.563503 1320826 main.go:187] Peer applied: {4273481989 21.0.101.80}
    DEBU[0000] state changed                                 Key=21.0.101.80 Topic=Peer new=BGP_FSM_ACTIVE old=BGP_FSM_IDLE reason=idle-hold-timer-expired
    DEBU[0000] create Destination                            Nlri=10.0.0.1/32 Topic=Table
    {"level":"info","ts":1646788815.5670514,"logger":"BGPSpeaker","msg":"Route added.","localIP":"21.0.101.64","route":{"ID":0,"Metric":0,"NextHop":"21.0.101.64","Prefix":"10.0.0.1/32","VRF":""}}
    I0309 01:20:15.568029 1320826 main.go:199] Route added: {0 0 21.0.101.64 10.0.0.1/32 }
    I0309 01:20:15.568073 1320826 main.go:201] BGP advertiser serving...
    DEBU[0005] try to connect                                Key=21.0.101.80 Topic=Peer
    DEBU[0005] state changed                                 Key=21.0.101.80 Topic=Peer new=BGP_FSM_OPENSENT old=BGP_FSM_ACTIVE reason=new-connection
    DEBU[0005] state changed                                 Key=21.0.101.80 Topic=Peer new=BGP_FSM_OPENCONFIRM old=BGP_FSM_OPENSENT reason=open-msg-received
    INFO[0005] Peer Up                                       Key=21.0.101.80 State=BGP_FSM_OPENCONFIRM Topic=Peer
    DEBU[0005] state changed                                 Key=21.0.101.80 Topic=Peer new=BGP_FSM_ESTABLISHED old=BGP_FSM_OPENCONFIRM reason=open-msg-negotiated
    DEBU[0005] sent update                                   Key=21.0.101.80 State=BGP_FSM_ESTABLISHED Topic=Peer attributes="[{Origin: i} 4273481990 {Nexthop: 21.0.101.64}]" nlri="[10.0.0.1/32]" withdrawals="[]"
    DEBU[0006] received update                               Key=21.0.101.80 Topic=Peer attributes="[{Origin: i} 4273481989 4273481990 {Nexthop: 21.0.101.64}]" nlri="[10.0.0.1/32]" withdrawals="[]"
    DEBU[0006] create Destination                            Nlri=10.0.0.1/32 Topic=Table
    DEBU[0035] sent                                          Key=21.0.101.80 State=BGP_FSM_ESTABLISHED Topic=Peer data="&{{[] 19 4} 0x166e528}"
    DEBU[0065] sent                                          Key=21.0.101.80 State=BGP_FSM_ESTABLISHED Topic=Peer data="&{{[] 19 4} 0x166e528}"
    

אם ההודעות האלה לא מופיעות, צריך לבדוק שוב את הפרמטרים של הגדרת ה-BGP בקובץ התצורה ולוודא אותם עם מנהל הרשת. עכשיו יש לכם חיבור BGP מוגדר. אפשר לבקש ממנהל הרשת לוודא שהחיבור נוצר בצד שלו ושהוא רואה את פרסום הניתוב.

בדיקת תנועה

כדי לבדוק אם הרשת יכולה להעביר תנועה ל-VIP, צריך להוסיף את ה-VIP לצומת מישור הבקרה שבו פועל bgpadvertiser. מריצים את הפקודה הבאה בטרמינל אחר כדי ש-bgpadvertiser ימשיך לפעול:

  1. מוסיפים את ה-VIP לצומת של מישור הבקרה:

    ip addr add CONTROL_PLANE_VIP/32 dev INTF_NAME
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫CONTROL_PLANE_VIP: הארגומנט של VIP --advertise-ip ב-bgpadvertiser.
    • ‫INTF_NAME: הממשק של Kubernetes בצומת. כלומר, הממשק עם כתובת ה-IP שהזנתם בהגדרות של Google Distributed Cloud בשביל loadBalancer.bgpPeers.controlPlaneNodes.
  2. שולחים פינג ל-VIP מצומת אחר:

    ping CONTROL_PLANE_VIP
    

    אם הפינג לא מצליח, יכול להיות שיש בעיה בהגדרת ה-BGP במכשיר הרשת. כדי לפתור את הבעיה, צריך לפנות למנהל הרשת ולבקש ממנו לבדוק את ההגדרות.

הסרת המשאבים

חשוב לבצע את השלבים הבאים כדי לאפס את הצומת אחרי שמוודאים באופן ידני ש-BGP פועל. אם לא מאפסים את הצומת כמו שצריך, ההגדרה הידנית עלולה להפריע לבדיקה המקדימה או ליצירת האשכול לאחר מכן.

  1. אם הוספתם את ה-VIP לצומת של מישור הבקרה בשביל בדיקת התנועה, הסירו אותו:

    ip addr del CONTROL_PLANE_VIP/32 dev INTF_NAME
    
  2. בצומת של מישור הבקרה, מקישים על Ctrl+C בטרמינל של bgpadvertiser כדי לעצור את bgpadvertiser.

  3. מוודאים שאין תהליכים של bgpadvertiser שפועלים:

    ps -ef | grep bgpadvertiser
    
  4. אם רואים תהליכים שפועלים, עוצרים אותם באמצעות הפקודה kill.

מגבלת בורר BGP עם Cloud API או Terraform

כשמנהלים אשכולות של Google Distributed Cloud באמצעות GKE On-Prem API (‏Terraform, מסוף Google Cloud או ה-CLI של gcloud), אי אפשר לציין בוררי BGP בהגדרות של האשכול. אם באשכול שלכם נעשה שימוש באיזון עומסים של BGP וב-Egress NAT, יכול להיות שההתאמה בין שכנים ב-BGP תיכשל.

דרך לעקיפת הבעיה

כדי לבצע שינויים ידניים, צריך להגדיר את מאזן העומסים ל-"unmanaged" באשכול האדמין. ההגדרה הזו מונעת מ-GKE On-Prem API להתאים באופן אוטומטי את השינויים למאזן העומסים.

  1. אכיפת IP anti-affinity: פיצול ה-NetworkGatewayGroup של BGP למשאבי NetworkGatewayGroup נפרדים (אחד לכל כתובת IP צפה) ושימוש ב-nodeSelector בכל NetworkGatewayGroup כדי להצמיד את כתובת ה-IP הצפה לצומת פיזי ספציפי. כך אפשר למנוע מצב שבו כמה כתובות IP של BGP מגיעות לאותו צומת.
  2. ביטול הניהול של מאזן העומסים: באשכול האדמין, מסירים את ההערה baremetal.cluster.gke.io/managed: "true" מהמשאב BGPLoadBalancer במרחב השמות של אשכול המשתמש. כך הבקרים של GDC לא יבטלו את השינויים הידניים שביצעתם.
  3. תיקון משאבי BGPPeer: מתקנים ידנית את משאבי BGPPeer באשכול האדמין כדי להוסיף את הבלוק selectors שמפנה למשאבי NetworkGatewayGroup ולכתובות ה-IP הצפות הנכונות. השינויים האלה מסתנכרנים עם אשכול המשתמשים ומייצבים את הסשנים של BGP.