פתרון בעיות בחיבורים של לקוחות

אם נתקלתם בבעיות בטעינה או בחיבור של מערכת קבצים ב-Managed Lustre ממכונה של לקוח או מאשכול GKE, אתם יכולים לפעול לפי השלבים הבאים כדי לאבחן את הבעיה.

איך מוודאים שאפשר לגשת למכונה של Managed Lustre

מוודאים שאפשר להגיע למכונה של Managed Lustre מסביבת הלקוח.

כדי לבדוק את הנגישות ישירות באמצעות lctl ping, נדרשת גישת SSH למכונת הלקוח או לצומת GKE Standard:

sudo lctl ping IP_ADDRESS@tcp

כדי לקבל את הערך של IP_ADDRESS, קראו את המאמר קבלת מכונה.

אם הפינג מצליח, תתקבל תגובה דומה לזו:

12345-0@lo
12345-10.115.0.3@tcp

אם הפינג נכשל, מוחזר:

failed to ping 10.115.0.3@tcp: Input/output error

ב-GKE Autopilot נחסמת הגישה של צומת SSH, וכך נמנע שימוש ישיר ב-lctl ping.

אם הפינג נכשל, או אם אתם מאבחנים קישוריות מאשכול Autopilot:

  • מוודאים שהמכונה של Managed Lustre ומכונת הלקוח או אשכול GKE נמצאים באותה רשת VPC.

    במכונות לקוח של Compute Engine, משווים בין הפלט של הפקודות הבאות:

    gcloud compute instances describe VM_NAME \
      --zone=VM_ZONE \
      --format='get(networkInterfaces[0].network)'
    
    gcloud lustre instances describe INSTANCE_NAME \
      --location=ZONE --format='get(network)'
    

    באשכולות GKE, משווים את הפלט של הפקודות הבאות:

    gcloud container clusters describe CLUSTER_NAME \
      --location=LOCATION \
      --format='get(networkConfig.network)'
    
    gcloud lustre instances describe INSTANCE_NAME \
      --location=ZONE --format='get(network)'
    

    הפלט של הפקודות gcloud compute instances describe ו-gcloud container clusters describe מתחיל ב-https://www.googleapis.com/compute/v1/, וכל מה שמופיע אחרי המחרוזת הזו צריך להיות זהה לפלט של הפקודה gcloud lustre instances describe.

  • בודקים את הכללים של חומת האש ברשת ה-VPC ואת הגדרות הניתוב, כדי לוודא שהם מאפשרים תעבורת נתונים בין רשתות המשנה של הלקוח לבין המכונה של Managed Lustre.

בדיקת יציאת הקבלה של LNet במכונות מדור קודם

למרות שהדגל --gke-support-enabled הוצא משימוש ואין יותר צורך בו כשיוצרים מכונות חדשות של Managed Lustre, יכול להיות שיש לכם מכונות ישנות יותר שנוצרו עם הדגל הזה.

אם אתם מתחברים למכונה מדור קודם שבה הופעלה התמיכה ב-GKE, צריך להגדיר את LNet או את מנהל ההתקן של CSI כך שישתמשו ביציאה 6988:

כדי לבדוק אם מכונה קיימת הוגדרה עם הדגל הקודם, מריצים את הפקודה הבאה:

gcloud lustre instances describe INSTANCE_NAME \
  --location=LOCATION | grep gkeSupportEnabled

אם הפקודה מחזירה את הערך gkeSupportEnabled: true, צריך להגדיר את LNet במכונות הלקוח או להפעיל את הדגל של היציאה הקודמת באשכול GKE.

חוסר התאמה בין גרסת הליבה של Ubuntu לבין לקוח Lustre

במכונות של Compute Engine שמריצות את Ubuntu, גרסת הליבה של Ubuntu צריכה להתאים לגרסה הספציפית של חבילות הלקוח של Lustre. אם כלי הלקוח של Lustre לא פועלים, צריך לבדוק אם מכונת Compute Engine שודרגה אוטומטית לקרנל חדש יותר.

כדי לבדוק את גרסת הליבה:

uname -r

התגובה נראית כך:

6.8.0-1029-gcp

כדי לבדוק את גרסת החבילה של לקוח Lustre:

dpkg -l | grep -i lustre

התגובה נראית כך:

ii  lustre-client-modules-6.8.0-1029-gcp 2.14.0-ddn198-1  amd64  Lustre Linux kernel module (kernel 6.8.0-1029-gcp)
ii  lustre-client-utils                  2.14.0-ddn198-1  amd64  Userspace utilities for the Lustre filesystem (client)

אם יש חוסר התאמה בין גרסת הליבה שמופיעה בשתי הפקודות, צריך להתקין מחדש את חבילות הלקוח של Lustre.

בודקים אם יש שגיאות של Lustre ב-dmesg

הרבה אזהרות ושגיאות של Lustre מתועדות במאגר הנתונים הזמני של ליבת Linux. הפקודה dmesg מדפיסה את מאגר הנתונים המעגלי של הליבה.

כדי לחפש הודעות ספציפיות ל-Lustre, משתמשים ב-grep בשילוב עם dmesg:

dmesg | grep -i lustre

לחלופין, כדי לחפש שגיאות כלליות יותר שעשויות להיות קשורות:

dmesg | grep -i error

ההרכבה של Lustre במכונה של לקוח עם multi-NIC נכשלה

אם למכונה של לקוח יש כמה בקרי ממשק רשת, והמכונה של Managed Lustre נמצאת ברשת VPC שמחוברת ל-NIC משני, כמו eth1, יכול להיות שהטעינה של המכונה תיכשל. כדי לפתור את הבעיה, צריך לפעול לפי ההוראות במאמר איך טוענים באמצעות כרטיס רשת משני.

אי אפשר להתחבר מטווח רשת המשנה 172.17.0.0/16

במכונות לקוח של Compute Engine ובאשכולות GKE עם כתובת IP בטווח של רשת המשנה 172.17.0.0/16, אי אפשר לטעון מכונות של Managed Lustre. ב-GKE, ודאו שרשתות המשנה של הצמתים, טווחי הכתובות של Pod וטווחי הכתובות של השירות לא חופפים ל-172.17.0.0/16.

אי אפשר לגשת ל-Managed Lustre מפרויקט מקושר

אם מכונות הלקוח או אשכולות GKE נמצאים ברשת VPC מקושרת ולא מצליחים להתחבר למכונה של Managed Lustre, ודאו את הדברים הבאים:

  • קישור בין רשתות VPC שכנות (peering) לבדו לא מנתב את התנועה לחיבור של הגישה לשירותים פרטיים שמשמש את Managed Lustre. כדי להתחבר בין רשתות VPC מקושרות, צריך לחבר את שתי הרשתות באמצעות Network Connectivity Center.

  • חשוב לוודא שכללי חומת האש ברשת ה-VPC המארחת וברשת ה-VPC המקושרת מאפשרים תעבורת נתונים של TCP ביציאות 988 ו-6988 בין רשתות המשנה של הלקוח לבין טווח כתובות ה-IP שהוקצה למכונה.

להוראות מפורטות להגדרה ולפקודות gcloud, קראו את המאמר הגדרת רשת VPC.

הטעינה נכשלת במכונות וירטואליות מוגנות עם אתחול מאובטח

אי אפשר לטעון את Managed Lustre במכונות לקוח שמופעל בהן אתחול מאובטח, כמו מכונות וירטואליות מוגנות. אם מנסים לטעון את מודול הליבה (kernel) של Lustre בסביבת אתחול מאובטח, הפעולה נכשלת ומופיעה השגיאה: ERROR: could not insert 'lustre': Required key not available.

המידע שצריך לכלול בבקשת תמיכה

אם לא הצלחתם לפתור את הבעיה בטעינה, אספו מידע לאבחון לפני שתיצרו בקשת תמיכה. כדי ליצור יומני אבחון באמצעות sosreport, צריך גישת SSH למכונה או לצומת של הלקוח.

צומתי Compute Engine ו-GKE Standard

במכונות לקוח של Compute Engine ובצמתים רגילים של GKE שבהם מופעלת גישת SSH, אוספים את יומני האבחון באמצעות הכלי sosreport. הכלי sosreport אוסף יומני מערכת ומידע על הגדרות אישיות, ויוצר קובץ ארכיון דחוס.

התקנת sosreport

כדי לוודא שהחבילה sosreport מותקנת וכוללת תמיכה ב-Lustre, מתחברים באמצעות SSH למכונת הלקוח ומריצים את הפקודה הבאה:

sudo sos report --list-plugins | grep lustre

אם הפקודה לא נמצאה או אם היא לא מחזירה פלט, צריך להתקין או לעדכן את sosreport במערכת ההפעלה:

‫Rocky Linux ו-RHEL

משתמשים בכלי לניהול חבילות dnf כדי להתקין את החבילה sos:

sudo dnf install -y sos

Ubuntu

כדי לאסוף נתוני אבחון של Lustre, במכונות לקוח של Ubuntu נדרש sosreport מהערוץ latest/edge ב-snap. חבילות שמותקנות באמצעות apt לא כוללות את הפלאגין של Lustre.

אם גרסה קודמת של sosreport הותקנה באמצעות apt, קודם צריך להסיר את החבילה:

sudo apt remove -y sosreport

מתקינים את sosreport באמצעות snap:

sudo snap install sosreport --classic --channel=latest/edge

מערכת הפעלה שמותאמת לקונטיינרים

משתמשים במנהל החבילות apt מתוך toolbox כדי להתקין את החבילה sosreport:

sudo toolbox
sudo apt install sosreport -y

יצירת הדוח

כדי ליצור sosreport, מריצים את הפקודה הבאה:

sudo sos report --all-logs --batch --tmp-dir=/var

מצרפים את הארכיון sosreport לבקשת התמיכה.

למידע נוסף על הכלי sosreport, קראו את המאמר איסוף מידע על תוצאות ניפוי הבאגים באמצעות sosreport.

אשכולות GKE Autopilot

ב-GKE Autopilot, הגישה של SSH לצמתים חסומה וקונטיינרים מורשים לניפוי באגים מוגבלים. אי אפשר להריץ את sosreport בצומתי Autopilot או מתוך קונטיינרים של עומסי עבודה.

אם נתקלתם בכשלים בטעינה באשכול Autopilot, פנו אל Cloud Customer Care לקבלת עזרה.

מידע נוסף על אבחון שגיאות בנפח האחסון של GKE זמין במאמר פתרון בעיות במנהל ההתקן של Managed Lustre CSI.