אם נתקלתם בבעיות בטעינה או בחיבור של מערכת קבצים ב-Managed Lustre ממכונה של לקוח או מאשכול GKE, אתם יכולים לפעול לפי השלבים הבאים כדי לאבחן את הבעיה.
איך מוודאים שאפשר לגשת למכונה של Managed Lustre
מוודאים שאפשר להגיע למכונה של Managed Lustre מסביבת הלקוח.
כדי לבדוק את הנגישות ישירות באמצעות lctl ping, נדרשת גישת SSH למכונת הלקוח או לצומת GKE Standard:
sudo lctl ping IP_ADDRESS@tcp
כדי לקבל את הערך של IP_ADDRESS, קראו את המאמר קבלת מכונה.
אם הפינג מצליח, תתקבל תגובה דומה לזו:
12345-0@lo
12345-10.115.0.3@tcp
אם הפינג נכשל, מוחזר:
failed to ping 10.115.0.3@tcp: Input/output error
ב-GKE Autopilot נחסמת הגישה של צומת SSH, וכך נמנע שימוש ישיר ב-lctl ping.
אם הפינג נכשל, או אם אתם מאבחנים קישוריות מאשכול Autopilot:
מוודאים שהמכונה של Managed Lustre ומכונת הלקוח או אשכול GKE נמצאים באותה רשת VPC.
במכונות לקוח של Compute Engine, משווים בין הפלט של הפקודות הבאות:
gcloud compute instances describe VM_NAME \ --zone=VM_ZONE \ --format='get(networkInterfaces[0].network)' gcloud lustre instances describe INSTANCE_NAME \ --location=ZONE --format='get(network)'באשכולות GKE, משווים את הפלט של הפקודות הבאות:
gcloud container clusters describe CLUSTER_NAME \ --location=LOCATION \ --format='get(networkConfig.network)' gcloud lustre instances describe INSTANCE_NAME \ --location=ZONE --format='get(network)'הפלט של הפקודות
gcloud compute instances describeו-gcloud container clusters describeמתחיל ב-https://www.googleapis.com/compute/v1/, וכל מה שמופיע אחרי המחרוזת הזו צריך להיות זהה לפלט של הפקודהgcloud lustre instances describe.בודקים את הכללים של חומת האש ברשת ה-VPC ואת הגדרות הניתוב, כדי לוודא שהם מאפשרים תעבורת נתונים בין רשתות המשנה של הלקוח לבין המכונה של Managed Lustre.
בדיקת יציאת הקבלה של LNet במכונות מדור קודם
למרות שהדגל --gke-support-enabled הוצא משימוש ואין יותר צורך בו כשיוצרים מכונות חדשות של Managed Lustre, יכול להיות שיש לכם מכונות ישנות יותר שנוצרו עם הדגל הזה.
אם אתם מתחברים למכונה מדור קודם שבה הופעלה התמיכה ב-GKE, צריך להגדיר את LNet או את מנהל ההתקן של CSI כך שישתמשו ביציאה 6988:
במכונות הלקוח של Compute Engine, מגדירים את LNet לשימוש ב-
accept_portבאשכולות GKE, מפעילים את מנהל ההתקן של CSI באמצעות הדגל
--enable-legacy-lustre-port. יציאות תקשורת של Lustre
כדי לבדוק אם מכונה קיימת הוגדרה עם הדגל הקודם, מריצים את הפקודה הבאה:
gcloud lustre instances describe INSTANCE_NAME \
--location=LOCATION | grep gkeSupportEnabled
אם הפקודה מחזירה את הערך gkeSupportEnabled: true, צריך להגדיר את LNet במכונות הלקוח או להפעיל את הדגל של היציאה הקודמת באשכול GKE.
חוסר התאמה בין גרסת הליבה של Ubuntu לבין לקוח Lustre
במכונות של Compute Engine שמריצות את Ubuntu, גרסת הליבה של Ubuntu צריכה להתאים לגרסה הספציפית של חבילות הלקוח של Lustre. אם כלי הלקוח של Lustre לא פועלים, צריך לבדוק אם מכונת Compute Engine שודרגה אוטומטית לקרנל חדש יותר.
כדי לבדוק את גרסת הליבה:
uname -r
התגובה נראית כך:
6.8.0-1029-gcp
כדי לבדוק את גרסת החבילה של לקוח Lustre:
dpkg -l | grep -i lustre
התגובה נראית כך:
ii lustre-client-modules-6.8.0-1029-gcp 2.14.0-ddn198-1 amd64 Lustre Linux kernel module (kernel 6.8.0-1029-gcp)
ii lustre-client-utils 2.14.0-ddn198-1 amd64 Userspace utilities for the Lustre filesystem (client)
אם יש חוסר התאמה בין גרסת הליבה שמופיעה בשתי הפקודות, צריך להתקין מחדש את חבילות הלקוח של Lustre.
בודקים אם יש שגיאות של Lustre ב-dmesg
הרבה אזהרות ושגיאות של Lustre מתועדות במאגר הנתונים הזמני של ליבת Linux. הפקודה dmesg מדפיסה את מאגר הנתונים המעגלי של הליבה.
כדי לחפש הודעות ספציפיות ל-Lustre, משתמשים ב-grep בשילוב עם dmesg:
dmesg | grep -i lustre
לחלופין, כדי לחפש שגיאות כלליות יותר שעשויות להיות קשורות:
dmesg | grep -i error
ההרכבה של Lustre במכונה של לקוח עם multi-NIC נכשלה
אם למכונה של לקוח יש כמה בקרי ממשק רשת, והמכונה של Managed Lustre נמצאת ברשת VPC שמחוברת ל-NIC משני, כמו eth1, יכול להיות שהטעינה של המכונה תיכשל. כדי לפתור את הבעיה, צריך לפעול לפי ההוראות במאמר איך טוענים באמצעות כרטיס רשת משני.
אי אפשר להתחבר מטווח רשת המשנה 172.17.0.0/16
במכונות לקוח של Compute Engine ובאשכולות GKE עם כתובת IP בטווח של רשת המשנה 172.17.0.0/16, אי אפשר לטעון מכונות של Managed Lustre. ב-GKE, ודאו שרשתות המשנה של הצמתים, טווחי הכתובות של Pod וטווחי הכתובות של השירות לא חופפים ל-172.17.0.0/16.
אי אפשר לגשת ל-Managed Lustre מפרויקט מקושר
אם מכונות הלקוח או אשכולות GKE נמצאים ברשת VPC מקושרת ולא מצליחים להתחבר למכונה של Managed Lustre, ודאו את הדברים הבאים:
קישור בין רשתות VPC שכנות (peering) לבדו לא מנתב את התנועה לחיבור של הגישה לשירותים פרטיים שמשמש את Managed Lustre. כדי להתחבר בין רשתות VPC מקושרות, צריך לחבר את שתי הרשתות באמצעות Network Connectivity Center.
חשוב לוודא שכללי חומת האש ברשת ה-VPC המארחת וברשת ה-VPC המקושרת מאפשרים תעבורת נתונים של TCP ביציאות
988ו-6988בין רשתות המשנה של הלקוח לבין טווח כתובות ה-IP שהוקצה למכונה.
להוראות מפורטות להגדרה ולפקודות gcloud, קראו את המאמר הגדרת רשת VPC.
הטעינה נכשלת במכונות וירטואליות מוגנות עם אתחול מאובטח
אי אפשר לטעון את Managed Lustre במכונות לקוח שמופעל בהן אתחול מאובטח, כמו מכונות וירטואליות מוגנות. אם מנסים לטעון את מודול הליבה (kernel) של Lustre בסביבת אתחול מאובטח, הפעולה נכשלת ומופיעה השגיאה:
ERROR: could not insert 'lustre': Required key not available.
המידע שצריך לכלול בבקשת תמיכה
אם לא הצלחתם לפתור את הבעיה בטעינה, אספו מידע לאבחון לפני שתיצרו בקשת תמיכה. כדי ליצור יומני אבחון באמצעות sosreport, צריך גישת SSH למכונה או לצומת של הלקוח.
צומתי Compute Engine ו-GKE Standard
במכונות לקוח של Compute Engine ובצמתים רגילים של GKE שבהם מופעלת גישת SSH, אוספים את יומני האבחון באמצעות הכלי sosreport. הכלי sosreport אוסף יומני מערכת ומידע על הגדרות אישיות, ויוצר קובץ ארכיון דחוס.
התקנת sosreport
כדי לוודא שהחבילה sosreport מותקנת וכוללת תמיכה ב-Lustre, מתחברים באמצעות SSH למכונת הלקוח ומריצים את הפקודה הבאה:
sudo sos report --list-plugins | grep lustre
אם הפקודה לא נמצאה או אם היא לא מחזירה פלט, צריך להתקין או לעדכן את sosreport במערכת ההפעלה:
Rocky Linux ו-RHEL
משתמשים בכלי לניהול חבילות dnf כדי להתקין את החבילה sos:
sudo dnf install -y sos
Ubuntu
כדי לאסוף נתוני אבחון של Lustre, במכונות לקוח של Ubuntu נדרש sosreport מהערוץ latest/edge ב-snap. חבילות שמותקנות באמצעות apt לא כוללות את הפלאגין של Lustre.
אם גרסה קודמת של sosreport הותקנה באמצעות apt, קודם צריך להסיר את החבילה:
sudo apt remove -y sosreport
מתקינים את sosreport באמצעות snap:
sudo snap install sosreport --classic --channel=latest/edge
מערכת הפעלה שמותאמת לקונטיינרים
משתמשים במנהל החבילות apt מתוך toolbox כדי להתקין את החבילה sosreport:
sudo toolbox
sudo apt install sosreport -y
יצירת הדוח
כדי ליצור sosreport, מריצים את הפקודה הבאה:
sudo sos report --all-logs --batch --tmp-dir=/var
מצרפים את הארכיון sosreport לבקשת התמיכה.
למידע נוסף על הכלי sosreport, קראו את המאמר איסוף מידע על תוצאות ניפוי הבאגים באמצעות sosreport.
אשכולות GKE Autopilot
ב-GKE Autopilot, הגישה של SSH לצמתים חסומה וקונטיינרים מורשים לניפוי באגים מוגבלים. אי אפשר להריץ את sosreport בצומתי Autopilot או מתוך קונטיינרים של עומסי עבודה.
אם נתקלתם בכשלים בטעינה באשכול Autopilot, פנו אל Cloud Customer Care לקבלת עזרה.
מידע נוסף על אבחון שגיאות בנפח האחסון של GKE זמין במאמר פתרון בעיות במנהל ההתקן של Managed Lustre CSI.