פתרון בעיות שקשורות לשגיאות של חוסר זיכרון במכונה וירטואלית

בדף הזה מוסבר על שגיאות מחסור בזיכרון (OOM) ב-Managed Service for Apache Spark במכונות וירטואליות של Compute Engine, ואיך לפתור אותן.

ההשפעות של שגיאות OOM

כשבמכונות הווירטואליות של Managed Service for Apache Spark מתרחשות שגיאות של מחסור בזיכרון (OOM), ההשפעות כוללות את התנאים הבאים:

  • המכונות הווירטואליות של המאסטר וה-worker קופאות לפרק זמן מסוים.

  • שגיאות OOM במכונות וירטואליות של מאסטר גורמות למשימות להיכשל עם השגיאה "המשימה לא נרכשה".

  • שגיאות OOM ב-worker VM גורמות לאובדן הצומת ב-YARN HDFS, מה שמעכב את ביצוע המשימה ב-Managed Service for Apache Spark.

פקדי זיכרון של YARN

ב-Apache YARN יש את הסוגים הבאים של אמצעי בקרה על הזיכרון:

  • מבוסס-סקרים (מדור קודם)
  • מחמיר
  • אלסטי

כברירת מחדל, ב-Managed Service for Apache Spark לא מוגדר yarn.nodemanager.resource.memory.enabled כדי להפעיל את אמצעי הבקרה על הזיכרון של YARN, מהסיבות הבאות:

  • אם גודלי הקונטיינרים לא מוגדרים בצורה נכונה, בקרה קפדנית על הזיכרון עלולה לגרום לסיום הקונטיינרים כשיש מספיק זיכרון.
  • דרישות של בקרת זיכרון גמיש יכולות להשפיע לרעה על ביצוע המשימות.
  • יכול להיות שאמצעי הבקרה על הזיכרון של YARN לא יצליחו למנוע שגיאות OOM כשתהליכים צורכים זיכרון באופן אגרסיבי.

הגנה על הזיכרון ב-Managed Service for Apache Spark

כשיש עומס על הזיכרון של מכונה וירטואלית באשכול של Managed Service for Apache Spark, ההגנה על הזיכרון של Managed Service for Apache Spark סוגרת תהליכים או קונטיינרים עד שהמצב של חוסר בזיכרון מסתיים.

ב-Managed Service for Apache Spark, הגנת הזיכרון פועלת על צומתי האשכולות הבאים בגרסאות התמונה של Managed Service for Apache Spark:

תפקיד 1.5 2.0 ‫2.1 ‫2.2
מכונה וירטואלית ראשית 1.5.74+ 2.0.48+ all all
‫worker VM לא זמין 2.0.76+ 2.1.24+ all
מכונה וירטואלית של מאגר מנהלי התקנים לא זמין 2.0.76+ 2.1.24+ all

זיהוי ואישור של סגירת תהליכים על ידי הגנת הזיכרון

אתם יכולים להשתמש במידע הבא כדי לזהות ולאשר סיום של משימות בגלל עומס על הזיכרון.

סיום תהליכים

  • תהליכים שהסתיימו בגלל הגנת הזיכרון של Managed Service for Apache Spark יוצאים עם הקוד 137 או 143.

  • כש-Managed Service for Apache Spark מסיים תהליך בגלל עומס על הזיכרון, יכולים להתרחש הפעולות או התנאים הבאים:

    • ‫Managed Service for Apache Spark מגדיל את המדד המצטבר dataproc.googleapis.com/node/problem_count ומגדיר את reason לערך ProcessKilledDueToMemoryPressure. איסוף מדדי משאבים ב-Managed Service for Apache Spark
    • ‫Managed Service for Apache Spark כותב יומן google.dataproc.oom-killer עם ההודעה: "A process is killed due to memory pressure: process name. כדי לראות את ההודעות האלה, צריך להפעיל את Logging ולהשתמש במסנן היומן הבא:
      resource.type="cloud_dataproc_cluster"
      resource.labels.cluster_name="CLUSTER_NAME"
      resource.labels.cluster_uuid="CLUSTER_UUID"
      jsonPayload.message:"A process is killed due to memory pressure:"
      

סגירת משימות של מאגר צומתי מאסטר או צומתי דרייבר

  • כשמשימה של צומת מאסטר או של מאגר צומתי דרייבר ב-Managed Service for Apache Spark מסתיימת בגלל עומס על הזיכרון, המשימה נכשלת ומופיע קוד השגיאה Driver received SIGTERM/SIGKILL signal and exited with INT. כדי לראות את ההודעות האלה, צריך להפעיל את Logging ולהשתמש במסנן היומן הבא:

    resource.type="cloud_dataproc_cluster"
    resource.labels.cluster_name="CLUSTER_NAME"
    resource.labels.cluster_uuid="CLUSTER_UUID"
    jsonPayload.message:"Driver received SIGTERM/SIGKILL signal and exited with"
        

    • בודקים את היומן של google.dataproc.oom-killer או את dataproc.googleapis.com/node/problem_count כדי לוודא שהמשימה הסתיימה בגלל הגנת הזיכרון של Managed Service for Apache Spark (ראו סיום תהליכים).

    פתרונות:

סגירת קונטיינרים של YARN בצומת עובד

  • ‫Managed Service for Apache Spark כותב את ההודעה הבאה במנהל המשאבים של YARN: ‏container id exited with code EXIT_CODE. כדי לראות את ההודעות האלה, צריך להפעיל את הרישום ביומן ואז להשתמש במסנן היומן הבא:

    resource.type="cloud_dataproc_cluster"
    resource.labels.cluster_name="CLUSTER_NAME"
    resource.labels.cluster_uuid="CLUSTER_UUID"
    jsonPayload.message:"container" AND "exited with code" AND "which potentially signifies memory pressure on NODE
    
  • אם קונטיינר נסגר עם code INT, בודקים את היומן של google.dataproc.oom-killer או את dataproc.googleapis.com/node/problem_count כדי לוודא שהמשימה הופסקה על ידי Managed Service for Apache Spark Memory Protection (ראו הפסקת תהליכים).

    פתרונות:

    • מוודאים שהגדרתם את גודל המאגר בצורה נכונה.
    • כדאי להנמיך את yarn.nodemanager.resource.memory-mb. המאפיין הזה קובע את נפח הזיכרון שמשמש לתזמון קונטיינרים של YARN.
    • אם קונטיינרים של משימות נכשלים באופן עקבי, בדקו אם חלוקת נתונים לא מאוזנת (partition skew) גורמת לשימוש מוגבר בקונטיינרים ספציפיים. אם כן, צריך לחלק מחדש את המשימה או להגדיל את ה-worker כדי לעמוד בדרישות הזיכרון הנוספות.

כוונון עדין של הגנת הזיכרון של Linux בצומת הראשי (מתקדם)

צומתי המאסטר של Managed Service for Apache Spark משתמשים בכלי earlyoom כדי למנוע קריסות של המערכת על ידי פינוי זיכרון כשהזיכרון הזמין נמוך באופן קריטי. הגדרת ברירת המחדל מתאימה לעומסי עבודה רבים. עם זאת, יכול להיות שתצטרכו לשנות את ההגדרות אם לצומת הראשי יש כמות גדולה של זיכרון והוא צורך זיכרון במהירות.

בתרחישים של עומס גבוה על הזיכרון, המערכת יכולה להיכנס למצב של "התרוצצות" (thrashing), שבו היא משקיעה את רוב הזמן בניהול הזיכרון ולא מגיבה. זה יכול לקרות כל כך מהר, עד ש-earlyoom לא מצליח לבצע פעולה על סמך הגדרות ברירת המחדל שלו, או לא מצליח לפעול לפני שתגובת ה-OOM של הליבה מופעלת.

לפני שמתחילים

  • זו אפשרות כוונון מתקדמת. לפני שמשנים את ההגדרות של earlyoom, כדאי לנסות פתרונות אחרים, כמו שימוש ב-VM ראשי עם יותר זיכרון, הפחתת מספר המשימות שפועלות בו-זמנית או אופטימיזציה של השימוש בזיכרון של המשימות.

התאמה אישית של ההגדרות של earlyoom

כברירת מחדל, earlyoom מוגדר להשתמש בכמות קבועה של זיכרון פנוי כטריגר. במכונות וירטואליות עם כמות גדולה של זיכרון RAM, למשל 32GB או יותר, הכמות הקבועה הזו עשויה לייצג חלק קטן מסך הזיכרון. במצב כזה, המערכת עלולה להיות חשופה לעליות חדות פתאומיות בשימוש בזיכרון.

כדי להתאים אישית את ההגדרות של earlyoom, מתחברים לצומת הראשי ומשנים את קובץ התצורה.

  1. מתחברים לצומת הראשי באמצעות SSH.

  2. פותחים את קובץ התצורה לעריכה:

    sudo nano /etc/default/earlyoom
    
  3. משנים את סף הזיכרון המינימלי. מאתרים את השורה EARLYOOM_ARGS. האפשרות -M <kbytes> מגדירה את הכמות המינימלית של זיכרון פנוי ב-KiB ש-earlyoom מנסה לשמור. ערך ברירת המחדל הוא -M 65536, שהוא 64 MiB.

    אם לצומת הראשי יש זיכרון משמעותי, צריך להגדיל את הערך הזה. לדוגמה, כדי להגדיר את הסף ל-1 GiB (1048576 KiB), משנים את השורה באופן הבא:

    EARLYOOM_ARGS="-r 15 -M 1048576 -s 1"
    

    הערות:

    • ‫-r: מרווח הזמן בין דוחות הזיכרון בשניות
    • ‫-s: הסף של שטח ההחלפה להפעלת earlyoom
  4. מפעילים מחדש את השירות earlyoom כדי להחיל את השינויים:

    sudo systemctl restart earlyoom