מעקב אחרי אשכולות ומשימות של Managed Service for Apache Spark

במאמר הזה מוסבר על כלים וטכניקות שאפשר להשתמש בהם כדי לעקוב אחרי התקינות והביצועים של אשכולות ועבודות של Managed Spark.

ממשקי אינטרנט בקוד פתוח

רכיבים רבים בקוד פתוח של אשכולות Managed Service for Apache Spark, כמו Apache Hadoop ו-Apache Spark, מספקים ממשקי אינטרנט. אפשר להשתמש בממשקים האלה כדי לעקוב אחרי משאבי האשכול וביצועי העבודה. לדוגמה, אפשר להשתמש בממשק המשתמש של YARN Resource Manager כדי להציג את הקצאת משאבי האפליקציה של YARN באשכול Managed Service for Apache Spark.

שרת היסטוריה מתמשך

ממשקי אינטרנט בקוד פתוח שפועלים באשכול זמינים כשהאשכול פועל, אבל הם מסתיימים כשמוחקים את האשכול. כדי לראות את הנתונים של האשכול והמשימה אחרי שמחקתם אשכול, אתם יכולים ליצור שרת היסטוריה קבוע (PHS).

דוגמה: נתקלתם בשגיאה או בהאטה של עבודה ואתם רוצים לנתח אותה. מפסיקים או מוחקים את אשכול העבודות, ואז צופים בנתוני היסטוריית העבודות ומנתחים אותם באמצעות PHS.

אחרי שיוצרים PHS, מפעילים אותו באשכול Managed Service for Apache Spark או בעומס עבודה באצווה של Managed Service for Apache Spark כשיוצרים את האשכול או שולחים את עומס העבודה באצווה. ל-PHS יש גישה לנתוני היסטוריה של משימות שמופעלות בכמה אשכולות, כך שאפשר לעקוב אחרי משימות בפרויקט במקום לעקוב אחרי ממשקי משתמש נפרדים שמופעלים באשכולות שונים.

יומנים של Managed Service for Apache Spark

‫Managed Service for Apache Spark אוסף את היומנים שנוצרו על ידי Apache Hadoop,‏ Spark, ‏ Hive, ‏ ZooKeeper ומערכות אחרות בקוד פתוח שפועלות באשכולות שלכם, ושולח אותם אל Logging. היומנים האלה מקובצים לפי מקור היומנים, כך שאפשר לבחור ולהציג יומנים שמעניינים אתכם: לדוגמה, יומני YARN NodeManager ו-Spark Executor שנוצרו באשכול מסומנים בנפרד. מידע נוסף על תוכן האפשרויות של יומני Managed Service for Apache Spark זמין במאמר יומנים של Managed Service for Apache Spark.

Cloud Logging

רישום ביומן הוא מערכת לניהול יומנים בזמן אמת שמנוהלת באופן מלא. היא מספקת אחסון ליומנים שנקלטים משירותים של Google Cloud וכלים לחיפוש, לסינון ולניתוח יומנים בהיקף גדול. שירות מנוהל לאשכולות Apache Spark יוצר כמה יומנים, כולל יומנים של הסוכן של שירות מנוהל ל-Apache Spark, יומני הפעלה של אשכולות ויומנים של רכיבי OSS, כמו יומנים של YARN NodeManager.

הרישום ביומן מופעל כברירת מחדל באשכולות של Managed Service for Apache Spark ובעומסי עבודה של עיבוד ברצף (batch processing) ב-Managed Service for Apache Spark. היומנים מיוצאים מעת לעת אל Logging, שם הם נשמרים גם אחרי שהאשכול נמחק או שהעומס מסתיים.

מדדים של Managed Service for Apache Spark

מדדים של אשכול ועבודות ב-Managed Service for Apache Spark, עם הקידומת dataproc.googleapis.com/, מורכבים מנתונים של סדרות זמן שמספקים תובנות לגבי הביצועים של אשכול, כמו ניצול CPU או סטטוס עבודה. ‫Managed Service for Apache Spark custom metrics, עם הקידומת custom.googleapis.com/, כולל מדדים שמופקים ממערכות קוד פתוח שפועלות באשכול, כמו מדד YARN running applications. הבנה של מדדים ב-Managed Service for Apache Spark יכולה לעזור לכם להגדיר את האשכולות בצורה יעילה. הגדרת התראות שמבוססות על מדדים יכולה לעזור לכם לזהות בעיות ולהגיב להן במהירות.

מדדים של אשכולות ומשימות ב-Managed Service for Apache Spark נאספים כברירת מחדל ללא תשלום. האיסוף של מדדים מותאמים אישית מחויב ללקוחות. אפשר להפעיל את איסוף המדדים המותאמים אישית כשיוצרים אשכול. איסוף מדדי Spark של Managed Service for Apache Spark מופעל כברירת מחדל בעומסי עבודה של Spark batch.

Cloud Monitoring

הניטור מתבצע באמצעות מטא-נתונים ומדדים של האשכול, כולל מדדים של HDFS,‏ YARN, משימות ופעולות, כדי לספק תובנות לגבי התקינות, הביצועים והזמינות של אשכולות ומשימות של Managed Service for Apache Spark. אתם יכולים להשתמש ב-Monitoring כדי לבדוק מדדים, להוסיף תרשימים, ליצור לוחות בקרה ולהגדיר התראות.

Metrics Explorer

אפשר להשתמש בMetrics Explorer כדי לראות את המדדים של Managed Service for Apache Spark. מדדים של אשכול, משימה ועיבוד ברצף (batch processing) של Managed Service for Apache Spark מופיעים במשאבים Cloud Managed Service for Apache Spark Cluster, Cloud Managed Service for Apache Spark Job ו-Cloud Managed Service for Apache Spark Batch. מדדים בהתאמה אישית של Managed Service for Apache Spark מופיעים בקטגוריה VM Instances של המשאב Custom.

תרשימים

אתם יכולים להשתמש ב-Metrics Explorer כדי ליצור תרשימים שמציגים את המדדים של Managed Service for Apache Spark.

דוגמה: אתם יוצרים תרשים כדי לראות את מספר האפליקציות הפעילות של Yarn שפועלות באשכולות, ואז מוסיפים מסנן כדי לבחור מדדים שמוצגים לפי שם האשכול או האזור.

מרכזי שליטה

אפשר ליצור מרכזי בקרה כדי לנטר אשכולות ומשימות של Managed Service for Apache Spark באמצעות מדדים מכמה פרויקטים וממוצרים שונים של Google Cloud . אפשר ליצור מרכזי בקרה במסוף Google Cloud מהדף Dashboards Overview. לשם כך, לוחצים על תרשים בדף Metrics Explorer, יוצרים אותו ושומרים אותו.

התראות

אתם יכולים ליצור התראות על מדדים של Managed Service for Apache Spark כדי לקבל הודעה בזמן על בעיות באשכול או בעבודות.

המאמרים הבאים