מעקב ופתרון בעיות בסשנים אינטראקטיביים

במאמר הזה מוסבר איך לעקוב אחרי סשנים אינטראקטיביים של Managed Service for Apache Spark ולפתור בהם בעיות באמצעות ממשק המשתמש של Spark.

ממשק המשתמש של Spark

ממשק המשתמש של Spark אוסף פרטי הפעלה של Apache Spark מסשנים אינטראקטיביים של Managed Service for Apache Spark. התכונה Spark UI מופעלת כברירת מחדל ואין חיוב על השימוש בה. הנתונים שנאספים באמצעות התכונה Spark UI נשמרים למשך 90 ימים.

הרשאות ותפקידים נדרשים בניהול הזהויות והרשאות הגישה (IAM)

כדי להשתמש בתכונה Spark UI עם סשנים אינטראקטיביים, נדרשות ההרשאות הבאות:

  • הרשאה לאיסוף נתונים: dataproc.sessions.sparkApplicationWrite. צריך להעניק את ההרשאה הזו לחשבון השירות שמריץ סשנים אינטראקטיביים. היא נכללת בתפקיד Managed Service for Apache Spark Worker, שמוענק באופן אוטומטי לחשבון השירות שמשמש כברירת מחדל של Compute Engine, ש-Managed Service for Apache Spark משתמש בו כברירת מחדל. עם זאת, אם מציינים חשבון שירות בהתאמה אישית עבור הסשן או תבנית זמן הריצה של הסשן, צריך להוסיף את ההרשאה dataproc.sessions.sparkApplicationWrite לחשבון השירות הזה (בדרך כלל, על ידי הקצאת התפקיד Managed Service for Apache Spark Worker לחשבון השירות).

  • הרשאת גישה לממשק המשתמש של Spark: ‏dataproc.sessions.sparkApplicationRead. צריך להעניק את ההרשאה הזו למשתמש כדי לגשת לממשק המשתמש של Spark במסוףGoogle Cloud . היא כלולה בתפקידים Dataproc Viewer, Dataproc Editor ו-Dataproc Administrator. כדי לפתוח את ממשק המשתמש של Spark במסוף Google Cloud , צריך להיות לכם אחד מהתפקידים האלה או תפקיד בהתאמה אישית שכולל את ההרשאה הזו.

פתיחת ממשק המשתמש של Spark

הדף Spark UI זמין במסוף Google Cloud .

  1. מעבר אל Managed Service for Apache Spark Interactive Sessions

  2. לוחצים על מזהה סשן אינטראקטיבי כדי לפתוח את הדף פרטי הסשן האינטראקטיבי.
  3. לוחצים על View Spark UI (הצגת ממשק המשתמש של Spark) בתפריט העליון.

האם הקישור View Spark UI מושבת? אם הרשאה נדרשת לא ניתנה, או אם מבטלים את הסימון בתיבת הסימון Enable Spark UI בדף הפרטים של הסשן האינטראקטיבי או מגדירים את המאפיין spark.dataproc.appContext.enabled לערך false (ברירת מחדל: true) כשיוצרים סשן או יוצרים תבנית של זמן ריצה של סשן, הלחצן View Spark UI יהיה מושבת.