מעקב ופתרון בעיות בסשנים אינטראקטיביים

במאמר הזה מוסבר איך לעקוב אחרי סשנים אינטראקטיביים ב-Managed Service for Apache Spark ולפתור בהם בעיות באמצעות ממשק המשתמש של Spark.

ממשק המשתמש של Spark

ממשק המשתמש של Spark אוסף פרטי הפעלה של Apache Spark מסשנים אינטראקטיביים של Managed Service for Apache Spark. התכונה Spark UI מופעלת כברירת מחדל, והשימוש בה לא כרוך בתשלום. הנתונים שנאספים על ידי התכונה "ממשק המשתמש של Spark" נשמרים למשך 90 יום.

התפקידים וההרשאות הנדרשים בניהול זהויות והרשאות גישה (IAM)

כדי להשתמש בתכונה "ממשק המשתמש של Spark" בסשנים אינטראקטיביים, נדרשות ההרשאות הבאות:

  • הרשאת איסוף נתונים: dataproc.sessions.sparkApplicationWrite. צריך לתת את ההרשאה הזו לחשבון השירות שמריץ סשנים אינטראקטיביים. היא כלולה בתפקיד Managed Service for Apache Spark Worker, שמוענק באופן אוטומטי לחשבון השירות שמשמש כברירת המחדל של Compute Engine, שבו Managed Service for Apache Spark משתמש כברירת מחדל. עם זאת, אם אתם מציינים חשבון שירות בהתאמה אישית לסשן או לפרופיל זמן הריצה (תבנית הסשן), אתם צריכים להוסיף את ההרשאה dataproc.sessions.sparkApplicationWrite לחשבון השירות הזה (בדרך כלל, על ידי הקצאת התפקיד Worker של Managed Service for Apache Spark לחשבון השירות).

  • הרשאת גישה לממשק המשתמש של Spark: ‏dataproc.sessions.sparkApplicationRead. כדי לגשת לממשק המשתמש של Spark במסוףGoogle Cloud , צריך לתת למשתמש את ההרשאה הזו. היא כלולה בתפקידים Dataproc Viewer,‏ Dataproc Editor ו-Dataproc Administrator. כדי לפתוח את ממשק המשתמש של Spark במסוף Google Cloud , צריך להיות לכם אחד מהתפקידים האלה או תפקיד בהתאמה אישית שכולל את ההרשאה הזו.

פתיחת ממשק המשתמש של Spark

הדף Spark UI זמין במסוף Google Cloud .

  1. נכנסים לדף Sessions של Managed Service for Apache Spark במסוף Google Cloud .

    כניסה לדף Managed Service for Apache Spark Sessions

  2. לוחצים על מזהה סשן כדי לפתוח את הדף פרטי הסשן.

  3. בתפריט העליון, לוחצים על View Spark UI.

הקישור View Spark UI מושבת? אם לא ניתנה הרשאה נדרשת, או אם מבטלים את הסימון בתיבה Enable Spark UI בדף הפרטים של הסשן האינטראקטיבי, או מגדירים את המאפיין spark.dataproc.appContext.enabled לערך false (ברירת המחדל: true) כשיוצרים סשן או יוצרים פרופיל של סביבת זמן ריצה (תבנית סשן), הלחצן View Spark UI מושבת.