מדדי Spark

במאמר הזה מוסבר על מדדי Spark. כברירת מחדל, ב-Managed Service for Apache Spark מופעל איסוף של מדדי Spark זמינים, אלא אם משתמשים במאפייני איסוף מדדי Spark כדי להשבית או לבטל את איסוף של מדד Spark אחד או יותר.

למאפיינים נוספים שאפשר להגדיר כששולחים עומס עבודה של אצווה בשירות מנוהל ל-Apache Spark, אפשר לעיין במאמר בנושא מאפייני Spark.

מאפייני אוסף מדדים של Spark

אתם יכולים להשתמש במאפיינים שמפורטים בקטע הזה כדי להשבית או לבטל את ההגדרה של איסוף מדדי Spark זמינים אחד או יותר.

מאפיין (property)	תיאור
spark.dataproc.driver.metrics	הפרמטר הזה משמש להשבתה או לביטול של מדדי מנהל ההתקן של Spark.
spark.dataproc.executor.metrics	הפרמטר הזה משמש להשבתה או לביטול של מדדי Spark executor.
spark.dataproc.system.metrics	משמש להשבתה של מדדי המערכת של Spark.

דוגמאות ל-CLI של gcloud:

• השבתה של איסוף מדדים של מנהל התקן Spark:

  gcloud dataproc batches submit spark \
      --properties spark.dataproc.driver.metrics="" \
      --region=region \
      other args ...
  

• החלפת איסוף מדדי ברירת המחדל של מנהל ההתקן של Spark כדי לאסוף רק את המדדים BlockManager:disk.diskSpaceUsed_MB ו-DAGScheduler:stage.failedStages:

  gcloud dataproc batches submit spark \
      --properties=^~^spark.dataproc.driver.metrics="BlockManager:disk.diskSpaceUsed_MB,DAGScheduler:stage.failedStages" \
      --region=region \
      other args ...
  

הערה: בדוגמה הקודמת, נעשה שימוש בפסיק (,) כדי להפריד בין שני ערכים שמשויכים למאפיין spark.dataproc.driver.metrics, ולכן התו ~ מצוין כתו המפריד של המאפיין במקום פסיק, שהוא המפריד שמוגדר כברירת מחדל. מידע נוסף מופיע במאמר בנושא פורמט של מאפייני אשכול .

מדדי Spark זמינים

‫Managed Service for Apache Spark אוסף את מדדי Spark שמפורטים בקטע הזה, אלא אם משתמשים במאפייני איסוף מדדי Spark כדי להשבית את האיסוף שלהם או לשנות אותו.

הערה: המדדים נאספים בפורמט הבא:

custom.googleapis.com/METRIC_EXPLORER_NAME.

מדדים של מנהל התקן Spark

מדד	שם הכלי Metrics Explorer
BlockManager:disk.diskSpaceUsed_MB	spark/driver/BlockManager/disk/diskSpaceUsed_MB
BlockManager:memory.maxMem_MB	spark/driver/BlockManager/memory/maxMem_MB
BlockManager:memory.memUsed_MB	spark/driver/BlockManager/memory/memUsed_MB
DAGScheduler:job.activeJobs	spark/driver/DAGScheduler/job/activeJobs
DAGScheduler:job.allJobs	spark/driver/DAGScheduler/job/allJobs
DAGScheduler:messageProcessingTime	spark/driver/DAGScheduler/messageProcessingTime
DAGScheduler:stage.failedStages	spark/driver/DAGScheduler/stage/failedStages
DAGScheduler:stage.runningStages	spark/driver/DAGScheduler/stage/runningStages
DAGScheduler:stage.waitingStages	spark/driver/DAGScheduler/stage/waitingStages

מדדים של Spark executor

מדד	שם הכלי Metrics Explorer
ExecutorAllocationManager:executors.numberExecutorsDecommissionUnfinished	spark/driver/ExecutorAllocationManager/executors/numberExecutorsDecommissionUnfinished
ExecutorAllocationManager:executors.numberExecutorsExitedUnexpectedly	spark/driver/ExecutorAllocationManager/executors/numberExecutorsExitedUnexpectedly
ExecutorAllocationManager:executors.numberExecutorsGracefullyDecommissioned	spark/driver/ExecutorAllocationManager/executors/numberExecutorsGracefullyDecommissioned
ExecutorAllocationManager:executors.numberExecutorsKilledByDriver	spark/driver/ExecutorAllocationManager/executors/numberExecutorsKilledByDriver
LiveListenerBus:queue.executorManagement.listenerProcessingTime	spark/driver/LiveListenerBus/queue/executorManagement/listenerProcessingTime
executor:bytesRead	spark/executor/bytesRead
executor:bytesWritten	spark/executor/bytesWritten
executor:cpuTime	spark/executor/cpuTime
executor:diskBytesSpilled	spark/executor/diskBytesSpilled
executor:jvmGCTime	spark/executor/jvmGCTime
executor:memoryBytesSpilled	spark/executor/memoryBytesSpilled
executor:recordsRead	spark/executor/recordsRead
executor:recordsWritten	spark/executor/recordsWritten
executor:runTime	spark/executor/runTime
executor:shuffleFetchWaitTime	spark/executor/shuffleFetchWaitTime
executor:shuffleRecordsRead	spark/executor/shuffleRecordsRead
executor:shuffleRecordsWritten	spark/executor/shuffleRecordsWritten
executor:shuffleRemoteBytesReadToDisk	spark/executor/shuffleRemoteBytesReadToDisk
executor:shuffleWriteTime	spark/executor/shuffleWriteTime
executor:succeededTasks	spark/executor/succeededTasks
‫ExecutorMetrics:MajorGCTime	spark/executor/ExecutorMetrics/MajorGCTime
‫ExecutorMetrics:MinorGCTime	spark/executor/ExecutorMetrics/MinorGCTime

מדדי מערכת

מדד	שם ב-Metrics Explorer
agent:uptime	agent/uptime
‫cpu:utilization	‫cpu/utilization
disk:bytes_used	disk/bytes_used
disk:percent_used	disk/percent_used
memory:bytes_used	memory/bytes_used
memory:percent_used	memory/percent_used
network:tcp_connections	network/tcp_connections

הצגת מדדים של ניצוץ

כדי לראות את מדדי האצווה, לוחצים על מזהה האצווה בדף Batches (אצוות) של Managed Service for Apache Spark במסוףGoogle Cloud כדי לפתוח את הדף Details (פרטים) של האצווה. בדף הזה מוצג גרף של מדדים לגבי עומס העבודה של האצווה בכרטיסייה Monitoring (מעקב).

איור 1. תרשים של מדדי Spark לעומס עבודה באצווה.

למידע נוסף על צפייה במדדים שנאספו, אפשר לעיין במאמר בנושא Managed Service for Apache Spark Cloud Monitoring.