Spark-Messwerte

Dieses Dokument enthält Informationen zu Spark-Messwerten. Standardmäßig wird mit Managed Service for Apache Spark die Erfassung von verfügbaren Spark-Messwerten aktiviert, sofern Sie nicht Properties für die Erfassung von Spark-Messwerten verwenden, um die Erfassung eines oder mehrerer Spark-Messwerte zu deaktivieren oder zu überschreiben.

Weitere Attribute, die Sie beim Senden einer Managed Service for Apache Spark-Spark-Batcharbeitslast festlegen können, finden Sie unter Spark-Properties.

Attribute für die Erfassung von Spark-Messwerten

Mit den in diesem Abschnitt aufgeführten Attributen können Sie die Erfassung eines oder mehrerer verfügbarer Spark-Messwerte deaktivieren oder überschreiben.

Attribut	Beschreibung
spark.dataproc.driver.metrics	Hiermit können Sie Spark-Treibermesswerte deaktivieren oder überschreiben.
spark.dataproc.executor.metrics	Hiermit können Sie Spark-Executor-Messwerte deaktivieren oder überschreiben.
spark.dataproc.system.metrics	Damit können Sie Spark-Systemmesswerte deaktivieren.

Beispiele für die gcloud CLI:

• Erfassung von Spark-Treibermesswerten deaktivieren:

  gcloud dataproc batches submit spark \
      --properties spark.dataproc.driver.metrics="" \
      --region=region \
      other args ...
  

• Überschreiben Sie die standardmäßige Erfassung von Spark-Treibermesswerten, um nur BlockManager:disk.diskSpaceUsed_MB- und DAGScheduler:stage.failedStages-Messwerte zu erfassen:

  gcloud dataproc batches submit spark \
      --properties=^~^spark.dataproc.driver.metrics="BlockManager:disk.diskSpaceUsed_MB,DAGScheduler:stage.failedStages" \
      --region=region \
      other args ...
  

Hinweis :Da im vorherigen Beispiel ein Komma (,) verwendet wird, um zwei Werte zu trennen, die dem Attribut spark.dataproc.driver.metrics zugeordnet sind, wird das Zeichen ~ als Attributtrennzeichen anstelle des Standardkommas angegeben. Weitere Informationen finden Sie unter Clusterattribute formatieren .

Verfügbare Spark-Messwerte

Managed Service for Apache Spark erfasst die in diesem Abschnitt aufgeführten Spark-Messwerte, sofern Sie die Erfassung nicht mit Eigenschaften für die Erfassung von Spark-Messwerten deaktivieren oder überschreiben.

Hinweis :Messwerte werden im folgenden Format erfasst:

custom.googleapis.com/METRIC_EXPLORER_NAME.

Spark-Treibermesswerte

Messwert	Name des Metrics Explorer
BlockManager:disk.diskSpaceUsed_MB	spark/driver/BlockManager/disk/diskSpaceUsed_MB
BlockManager:memory.maxMem_MB	spark/driver/BlockManager/memory/maxMem_MB
BlockManager:memory.memUsed_MB	spark/driver/BlockManager/memory/memUsed_MB
DAGScheduler:job.activeJobs	spark/driver/DAGScheduler/job/activeJobs
DAGScheduler:job.allJobs	spark/driver/DAGScheduler/job/allJobs
DAGScheduler:messageProcessingTime	spark/driver/DAGScheduler/messageProcessingTime
DAGScheduler:stage.failedStages	spark/driver/DAGScheduler/stage/failedStages
DAGScheduler:stage.runningStages	spark/driver/DAGScheduler/stage/runningStages
DAGScheduler:stage.waitingStages	spark/driver/DAGScheduler/stage/waitingStages

Messwerte für Spark-Ausführer

Messwert	Name des Metrics Explorer
ExecutorAllocationManager:executors.numberExecutorsDecommissionUnfinished	spark/driver/ExecutorAllocationManager/executors/numberExecutorsDecommissionUnfinished
ExecutorAllocationManager:executors.numberExecutorsExitedUnexpectedly	spark/driver/ExecutorAllocationManager/executors/numberExecutorsExitedUnexpectedly
ExecutorAllocationManager:executors.numberExecutorsGracefullyDecommissioned	spark/driver/ExecutorAllocationManager/executors/numberExecutorsGracefullyDecommissioned
ExecutorAllocationManager:executors.numberExecutorsKilledByDriver	spark/driver/ExecutorAllocationManager/executors/numberExecutorsKilledByDriver
LiveListenerBus:queue.executorManagement.listenerProcessingTime	spark/driver/LiveListenerBus/queue/executorManagement/listenerProcessingTime
executor:bytesRead	spark/executor/bytesRead
executor:bytesWritten	spark/executor/bytesWritten
executor:cpuTime	spark/executor/cpuTime
executor:diskBytesSpilled	spark/executor/diskBytesSpilled
executor:jvmGCTime	spark/executor/jvmGCTime
executor:memoryBytesSpilled	spark/executor/memoryBytesSpilled
executor:recordsRead	spark/executor/recordsRead
executor:recordsWritten	spark/executor/recordsWritten
executor:runTime	spark/executor/runTime
executor:shuffleFetchWaitTime	spark/executor/shuffleFetchWaitTime
executor:shuffleRecordsRead	spark/executor/shuffleRecordsRead
executor:shuffleRecordsWritten	spark/executor/shuffleRecordsWritten
executor:shuffleRemoteBytesReadToDisk	spark/executor/shuffleRemoteBytesReadToDisk
executor:shuffleWriteTime	spark/executor/shuffleWriteTime
executor:succeededTasks	spark/executor/succeededTasks
ExecutorMetrics:MajorGCTime	spark/executor/ExecutorMetrics/MajorGCTime
ExecutorMetrics:MinorGCTime	spark/executor/ExecutorMetrics/MinorGCTime

Systemmesswerte

Messwert	Name im Metrics Explorer
agent:uptime	agent/uptime
cpu:utilization	cpu/utilization
disk:bytes_used	disk/bytes_used
disk:percent_used	disk/percent_used
memory:bytes_used	memory/bytes_used
memory:percent_used	memory/percent_used
network:tcp_connections	network/tcp_connections

Spark-Messwerte ansehen

Wenn Sie Batchmesswerte aufrufen möchten, klicken Sie auf der Seite Batches (Batches) von Managed Service for Apache Spark in derGoogle Cloud -Konsole auf eine Batch-ID, um die Seite Details (Details) des Batches zu öffnen. Auf dem Tab „Monitoring“ (Monitoring) wird ein Messwertdiagramm für die Batcharbeitslast angezeigt.

Abbildung 1. Spark-Messwerte-Diagramm für eine Batcharbeitslast.

Weitere Informationen zum Aufrufen der erfassten Messwerte finden Sie unter Cloud Monitoring für Managed Service for Apache Spark.