Managed Service for Apache Spark 強化版彈性模式 (EFM) 會管理重組資料,盡可能縮短從運作中叢集移除節點時,造成的工作進度延遲。EFM 會將資料寫入主要 worker,藉此卸載重組資料。在 reduce 階段,worker 會從這些遠端節點提取資料。這個模式僅適用於 Spark 工作。
由於 EFM 不會在次要 worker 上儲存中繼重組資料,因此 EFM 非常適合使用先占 VM 或僅自動調度資源次要 worker 群組的叢集。
Managed Service for Apache Spark 2.0.31+、2.1.6+、2.2+和後續映像檔版本支援 EFM。
- 不支援 AppMaster 重新配置的 Apache Hadoop YARN 工作,在增強彈性模式下可能會失敗 (請參閱「何時應等待 AppMaster 完成」)。
- 不建議在下列情況使用強化版彈性模式:
- 在只有主要 worker 的叢集上
- 串流工作,因為工作完成後,最多可能需要 30 分鐘才能清除中繼重組資料。
- 在執行筆記本的叢集上,因為重組資料可能不會在工作階段期間清除。
- 在啟用安全停用功能的叢集上執行 Spark 工作時,安全停用和 EFM 可能會互相衝突,因為 YARN 安全停用機制會保留「停用中」節點,直到所有相關應用程式完成為止。
- 在同時執行 Spark 和非 Spark 工作的叢集上。
- 不支援強化彈性模式:
- 啟用主要 worker 自動調整資源配置時。在大多數情況下,主要 worker 會繼續儲存未自動遷移的重組資料。縮減主要 worker 群組會抵銷 EFM 的優勢。
使用強化版彈性模式
建立叢集時,只要將 dataproc:efm.spark.shuffle 叢集屬性設為 primary-worker,即可啟用強化彈性模式。
範例:
gcloud dataproc clusters create cluster-name \ --region=region \ --properties=dataproc:efm.spark.shuffle=primary-worker \ other flags ...
Apache Spark 範例
- 使用 EFM 叢集上的 Spark 範例 jar,對公開的莎士比亞文字執行 WordCount 工作。
gcloud dataproc jobs submit spark \ --cluster=cluster-name \ --region=region \ --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \ --class=org.apache.spark.examples.JavaWordCount \ -- gs://apache-beam-samples/shakespeare/macbeth.txt
設定本機 SSD
由於 EFM 會將中繼重組資料寫入 VM 附加磁碟,因此可受益於本機 SSD 提供的額外處理量和 IOPS。為方便分配資源,設定主要 worker 機器時,請以每 4 個 vCPU 約 1 個本機 SSD 分區為目標。
如要連接本機 SSD,請將 --num-worker-local-ssds 旗標傳遞至 gcloud Managed Service for Apache Spark clusters create 指令。
一般來說,次要工作站不需要本機 SSD。將本機 SSD 新增至叢集的次要 worker (使用 --num-secondary-worker-local-ssds 旗標) 通常較不重要,因為次要 worker 不會在本機寫入重組資料。不過,由於本機 SSD 可提升本機磁碟效能,如果您預期工作會因使用本機磁碟而受限於 I/O (例如工作使用大量本機磁碟做為暫存空間,或分區過大而無法放入記憶體,會溢出至磁碟),則可考慮將本機 SSD 新增至次要 worker。
次要 worker 比例
由於次要 worker 會將重組資料寫入主要 worker,因此叢集必須包含足夠的主要 worker,且具備充足的 CPU、記憶體和磁碟資源,才能容納工作的重組負載。如果是自動調度資源叢集,請在主要 worker 群組的自動調度資源政策中,將 minInstances 設為 maxInstances 值,防止主要群組調度資源,導致非預期的行為。
如果次要與主要 worker 的比例偏高 (例如 10:1),請監控主要 worker 的 CPU 使用率、網路和磁碟用量,判斷是否過載。現在說明一下操作方式:
勾選主要 worker 左側的核取方塊。
按一下「MONITORING」(監控) 分頁標籤,查看主要 worker 的 CPU 使用率、磁碟 IOPS、網路位元組和其他指標。
如果主要 worker 超載,建議手動擴充主要 worker。
調整主要 worker 群組的大小
主要 worker 群組可以安全地擴充,但縮減主要 worker 群組可能會對工作進度造成負面影響。縮減主要 worker 群組規模的操作應使用安全停用程序,只要設定 --graceful-decommission-timeout 旗標即可啟用。
自動調度資源叢集:如果 EFM 叢集設有自動調度資源政策,則無法調度主要 worker 群組資源。如要調整自動調度資源叢集的主要 worker 群組大小,請按照下列步驟操作:
停用自動調度資源。
gcloud dataproc clusters update \ --cluster=cluster-name \ --region=region \ --disable-autoscaling
擴充主要群組。
gcloud dataproc clusters update \ --cluster=cluster-name \ --region=region \ --num-workers=num-primary-workers \ --graceful-decommission-timeout=graceful-decommission-timeout # (if downscaling)
重新啟用自動調度資源功能:
gcloud dataproc clusters update \ --cluster=cluster-name \ --region=region \ --autoscaling-policy=autoscaling-policy
監控主要 worker 磁碟用量
主要 worker 必須有足夠的磁碟空間,才能存放叢集的重組資料。您可以透過 remaining HDFS capacity 指標間接監控這項指標。本機磁碟填滿後,HDFS 就無法使用空間,剩餘容量也會減少。
根據預設,當主要 worker 的本機磁碟用量超過容量的 90% 時,節點會在 YARN 節點 UI 中標示為「UNHEALTHY」(健康狀態不良)。如果遇到磁碟容量問題,可以從 HDFS 刪除未使用的資料,或擴充主要 worker 集區。
進階設定
分區和平行處理
提交 Spark 工作時,請設定適當的分區層級。決定重組階段的輸入和輸出分區數量時,必須在不同的效能特性之間做出取捨。建議您嘗試各種值,找出最適合工作型態的設定。
輸入分區
Spark 和 MapReduce 輸入分區是由輸入資料集決定。從 Cloud Storage 讀取檔案時,每項工作會處理大約一個「區塊大小」的資料。
如果是 Spark SQL 工作,分區大小上限是由
spark.sql.files.maxPartitionBytes控制。建議將記憶體增加至 1 GB:spark.sql.files.maxPartitionBytes=1073741824。如果是 Spark RDD,分區大小通常由
fs.gs.block.size控制,預設值為 128 MB。建議增加至 1 GB。 範例:--properties spark.hadoop.fs.gs.block.size=1073741824
輸出分區
後續階段的工作數量由多個屬性控制。如果工作較大,處理量超過 1 TB,建議每個分區至少有 1 GB 的空間。
如果是 Spark SQL,輸出分區數量是由
spark.sql.shuffle.partitions控制。如果 Spark 工作使用 RDD API,您可以指定輸出分區數量或設定
spark.default.parallelism。
主要 worker 重組作業的重組調整
最重要的屬性是 --properties yarn:spark.shuffle.io.serverThreads=<num-threads>。請注意,這是叢集層級的 YARN 屬性,因為 Spark shuffle 伺服器會做為 Node Manager 的一部分執行。預設值為機器核心數量的兩倍 (2x) (例如,n1-highmem-8 上的 16 個執行緒)。如果「Shuffle Read Blocked Time」大於 1 秒,且主要 worker 未達到網路、CPU 或磁碟限制,建議增加 shuffle 伺服器執行緒數量。
在較大的機型上,建議您提高 spark.shuffle.io.numConnectionsPerPeer (預設值為 1)。(例如,將每對主機的連線數設為 5)。
增加重試次數
如要設定應用程式主節點、工作和階段的嘗試次數上限,請設定下列屬性:
yarn:yarn.resourcemanager.am.max-attempts spark:spark.task.maxFailures spark:spark.stage.maxConsecutiveAttempts
在使用許多先占 VM 或自動調度資源,但未安全停用的叢集中,應用程式主節點和工作會更頻繁地終止,因此在這些叢集中提高上述屬性的值可能會有幫助 (請注意,不支援搭配使用 EFM 與 Spark 和安全停用)。
EFM 叢集上的 YARN 安全停用
YARN 安全停用功能可快速移除節點,盡可能降低對執行中應用程式的影響。如果是自動調度資源叢集,您可以在附加至 EFM 叢集的 AutoscalingPolicy 中,設定安全停用逾時時間。
EFM 強化安全停用功能
由於中繼資料儲存在分散式檔案系統中,因此只要在節點上執行的所有容器都已完成,就可以從 EFM 叢集移除節點。相較之下,標準 Managed Service for Apache Spark 叢集在應用程式完成前,不會移除節點。
節點移除作業不會等待節點上執行的應用程式主節點完成。應用程式主容器終止後,系統會將其重新排程至另一個未停用的節點。工作進度不會遺失:新的應用程式主節點會讀取工作記錄,快速復原先前應用程式主節點的狀態。