新功能和改善項目
- 彈性 VM 機型:從映像檔版本
4.0開始,如果您在建立叢集時未指定叢集節點的機型,Managed Service for Apache Spark 會根據彈性 VM 機型的排名清單 (例如 N4、N2 和 E2 系列機型的排名清單) 指定節點,並根據資源可用性最佳化清單。
限制
Apache Hudi:映像檔版本
4.0不支援 Apache Hudi。使用 Hive 4.2 的 metastore:映像檔版本
4.0不支援 BigQuery Metastore、BigLake Metastore 或使用 Hive 4.2 的 Dataproc Metastore (不支援使用這些 metastore 直接執行 Hive 查詢)。Delta Lake 搭配 Hive:Delta Lake
4.x包含在 Managed Service for Apache Spark 映像檔版本4.0中,不支援 Hive (無法在 Hive 執行 Delta Lake 4.4 資料表查詢)。
注意:
Java 版本:映像檔版本
4.0包含適用於 Spark 工作負載的 Java 25。Java 21 則用於回溯相容。Iceberg Spark 屬性篩選:在標準 4.0 叢集上,如果省略選用的
iceberg元件,系統會在叢集啟用期間,自動從spark-defaults.conf篩除 Iceberg 工作階段擴充功能和預設目錄。GPU 叢集:除了
4.0-ml-ubuntu之外,所有4.0映像檔版本都會啟用cgroups V2。啟用cgroups V2時,YARN 不支援 GPU 探索,因此建立具備 GPU 的叢集時,必須使用4.0-ml-ubuntu映像檔。4.0版是輕量型映像檔,只包含核心元件,可減少常見安全漏洞與弱點 (CVE) 的風險。如需更高的安全法規遵循要求,請在建立 Managed Service for Apache Spark 叢集時,使用2.3以上版本的映像檔。預先安裝的選用元件:下列選用元件已預先安裝在 4.0 映像檔中,如果您在建立叢集時納入這些元件,系統就會啟用:
- Apache Iceberg
- Delta Lake
建立叢集時,必須指定要安裝的選用元件。詳情請參閱「新增選用元件」。
以下範例顯示使用 Google Cloud CLI 指令建立含選用元件的叢集:gcloud dataproc clusters create CLUSTER_NAME --optional-components=COMPONENT_NAME \ ... other flags
YARN 的預設資源計算機已從 DefaultResourceCalculator 變更為 DominantResourceCalculator,後者採用「主導資源」概念來決定資源 (例如記憶體和 CPU) 的分配。這項變更會影響自動配置器,因其調度資源的方式,正是取決於叢集的主導資源使用情況。