3.0.x 출시 이미지 버전

구성요소 3.0.0-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/07/15		 3.0.0-RC2-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/05/03		 3.0.0-RC1-debian12/
-ubuntu24/
-rocky9
2025/09/08

Apache Flink
선택적 구성요소		 2.2.0 2.2.0
Apache Hadoop
설치됨		 3.5.0 3.5.0 3.4.1
Apache Hive
설치됨		 4.2.0 4.2.0 4.1.0
Apache Hive WebHCat
선택적 구성요소		 4.2.0 4.2.0
Apache Iceberg
선택적 구성요소		 1.11.0
Apache Kafka
초기화 작업		 3.9.2 3.9.2
Apache Pig
선택적 구성요소		 0.18.0 0.18.0-SNAPSHOT
Apache Ranger
선택적 구성요소		 2.8.0
Apache Spark
설치됨		 4.1.2 4.1.1 4.0.0
Apache Solr
선택적 구성요소		 9.10.1 9.10.1 9.7.0
Apache Tez
설치됨		 0.10.5 0.10.5 0.10.5
Apache Zeppelin Notebook
선택적 구성요소		 0.12.0 0.12.0
Apache Zookeeper
선택적 구성요소		 3.9.5 3.9.5 3.9.3
BigQuery 커넥터
설치됨		 0.44.1-Preview 0.44.1-Preview
Cloud Storage Connector
설치됨		 3.1.13 3.1.13 3.1.6
Conscrypt
설치됨		 2.6 2.6 2.6
Delta Lake
선택적 구성요소		 4.2.0
Docker
선택적 구성요소		 28.1 28.1
Java
설치됨		 21 21 17
JupyterLab 노트북
선택적 구성요소		 4.5.7 4.5.7
Python
설치됨		 Python 3.12을 사용하는 Pixi 0.67.1 Python 3.11을 사용하는 Pixi 0.67.1 Python 3.11을 사용하는 micromamba 2.0.5
R
설치됨		 R 4.5 R 4.5 R 4.3
Scala
설치됨		 2.13.17 2.13.17 2.13.14
Trino
선택적 구성요소		 480 480

제한사항

  • Lightning Engine: 이미지 버전 3.0에서는 Lightning Engine이 지원되지 않습니다.

  • Hive 4.2가 포함된 metastore: 이미지 버전 3.0는 Hive 4.2가 포함된 BigQuery Metastore, BigLake Metastore 또는 Dataproc Metastore를 지원하지 않습니다 (이러한 metastore를 사용하는 직접 Hive 쿼리는 지원되지 않음).

  • Hive를 사용한 Delta Lake: Managed Service for Apache Spark 이미지 버전 3.0에 포함된 Delta Lake 4.x는 Hive를 지원하지 않습니다 (Delta Lake 4.2 테이블에 대한 쿼리를 Hive에서 실행할 수 없음).

  • Hive를 사용하는 Iceberg: Managed Service for Apache Spark 이미지 버전 3.0에는 Iceberg REST 카탈로그를 통해 Iceberg를 지원하는 Hive 4.2가 포함되어 있습니다.

  • GPU 클러스터: 3.0-ml-ubuntu을 제외한 모든 3.0 이미지 버전에서 cgroups V2을 사용 설정할 수 있습니다. cgroups V2가 사용 설정된 경우 YARN에서 GPU 검색을 지원하지 않으므로 GPU가 포함된 클러스터를 만들 때는 3.0-ml-ubuntu 이미지를 사용해야 합니다.

  • Hudi: 이미지 버전 3.0은 Apache Hudi를 지원하지 않습니다.

참고:

  • 버전 3.0은 핵심 구성요소만 포함하는 경량 이미지로, Common Vulnerabilities and Exposures(CVE)에 대한 노출을 줄입니다. 보안 규정 준수 요구사항이 더 높은 경우 Managed Service for Apache Spark 클러스터를 만들 때 이미지 버전 2.3 이상을 사용하세요.

  • 3.0 이미지로 Managed Service for Apache Spark 클러스터를 만들 때 선택적 구성요소를 설치하도록 선택하면 클러스터 생성 중에 다운로드되고 설치됩니다. 이렇게 하면 클러스터 시작 시간이 늘어날 수 있습니다. 이 지연을 방지하려면 선택적 구성요소가 사전 설치된 커스텀 이미지를 만들면 됩니다. 이는 --optional-components 플래그로 generate_custom_image.py를 실행하여 달성할 수 있습니다.

  • 다음 선택적 구성요소는 3.0 이미지에서 지원됩니다.

    • Apache Flink
    • Apache Hive WebHCat
    • Apache Iceberg
    • Apache Pig
    • Apache Ranger
    • Apache Solr
    • Apache Zeppelin 노트북
    • Apache ZooKeeper
    • Delta Lake
    • Docker
    • JupyterLab 노트북
    • Trino

  • yarn.nodemanager.recovery.enabled 및 HDFS 감사 로깅은 3.0 이미지에서 기본적으로 사용 설정됩니다.

  • Pixi는 Python 설치의 일부로 설치되며 Conda 대신 Python 패키지를 설치하는 데 사용됩니다.

  • YARN의 기본 리소스 계산기가 DefaultResourceCalculator에서 DominantResourceCalculator로 변경되었습니다. DominantResourceCalculator는 주요 리소스 개념을 사용하여 메모리 및 CPU 할당과 같은 리소스 할당을 결정합니다. 이 변경사항은 클러스터의 주요 리소스 사용량을 기준으로 확장하는 자동 확장 처리에 영향을 미칩니다.

  • 이미지 버전 3.0부터 클러스터 노드의 머신 유형을 지정하지 않고 클러스터를 만들면 Managed Service for Apache Spark에서 리소스 가용성에 맞게 최적화된 목록(예: N4, N2, E2 시리즈 머신 유형의 순위 목록)을 사용하여 유연한 VM 머신 유형의 순위 목록으로 노드를 지정합니다.