새로운 기능 및 개선사항
- 가변형 VM 머신 유형: 이미지 버전
4.0부터 클러스터 노드의 머신 유형을 지정하지 않고 클러스터를 만들면 Managed Service for Apache Spark는 리소스 가용성에 최적화된 목록과 함께 N4, N2, E2 시리즈 머신 유형의 순위 목록과 같은 가변형 VM 머신 유형의 순위 목록으로 노드를 지정합니다.
제한사항
Apache Hudi: Apache Hudi는 이미지 버전
4.0에서 지원되지 않습니다.Hive 4.2를 사용하는 metastore: 이미지 버전
4.0은 Hive 4.2를 사용하는 BigQuery metastore, BigLake metastore, Dataproc Metastore를 지원하지 않습니다(이러한 metastore를 사용하는 직접 Hive 쿼리는 지원되지 않음).Hive를 사용하는 Delta Lake: Managed Service for Apache Spark 이미지 버전
4.0에 포함된 Delta Lake4.x는 Hive를 지원하지 않습니다(Delta Lake 4.4 테이블에 대한 쿼리는 Hive에서 실행할 수 없음).
참고:
Java 버전: 이미지 버전
4.0에는 Spark 워크로드용 Java 25가 포함되어 있습니다. Java 21은 이전 버전과의 호환성을 위해 포함되어 있습니다.Iceberg Spark 속성 필터링: 표준 4.0 클러스터에서 선택적
iceberg구성요소가 생략된 경우 클러스터 활성화 중에 Iceberg 세션 확장 프로그램과 기본 카탈로그가spark-defaults.conf에서 자동으로 필터링됩니다.GPU 클러스터:
4.0-ml-ubuntu를 제외한 모든4.0이미지 버전에서cgroups V2를 사용 설정합니다.cgroups V2가 사용 설정된 경우 YARN은 GPU 검색을 지원하지 않으므로 GPU가 있는 클러스터를 만들 때는4.0-ml-ubuntu이미지를 사용해야 합니다.버전
4.0은 핵심 구성요소만 포함하는 경량 이미지로, Common Vulnerabilities and Exposures(CVE)에 대한 노출을 줄입니다. 보안 규정 준수 요구사항이 더 높은 경우 Managed Service for Apache Spark 클러스터를 만들 때 이미지 버전2.3이상을 사용하세요.사전 설치된 선택적 구성요소: 다음 선택적 구성요소는 4.0 이미지에 사전 설치되며 클러스터 생성 중에 포함하면 활성화됩니다.
- Apache Iceberg
- Delta Lake
클러스터를 만들 때 설치할 선택적 구성요소를 지정해야 합니다. 자세한 내용은 선택적 구성요소 추가를 참조하세요.
다음 예시에서는 선택적 구성요소가 있는 클러스터를 만드는 Google Cloud CLI 명령어를 보여줍니다.gcloud dataproc clusters create CLUSTER_NAME --optional-components=COMPONENT_NAME \ ... other flags
YARN의 기본 리소스 계산기가 DefaultResourceCalculator에서 DominantResourceCalculator로 변경되었습니다. DominantResourceCalculator는 주요 리소스 개념을 사용하여 메모리 및 CPU 할당과 같은 리소스 할당을 결정합니다. 이 변경사항은 클러스터의 주요 리소스 사용량을 기준으로 확장하는 자동 확장 처리에 영향을 미칩니다.