新機能と改善点
- フレキシブル VM マシンタイプ: イメージ バージョン
4.0以降では、クラスタノードのマシンタイプを指定せずにクラスタを作成すると、Managed Service for Apache Spark は、フレキシブル VM マシンタイプのランク付けされたリスト(N4、N2、E2 シリーズのマシンタイプのランク付けされたリストなど)でノードを指定します。このリストは、リソースの可用性に合わせて最適化されています。
制限事項
Apache Hudi: Apache Hudi は、イメージ バージョン
4.0ではサポートされていません。Hive 4.2 を使用する metastore: イメージ バージョン
4.0は、Hive 4.2 を使用する BigQuery Metastore、BigLake Metastore、Dataproc Metastore をサポートしていません(これらの metastore を使用する直接 Hive クエリはサポートされていません)。Hive を使用した Delta Lake: Managed Service for Apache Spark イメージ バージョン
4.0に含まれている Delta Lake4.xは、Hive をサポートしていません(Delta Lake 4.4 テーブルに対するクエリは Hive で実行できません)。
注:
Java バージョン: イメージ バージョン
4.0には、Spark ワークロード用の Java 25 が含まれています。Java 21 は下位互換性のために含まれています。Iceberg Spark プロパティのフィルタリング: 標準の 4.0 クラスタで、オプションの
icebergコンポーネントが省略されている場合、クラスタの有効化時に Iceberg セッション拡張機能とデフォルト カタログがspark-defaults.confから自動的にフィルタされます。GPU クラスタ:
4.0-ml-ubuntuを除くすべての4.0イメージ バージョンでcgroups V2が有効になります。cgroups V2が有効になっている場合、YARN は GPU の検出をサポートしないため、GPU を使用してクラスタを作成するときに4.0-ml-ubuntuイメージを使用する必要があります。バージョン
4.0は、コア コンポーネントのみを含む軽量イメージであり、共通脆弱性識別子(CVE)への露出を減らします。セキュリティ コンプライアンスの要件が高い場合は、Managed Service for Apache Spark クラスタの作成時にイメージ バージョン2.3以降を使用します。プリインストールされたオプション コンポーネント: 次のオプション コンポーネントは 4.0 イメージにプリインストールされており、クラスタの作成時に含めると有効になります。
- Apache Iceberg
- Delta Lake
クラスタの作成時に、インストールするオプション コンポーネントを指定する必要があります。詳細については、オプション コンポーネントを追加するをご覧ください。
次の例は、オプション コンポーネントを含むクラスタを作成するための Google Cloud CLI コマンドを示しています。gcloud dataproc clusters create CLUSTER_NAME --optional-components=COMPONENT_NAME \ ... other flags
YARN のデフォルトのリソース計算ツール方式が DefaultResourceCalculator から DominantResourceCalculator に変更されました。DominantResourceCalculator は、メモリや CPU などの支配的リソースの概念を使用して、リソース割り当てを決定します。この変更は、クラスタの支配的リソース使用量に基づいてスケーリングする Autoscaler に影響します。