Release-Versionen von Managed Service for Apache Spark auf GKE

Spark-Engine 3.5

Komponente 3.5-dataproc-28 3.5-dataproc-22 (eingestellt) 3.5-dataproc-17 (eingestellt)
Apache Spark 3.5.1 3.5.0 3.5.0
Hadoop-Bibliotheken 3.3.6 3.3.6 3.3.6
Cloud Storage-Connector 3.0.0 3.0.0 3.0.0
Java 11 11 11
Python 3.8.5 3.8.5 3.8.5
Conda - 4.9.2 4.9.2
R 4.3.0 4.3.0 4.3.0

Spark-Engine 3.1(eingestellt)

Komponente 3.1-dataproc-17 3.1-dataproc-16 3.1-dataproc-15 3.1-dataproc-14
Apache Spark 3.1.3 3.1.3 3.1.3 3.1.3
Hadoop-Bibliotheken 3.2.3 3.2.3 3.2.3 3.2.3
Cloud Storage-Connector hadoop3-2.2.13 hadoop3-2.2.13 hadoop3-2.2.11 hadoop3-2.2.11
Java 8 8 8 8
Python 3.8.5 3.8.5 3.8.5 3.8.5
Conda 4.9.2 23.5.0 4.9.2 4.9.2
R 4.3.0 4.3.0 4.2.3 4.2.3

Spark-Engine 2.4(eingestellt)

Der Support für Spark 2.4 in Dataproc on GKE wurde eingestellt. Das öffentliche Image ist weiterhin ohne weiteren Support verfügbar.

Komponente 2.4-dataproc-17 2.4-dataproc-16 2.4-dataproc-15 2.4-dataproc-14
Apache Spark 2.4.8 2.4.8 2.4.8 2.4.8
Hadoop-Bibliotheken 2.10.2 2.10.2 2.10.2 2.10.2
Cloud Storage-Connector hadoop2-2.1.9 hadoop2-2.1.9 hadoop2-2.1.9 hadoop2-2.1.9
Java 8 8 8 8
Python 3.7.4 3.7.4 3.7.4 3.7.4
Conda 4.7.12 22.11.1 22.11.1 22.1.0
R 3.6.3 3.6.3 3.6.3 3.6.3

Formate für Spark-Versionen in Managed Service for Apache Spark on GKE

Eine voll qualifizierte Release-Version der Spark-Engine wird so ausgedrückt: 3.1-dataproc-[NUMBER] oder 3.5-dataproc-[NUMBER], z. B. 3.1-dataproc-17 oder 3.5-dataproc-17.

Spark-Versionsformate können auch in Aliasform ausgedrückt werden, wie in den folgenden Beispielen gezeigt:

  • 3 : Die neueste Version der Spark-Engine mit einer Spark-Hauptversion von 3.
  • 3.5 : Die neueste Version der Spark-Engine mit einer Spark-Haupt- und Nebenversion von 3.5.
  • dataproc-2.2 : Die neueste Version der Spark-Engine, die mit Managed Service for Apache Spark 2.2 kompatibel ist.
  • latest : Die neueste Version der Spark-Engine.