Spark Engine 3.5
| רכיב | 3.5-dataproc-22 | 3.5-dataproc-17 |
|---|---|---|
| Apache Spark | 3.5.0 | 3.5.0 |
| ספריות Hadoop | 3.3.6 | 3.3.6 |
| Cloud Storage Connector | 3.0.0 | 3.0.0 |
| Java | 11 | 11 |
| Python | 3.8.5 | 3.8.5 |
| Conda | 4.9.2 | 4.9.2 |
| R | 4.3.0 | 4.3.0 |
Spark Engine 3.1(יצא משימוש)
| רכיב | 3.1-dataproc-17 | 3.1-dataproc-16 | 3.1-dataproc-15 | 3.1-dataproc-14 |
|---|---|---|---|---|
| Apache Spark | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
| ספריות Hadoop | 3.2.3 | 3.2.3 | 3.2.3 | 3.2.3 |
| Cloud Storage Connector | hadoop3-2.2.13 | hadoop3-2.2.13 | hadoop3-2.2.11 | hadoop3-2.2.11 |
| Java | 8 | 8 | 8 | 8 |
| Python | 3.8.5 | 3.8.5 | 3.8.5 | 3.8.5 |
| Conda | 4.9.2 | 23.5.0 | 4.9.2 | 4.9.2 |
| R | 4.3.0 | 4.3.0 | 4.2.3 | 4.2.3 |
Spark Engine 2.4(יצא משימוש)
התמיכה ב-Spark 2.4 ב-DPGKE הגיעה לסוף החיים (EOL). התמונה הציבורית ממשיכה להיות זמינה ללא תמיכה נוספת.
| רכיב | 2.4-dataproc-17 | 2.4-dataproc-16 | 2.4-dataproc-15 | 2.4-dataproc-14 |
|---|---|---|---|---|
| Apache Spark | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 |
| ספריות Hadoop | 2.10.2 | 2.10.2 | 2.10.2 | 2.10.2 |
| Cloud Storage Connector | hadoop2-2.1.9 | hadoop2-2.1.9 | hadoop2-2.1.9 | hadoop2-2.1.9 |
| Java | 8 | 8 | 8 | 8 |
| Python | 3.7.4 | 3.7.4 | 3.7.4 | 3.7.4 |
| Conda | 4.7.12 | 22.11.1 | 22.11.1 | 22.1.0 |
| R | 3.6.3 | 3.6.3 | 3.6.3 | 3.6.3 |
פורמטים של גרסאות Spark ב-Managed Service for Apache Spark ב-GKE
גרסה מלאה של Spark engine מופיעה כך: 3.1-dataproc-[NUMBER] או 3.5-dataproc-[NUMBER], לדוגמה, 3.1-dataproc-17 או 3.5-dataproc-17.
אפשר גם להשתמש בפורמטים של גרסאות Spark בצורת כינוי, כמו בדוגמאות הבאות:
-
3– הגרסה העדכנית ביותר של מנוע Spark עם גרסה ראשית של Spark 3. -
3.5– הגרסה העדכנית ביותר של מנוע Spark עם גרסת Spark major.minor 3.5. -
dataproc-2.2– הגרסה העדכנית ביותר של מנוע Spark שתואמת לתמונות של2.2Managed Service for Apache Spark. -
latest– הגרסה העדכנית ביותר של מנוע Spark.