גרסאות אימג' של גרסה 4.0.x

רכיב 4.0.0-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/11/19




Apache Flink
רכיב אופציונלי
2.2.0
Apache Gluten
מותקן
1.6
Apache Hadoop
מותקן
3.5.0
<br>Apache Hive
מותקן
4.2.0
רכיב אופציונלי
של Apache Hive WebHCat
4.2.0
רכיב אופציונלי
של Apache Iceberg
1.12.0
פעולת אתחול
של Apache Kafka
3.9.2
Apache Pig
רכיב אופציונלי
0.18.0
Apache Ranger
רכיב אופציונלי
2.8.0
Apache Spark
מותקן
4.2.0
רכיב אופציונלי
של Apache Solr
9.10.1
Apache Tez
מותקן
0.10.5
רכיב אופציונלי
של Apache Zeppelin Notebook
0.12.0
רכיב אופציונלי
של Apache Zookeeper
3.9.5
המחבר ל-BigQuery
מותקן
0.46.0
חיבור ל-Cloud Storage
מותקן
4.0.7
Conscrypt
מותקן
2.6
רכיב אופציונלי
של Delta Lake
4.4.0
‫Docker
רכיב אופציונלי
28.1
Java
מותקן
25
רכיב אופציונלי
של JupyterLab Notebook
4.6.6
Python
מותקן
‫Pixi 0.76.0 עם Python 3.13
ה
ותקנה מחדש
R 4.5
Scala
מותקן
2.13.17
Trino
של Trino
480

תכונות חדשות ושיפורים

  • סוגי מכונות וירטואליות גמישים: החל מגרסת התמונה 4.0, כשיוצרים אשכול בלי לציין סוג מכונה לצומת באשכול, Managed Service for Apache Spark מציין את הצומת עם רשימה מדורגת של סוגי מכונות וירטואליות גמישים, כמו רשימה מדורגת של סוגי מכונות מסדרות N4,‏ N2 ו-E2, כשהרשימה מותאמת לזמינות המשאבים.

מגבלות

  • ‫Apache Hudi: אין תמיכה ב-Apache Hudi בגרסת האימג' 4.0.

  • מטא-נתונים עם Hive 4.2: גרסת התמונה 4.0 לא תומכת ב-BigQuery Metastore, ב-BigLake Metastore או ב-Dataproc Metastore עם Hive 4.2 (אין תמיכה בשאילתות ישירות של Hive באמצעות המטא-נתונים האלה).

  • ‫Delta Lake עם Hive: ‏Delta Lake 4.x, שנכלל בגרסת התמונה 4.0 של Managed Service for Apache Spark, לא תומך ב-Hive (אי אפשר להריץ שאילתות בטבלאות Delta Lake 4.4 ב-Hive).

הערות:

  • גרסאות Java: גרסת התמונה 4.0 כוללת את Java 25 לעומסי עבודה של Spark. ‫Java 21 כלולה לצורך תאימות לדורות קודמים.

  • סינון מאפייני Iceberg Spark: באשכולות רגילים בגרסה 4.0, אם הרכיב האופציונלי iceberg לא נכלל, תוספי הסשנים של Iceberg והקטלוגים שמוגדרים כברירת מחדל מסוננים אוטומטית מ-spark-defaults.conf במהלך הפעלת האשכול.

  • אשכולות GPU: כל גרסאות התמונה של 4.0, חוץ מ-4.0-ml-ubuntu, מפעילות את cgroups V2. מכיוון ש-YARN לא תומך בגילוי GPU כש-cgroups V2 מופעל, צריך להשתמש בתמונה 4.0-ml-ubuntu כשיוצרים אשכולות עם GPUs.

  • גרסה 4.0 היא קובץ אימג' קל שמכיל רק רכיבי ליבה, וכך מפחית את החשיפה לנקודות חולשה וחשיפות נפוצות (CVE). כדי לעמוד בדרישות מחמירות יותר של תאימות אבטחה, כשיוצרים אשכול Managed Service for Apache Spark, צריך להשתמש בגרסת אימג' 2.3 ואילך.

  • רכיבים אופציונליים שמותקנים מראש: הרכיבים האופציונליים הבאים מותקנים מראש בתמונות בגרסה 4.0, ומופעלים אם כוללים אותם במהלך יצירת האשכול:

    • Apache Iceberg
    • Delta Lake

    כשיוצרים אשכול, צריך לציין את הרכיבים האופציונליים שרוצים להתקין. מידע נוסף זמין במאמר הוספת רכיבים אופציונליים.
    בדוגמה הבאה מוצגת הפקודה של Google Cloud CLI ליצירת אשכול עם רכיבים אופציונליים:

    gcloud dataproc clusters create CLUSTER_NAME
        --optional-components=COMPONENT_NAME \
        ... other flags
    

  • מחשבון המשאבים שמוגדר כברירת מחדל ל-YARN השתנה מ-DefaultResourceCalculator ל-DominantResourceCalculator, שמשתמש בקונספט של המשאב הדומיננטי כדי לקבוע את הקצאת המשאבים, כמו הקצאת זיכרון ו-CPU. השינוי הזה משפיע על Autoscaler, שמשנה את קנה המידה בהתאם לשימוש במשאב הדומיננטי של האשכול.