גרסאות תמונות של מהדורות 3.0.x

רכיב	3.0.0-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/07/15	3.0.0-RC2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/05/03	3.0.0-RC1-debian12/ -ubuntu24/ -rocky9 2025/09/08
‫Apache Flink ^רכיב אופציונלי	2.2.0	2.2.0
‫Apache Hadoop ^installed	3.5.0	3.5.0	3.4.1
‫Apache Hive ^installed	4.2.0	4.2.0	4.1.0
‫Apache Hive WebHCat ^רכיב אופציונלי	4.2.0	4.2.0
‫Apache Iceberg ^רכיב אופציונלי	1.11.0
^פעולת אתחול של Apache Kafka	3.9.2	3.9.2
‫Apache Pig ^רכיב אופציונלי	0.18.0	0.18.0-SNAPSHOT
‫Apache Ranger ^רכיב אופציונלי	2.8.0
‫Apache Spark ^מותקן	4.1.2	4.1.1	4.0.0
‫Apache Solr ^רכיב אופציונלי	9.10.1	9.10.1	9.7.0
‫Apache Tez ^installed	0.10.5	0.10.5	0.10.5
‫Apache Zeppelin Notebook ^רכיב אופציונלי	0.12.0	0.12.0
‫Apache Zookeeper ^רכיב אופציונלי	3.9.5	3.9.5	3.9.3
BigQuery Connector ^installed	0.44.1-Preview	0.44.1-Preview
Cloud Storage Connector ^installed	3.1.13	3.1.13	3.1.6
‫Conscrypt ^installed	2.6	2.6	2.6
‫Delta Lake ^רכיב אופציונלי	4.2.0
‫Docker ^רכיב אופציונלי	28.1	28.1
‫Java ^installed	21	21	17
‫JupyterLab Notebook ^רכיב אופציונלי	4.5.7	4.5.7
‫Python ^installed	‫Pixi 0.67.1 עם Python 3.12	‫Pixi 0.67.1 עם Python 3.11	‫micromamba 2.0.5 עם Python 3.11
‫R ^installed	R 4.5	R 4.5	R 4.3
‫Scala ^installed	2.13.17	2.13.17	2.13.14
‫Trino ^רכיב אופציונלי	480	480

מגבלות

• ‫Lightning Engine: גרסת התמונה 3.0 לא תומכת ב-Lightning Engine.

• מאגרי מטא-נתונים עם Hive 4.2: גרסת התמונה 3.0 לא תומכת ב-BigQuery Metastore, ב-BigLake Metastore או ב-Dataproc Metastore עם Hive 4.2 (אין תמיכה בשאילתות Hive ישירות באמצעות מאגרי המטא-נתונים האלה).

• ‫Delta Lake עם Hive:‏ Delta Lake 4.x, שכלול בגרסת התמונה של Managed Service for Apache Spark‏ 3.0, לא תומך ב-Hive (אי אפשר להריץ שאילתות בטבלאות Delta Lake 4.2 ב-Hive).

• ‫Iceberg עם Hive: גרסת התמונה 3.0 של Managed Service for Apache Spark כוללת את Hive 4.2, שתומך ב-Iceberg דרך קטלוג REST של Iceberg.

• אשכולות GPU: כל גרסאות התמונות של 3.0, חוץ מ-3.0-ml-ubuntu, מאפשרות cgroups V2. מכיוון ש-YARN לא תומך באיתור GPU כש-cgroups V2 מופעל, צריך להשתמש בתמונה 3.0-ml-ubuntu כשיוצרים אשכולות עם GPU.

• ‫Hudi: גרסת התמונה 3.0 לא תומכת ב-Apache Hudi.

הערות:

• גרסה 3.0 היא תמונה קלה שמכילה רק רכיבי ליבה, וכך מצמצמת את החשיפה לפרצות אבטחה נפוצות (CVE). כדי לעמוד בדרישות גבוהות יותר של תאימות אבטחה, צריך להשתמש בגרסת התמונה 2.3 ואילך כשיוצרים אשכול של Managed Service for Apache Spark.

• אם תבחרו להתקין רכיבים אופציונליים כשתיצרו אשכול של Managed Service for Apache Spark עם תמונת 3.0, הם יורדו ויותקנו במהלך יצירת האשכול. הפעולה הזו עלולה להאריך את זמן ההפעלה של האשכול. כדי להימנע מהעיכוב הזה, אתם יכולים ליצור תמונה בהתאמה אישית עם הרכיבים האופציונליים שכבר מותקנים. כדי לעשות את זה, מריצים את הפקודה generate_custom_image.py עם הסימון --optional-components.

  הערה: כשיוצרים את האשכול, צריך לציין את הרכיבים האופציונליים שרוצים להתקין. מידע נוסף זמין במאמר בנושא הוספת רכיבים אופציונליים.
  בדוגמה הבאה מוצגת הפקודה ב-CLI של Google Cloud ליצירת אשכול עם רכיבים אופציונליים:

  gcloud dataproc clusters create CLUSTER_NAME
      --optional-components=COMPONENT_NAME \
      ... other flags
  

• התמונות בגרסה 3.0 תומכות ברכיבים האופציונליים הבאים:

  • Apache Flink
  • ‫Apache Hive WebHCat
  • ‫Apache Iceberg
  • ‫Apache Pig
  • ‫Apache Ranger
  • Apache Solr
  • מחברת Apache Zeppelin
  • Apache Zookeeper
  • Delta Lake
  • Docker
  • מחברת JupyterLab
  • Trino

• yarn.nodemanager.recovery.enabled ו-HDFS Audit Logging מופעלים כברירת מחדל בתמונות 3.0.

• ‫Pixi מותקן כחלק מהתקנת Python ומשמש להתקנת חבילות Python במקום Conda.

• הגדרת ברירת המחדל של מחשבון המשאבים ב-YARN השתנתה מ-DefaultResourceCalculator ל-DominantResourceCalculator. ההגדרה החדשה משתמשת במושג של משאב דומיננטי כדי לקבוע את הקצאת המשאבים, כמו הקצאת זיכרון ומעבד. השינוי הזה משפיע על Autoscaler, שמשנה את גודל האשכול בהתאם לשימוש הדומיננטי במשאבים.

• החל מגרסת התמונה 3.0, כשיוצרים אשכול בלי לציין סוג מכונה לצומת של האשכול, Managed Service for Apache Spark מציין את הצומת עם רשימה מדורגת של סוגי מכונות וירטואליות גמישות, כמו רשימה מדורגת של סוגי מכונות מסדרות N4,‏ N2 ו-E2, כשהרשימה מותאמת לזמינות המשאבים.