Google Dataproc משתמש בגרסאות של תמונות Ubuntu, Debian ו-Rocky Linux כדי לארוז מערכת הפעלה, רכיבי Big Data ו Google Cloud מחברים בחבילה אחת שמוצבת באשכול. מידע נוסף זמין במאמר בנושא ניהול גרסאות ב-Dataproc.
הערות:
- גרסאות של תמונות Dataproc נתמכות למשך 24 חודשים אחרי ההשקה הראשונית שלהן.
- בדרך כלל, גרסאות של תמונות Dataproc זמינות למשך 24 חודשים אחרי תאריך סיום התמיכה שלהן, אבל תקופת הזמינות יכולה להתקצר אם תאריך התמיכה בתמונה הוארך.
גרסת ברירת המחדל של תמונת Dataproc
Dataproc מעדכן את גרסת ברירת המחדל של התמונה לגרסה העדכנית ביותר של Dataproc מבוסס Debian שזמינה לכלל המשתמשים, אחרי תאריך ההשקה שלה (GA).
גרסאות נתמכות של תמונות Dataproc
תמונות של Debian
הגרסאות הבאות של תמונות מבוססות Debian נתמכות באשכולות Dataproc. שימו לב: ייווצרו אשכולות חדשים שיכללו תיקונים משניים שבוצעו בגרסה מסוימת מאז ההשקה שלה.
| גרסה | עדכון אחרון | פורסם בתאריך | נתמך עד | הפריט זמין עד | הערות |
|---|---|---|---|---|---|
| 3.0-debian12 | 2025/09/08 | 2025/09/08 | TBD | TBD | גרסת בטא. |
| 2.3-debian12 | 2026/02/24 | 2025/06/09 | 2027/06/09 | 2029/06/09 | גרסה שזמינה לכלל המשתמשים. |
| 2.2-debian12 | 2026/02/24 | 2023/12/08 | 31/03/2027 | 2027/12/31 | גרסה שזמינה לכלל המשתמשים. גרסת התמונה 2.2 תהפוך לגרסת ברירת המחדל ב-13 בספטמבר 2024. |
| 2.1-debian11 | 2026/02/24 | 2022/12/12 | 31/03/2026 | 2026/12/31 | גרסה שזמינה לכלל המשתמשים. |
| 2.0-debian10 | 2026/02/24 | 2021/01/22 | 2025/09/30 | 31/07/2026 | גרסה שזמינה לכלל המשתמשים. |
תמונות של Ubuntu
הגרסאות הבאות של קובצי אימג' מבוססי Ubuntu LTS נתמכות באשכולות Dataproc. שימו לב: ייווצרו אשכולות חדשים שיכללו תיקונים משניים שבוצעו בגרסה מאז ההשקה שלה.
| גרסה | עדכון אחרון | פורסם בתאריך | נתמך עד | הפריט זמין עד | הערות |
|---|---|---|---|---|---|
| 3.0-ubuntu24 | 2025/09/08 | 2025/09/08 | TBD | TBD | גרסת בטא. |
| 2.3-ubuntu22 | 2026/02/24 | 2025/06/09 | 2027/06/09 | 2029/06/09 | גרסה שזמינה לכלל המשתמשים. |
| 2.2-ubuntu22 | 2026/02/24 | 2023/12/08 | 31/03/2027 | 2027/12/31 | גרסה שזמינה לכלל המשתמשים. |
| 2.1-ubuntu20 | 2026/02/24 | 2022/12/12 | 31/03/2026 | 2026/12/31 | גרסה שזמינה לכלל המשתמשים. |
| 2.0-ubuntu18 | 2026/02/24 | 2021/01/22 | 2025/09/30 | 31/07/2026 | גרסה שזמינה לכלל המשתמשים. |
תמונות של Rocky Linux
גרסאות התמונות הבאות מבוססות על Rocky Linux ונתמכות באשכולות Dataproc. שימו לב: ייווצרו אשכולות חדשים שיכללו תיקונים משניים שבוצעו בגרסה מאז ההשקה שלה.
| גרסה | עדכון אחרון | פורסם בתאריך | נתמך עד | הפריט זמין עד | הערות |
|---|---|---|---|---|---|
| 3.0-rocky9 | 2025/09/08 | 2025/09/08 | TBD | TBD | גרסת בטא. |
| 2.3-rocky9 | 2026/02/24 | 2025/06/09 | 2027/06/09 | 2029/06/09 | גרסה שזמינה לכלל המשתמשים. |
| 2.2-rocky9 | 2026/02/24 | 2023/12/08 | 31/03/2027 | 2027/12/31 | גרסה שזמינה לכלל המשתמשים. |
| 2.1-rocky8 | 2026/02/24 | 2022/12/12 | 31/03/2026 | 2026/12/31 | גרסה שזמינה לכלל המשתמשים. |
| 2.0-rocky8 | 2026/02/24 | 2022/02/18 | 2025/09/30 | 31/07/2026 | גרסה שזמינה לכלל המשתמשים. |
גרסאות של תמונות Dataproc שלא נתמכות
אין תמיכה בגרסאות הבאות של Dataproc. Dataproc לא מספקת עדכונים ותמיכה לאשכולות שנוצרו עם הגרסאות האלה. אפשר להמשיך להפעיל אשכול שנוצר באמצעות גרסה לא נתמכת, אבל מומלץ להחליף את האשכול באשכול חדש שנוצר באמצעות גרסה נתמכת.
| גרסה | כולל | תאריך הפרסום | תאריך עדכון אחרון | הערות |
|---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
28/04/2023 | לא נתמך החל מ-28 באפריל 2023. 1.5.89-debian10/-ubuntu18/-rocky8 הייתה הגרסה הסופית שפורסמה. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Cloud Storage connector 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
2021/03/16 | 2022/02/01 | לא נתמכת החל מ-2022/02/01. 2.0.30-centos8 הייתה הגרסה הסופית שהושקה. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/12/14 | 2022/02/01 | לא נתמך החל מ-2022/02/01. 1.5.56-centos8 הייתה הגרסה הסופית שפורסמה. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
2019/03/22 | 2022/02/01 | הגרסה לא נתמכת החל מ-2022/02/01. 1.4.80-debian10/-ubuntu18 הייתה הגרסה הסופית שפורסמה. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018/06/29 | 2021/12/22 | לא נתמך החל מ-2021/08/01. 1.3.95-debian10/-ubuntu18 הייתה הגרסה האחרונה שפורסמה, ונקודות החולשה של log4j2 טופלו בה. הערה: גרסאות שפורסמו בעבר פגיעות וצריך לשדרג אותן. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
2019/03/22 | 2020/07/10 | התמיכה הופסקה ב-10 ביולי 2020. 1.4.33-debian9 הייתה הגרסה האחרונה שפורסמה. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018/06/29 | 2020/07/10 | התמיכה הופסקה ב-10 ביולי 2020. הגרסה האחרונה שפורסמה הייתה 1.3.62-debian9. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage connector 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2017/07/21 | 2020/07/10 | התמיכה הופסקה ב-10 ביולי 2020. 1.2.102-debian9 הייתה הגרסה האחרונה שפורסמה. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage connector 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 |
2016/08/08 | 2019/09/26 | התמיכה הופסקה ב-2019/10/01. 1.1.121-debian9 היא הגרסה הסופית שפורסמה. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage connector 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 |
2016/02/22 | 2019/05/09 | הגרסה הראשונה של GA image. התמיכה בה הופסקה ב-1 באפריל 2019. הגרסה האחרונה שפורסמה הייתה 1.0.119-debian9. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage connector 1.5.1-hadoop2 BigQuery connector 0.7.7-hadoop2 |
2015/11/18 | 2016/08/02 | גרסה שנייה של תמונת בטא. |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Cloud Storage connector 1.5.1-hadoop2 BigQuery connector 0.7.7-hadoop2 |
2015/09/23 | 2016/08/02 | גרסת בטא של Dataproc. Spark 1.5 עבר קומפילציה מול Hive 1.2. |