"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

העברה והגדרה של ערוצי Conda

ערוצי חבילות Conda שהוגדרו מראש מוסרים מקובצי אימג' של אשכולות Managed Service for Apache Spark וזמני ריצה ללא שרת. במאמר הזה מוסבר איך להעביר ולהגדיר ערוצי Conda לעומסי העבודה שלכם.

הסרה של ערוצי Conda שהוגדרו מראש

בעבר, קובצי האימג' של Managed Service for Apache Spark כללו חבילות של ערוצי Conda שהוגדרו מראש, כמו מאגר defaults של Anaconda. בעקבות שינויים ברישיון, אנחנו מסירים את כל המצביעים לערוצים שהוגדרו מראש מכל קובצי האימג' וסביבות זמן הריצה ללא שרת (serverless) של Managed Service for Apache Spark בעבר ובעתיד.

מה משתנה: פקודות שמריצות את conda install PACKAGE בלי לציין ערוץ באופן מפורש לא יפתרו יותר חבילות ממאגרי ברירת מחדל, ויכשלו.
מה לא משתנה: התקנות רגילות של חבילות Python מ-PyPI (pip install PACKAGE או מאפיין האשכול dataproc:pip.packages) לא מושפעות בכלל.

זמינות של תמונות צדדיות ללא ערוצים

כדי לעזור למפתחים להסתגל לעדכון הזה, פרסמנו גרסאות משניות משנה של Managed Service for Apache Spark שלא כוללות ערוצים, כמו שמפורט בטבלה הבאה. התמונות האלה שומרות על תאימות בינארית ותאימות רכיבים מלאה לתמונות קיימות, וההבדל היחיד הוא שהוסרו מהן ערוצי Conda שהוגדרו מראש.

טראק של תמונות	גרסאות קודמות או גרסאות שהושפעו	גרסה צדדית שפורסמה ללא Conda	סטטוס ותאימות
‫1.3	`<= 1.3.95`	`1.3.96`	תואם באופן מלא ל-`1.3.95`; הוסרו ערוצי Conda
1.4	`<= 1.4.80`	`1.4.81`	תואם באופן מלא ל-`1.4.80`; הוסרו ערוצי Conda
‫1.5	`<= 1.5.90`	`1.5.92`	תואם באופן מלא ל-`1.5.90`; הוסרו ערוצי Conda
2.0	`<= 2.0.160`	`2.0.161`	תואם באופן מלא ל-`2.0.160`; הוסרו ערוצי Conda
‫2.1	`<= 2.1.116`	‫`2.1.117` ועוד `2.1.119`	הפצה נתמכת; ערוצי Conda הוסרו
‫2.2	`<= 2.2.84`	‫`2.2.85` ועוד `2.2.87`	הפצה נתמכת; ערוצי Conda הוסרו
‫2.3	`<= 2.3.31`	‫`2.3.32` ועוד `2.3.36`	הפצה נתמכת; ערוצי Conda הוסרו

איך ההסרה משפיעה על עומסי העבודה

אשכולות לא מוצמדים: כל סקריפט ליצירת אשכול שמציין כינוי לגרסת קובץ אימג' (כמו --image-version=2.2-debian12) מקבל באופן אוטומטי את קובץ האימג' החדש ללא ערוצים.
תמונות מותאמות אישית או מוצמדות: אשכולות שמוצמדים לגרסאות משנה קודמות או שמשתמשים בתמונות מותאמות אישית ממשיכים להפנות להגדרות ערוץ ישנות, אלא אם מעדכנים אותם. אם אתם משתמשים בתמונות מוצמדות, אתם צריכים לבקש הארכה כדי לקבל עוד זמן ולעבור לגרסאות נתמכות ללא ערוצים.
כשל בהפעלה: כל פעולת אתחול, סקריפט של צינור או משימה שמועברים ל-conda install PACKAGE בלי לציין ערוץ נכשלים עם שגיאות בזיהוי הערוץ.

איך מגדירים ערוצי Conda

אם עומסי העבודה שלכם מסתמכים על Conda להתקנת חבילות בינאריות, אתם צריכים להצהיר במפורש על הערוץ באמצעות אחת מהאפשרויות הבאות. כדי לציין ערוצים במאפייני אשכול שקשורים ל-Conda, קראו את המאמר שימוש במאפייני אשכול שקשורים ל-Conda.

אפשרות 1: הגדרת flag בשורת הפקודה

האפשרות הזו מומלצת להתקנות אד-הוק. מעבירים את הדגל --channel כשמריצים את conda install:

conda install --channel conda-forge PACKAGE

או להשתמש בדגל הקצר -c:

conda install -c conda-forge PACKAGE

מחליפים את PACKAGE בשם החבילה שרוצים להתקין.

אפשרות 2: פעולות אתחול של אשכול

האפשרות הזו מומלצת לסביבות אוטומטיות. מוסיפים פעולת אתחול בהתאמה אישית שמגדירה מראש את הערוץ שבו רוצים להשתמש בקובץ התצורה של .condarc:

#!/bin/bash
# Preconfigure the community conda-forge channel or a private enterprise repository.
conda config --add channels conda-forge
conda config --set channel_priority strict

העברה מתמונות מדור קודם (גרסאות 1.x ו-2.0)

התמיכה בגרסאות 1.3,‏ 1.4,‏ 1.5 ו-2.0 של Managed Service for Apache Spark הסתיימה לפני זמן רב. הפעלת תמונות ישנות יותר יוצרת סיכונים תפעוליים וסיכוני אבטחה משמעותיים, כולל חשיפות ונקודות חולשה נפוצות (CVE) ידועות במערכות הפעלה בסיסיות ובתלות בתוכנות קוד פתוח (OSS).

‫Google Cloud מפסיקה לצמיתות את יצירת התמונות בגרסאות 1.x ו-2.0.
כל פעולות האיניציאליזציה שזמינות במאגר GoogleCloudDataproc/initialization-actions ב-GitHub, שתומכות רק בתמונות שהוצאו משימוש (1.x ו-2.0), יוסרו גם הן.
צריך להעביר את כל עומסי העבודה לתמונות הרוחביות ללא ערוצים של Conda עד 15 באוקטובר 2026.
בסופו של דבר, צריך להעביר את כל עומסי העבודה לגרסאות פעילות ונתמכות (2.1,‏ 2.2,‏ 2.3 או 3.0 ואילך).

מידע נוסף זמין במאמר בנושא גרסאות תמונות שלא נתמכות ב-Managed Service for Apache Spark.

התוספים הזמינים

‫Managed Service for Apache Spark מספק שתי דרכים להרחבה באמצעות רשימת היתרים שנדרש להצטרף אליה, ונדרש אישור של צוות השירות.

סוגי תוספים

אלה סוגי התוספים שזמינים:

תוסף זמני לעקיפת הבעיה ב-Conda

תוקף: עד 31 באוקטובר 2026 לכל היותר.
המטרה: לספק פתרון זמני מיידי ללקוחות שהפריסות האוטומטיות או פעולות האיניציאליזציה שלהם לא פועלות בגלל השינוי בכינוי ברירת המחדל של קובץ האימג' ב-25 באוגוסט 2026 וב-1 בספטמבר 2026.
יתרון: מאפשר לפרויקטים לשמור באופן זמני על ההתנהגות הקודמת, בזמן שמשנים את הסקריפטים כך שיכללו את --channel או עוברים לתמונות ללא ערוצים.

הוצאה משימוש של תמונות מדור קודם

תוקף: עד 31 בדצמבר 2026.
מטרה: לעומסי עבודה קריטיים שפועלים בגרסה 1.x או 2.0, שלא ניתן לבצע בהם מיד שינוי בקוד כדי להתאים אותו ל-Spark 3.x או לסביבות OS חדשות יותר.
היתרון: תוכלו להמשיך ליצור אשכולות בגרסאות הקודמות עד סוף 2026, וכך למנוע הפסקות מיידיות בסביבת הייצור.
דרישה מוקדמת: אפשר לקבל את התוסף הזה רק אם עומסי העבודה הנוכחיים בגרסאות 1.x ו-2.0 משתמשים בתמונות לרוחב שתואמות ל-Conda.

דרישות לגבי תוספים

התוספים כפופים למגבלות תאימות ותשתית. כדי לקבל אישור, אתם צריכים לעמוד בכל הדרישות הבאות:

פרויקטים קיימים בלבד: התוספים חלים רק על Google Cloud מזהי פרויקטים שיש להם היסטוריה פעילה של הפעלת הגרסאות האלה לפני אוגוסט 2026. פרויקטים חדשים לא יתווספו לרשימת ההיתרים.
החלפת תמונות לרוחב היא חובה עד 31 באוקטובר 2026: אם קיבלתם הארכה לגרסה 1.x או 2.0, אתם צריכים להעביר את הגדרות יצירת האשכול לגרסאות משניות תואמות ל-Conda (1.3.96,‏ 1.4.81,‏ 1.5.92 ו-2.0.161) עד 31 באוקטובר 2026.
אין שימוש באזור global: בגרסאות תמונה 1.5 וגרסאות קודמות, אסור לפרוס אשכולות באזור global הקודם. עומסי העבודה צריכים להשתמש בנקודות קצה אזוריות ספציפיות (לדוגמה, us-central1 או europe-west1).
תוכנית מובטחת להעברה: כדי להעביר עומסי עבודה לגרסאות נתמכות שתואמות ל-Conda (גרסה 2.2 ואילך או גרסה 3.0), אתם צריכים להפעיל תוכנית מודרניזציה לפני המועד האחרון – 31 בדצמבר 2026.

איך מבקשים הארכה

כדי לבקש הוספה של תוסף לרשימת ההיתרים, שולחים בקשה באחד מהערוצים הבאים:

אימייל: אפשר לשלוח את הבקשה ישירות לכתובת dataproc-msa-support@google.com.
בקשת תמיכה: שולחים בקשה ל-Cloud Customer Care עם הפניה ל-Dataproc Conda Deprecation MSA.
צוות החשבון: אפשר לפנות למנהל החשבון הטכני Google Cloud (TAM) או ל-Customer Engineer (CE) שמוקצים לחשבון שלכם.

הבקשה צריכה לכלול את הפרטים הבאים:

Google Cloud שם הארגון
מזהי פרויקטים ומספרי פרויקטים של Google Cloud
שמות האשכולות או המזהים הייחודיים האוניברסליים (UUID) שהושפעו
גרסאות התמונה הנוכחיות שבשימוש
הסיבה לבקשת ההארכה ותאריך היעד להשלמת ההעברה

רשימת משימות לערוצי Conda תואמים

צריך לבצע את הפעולות לפי סדר העדיפויות הבא.

עדיפות 1: גילוי עומס עבודה (workload) ומלאי

זיהוי תמונות שיצאו משימוש: מבצעים ביקורת בפרויקטים של הארגון כדי לזהות אשכולות שפועלים בגרסה 1.3, 1.4, 1.5 או 2.0.

הפקודה הבאה מציגה את גרסת התמונה של אשכולות פעילים באזור מסוים:
```
gcloud dataproc clusters list --region=REGION \
    --format="table(clusterName, status.state, config.softwareConfig.imageVersion)"
```
מחליפים את REGION באזור שבו נמצאים האשכולות.
בדיקת השימוש ב-Conda: בודקים את פעולות האתחול (--initialization-actions), את הסקריפטים לטעינה בזמן ההפעלה ואת הסקריפטים לשליחת משימות כדי לראות אם יש הפעלות של conda install.

עדיפות 2: מיון מיידי של כשלים

אם אתם נתקלים בהפסקות, בצעו את הפעולות הבאות:

אם צינורות עיבוד נתונים אוטומטיים נכשלים בגלל חבילות Conda חסרות, צריך לתקן מיד את פעולת האתחול או את הסקריפט על ידי הוספת --channel conda-forge (או -c conda-forge):
```
conda install -c conda-forge PACKAGE
```
אם יצירת האשכול נכשלת בגלל בלוקים של תמונות שהוצאו משימוש, צריך לפנות מיד לכתובת dataproc-msa-support@google.com או למנהל החשבון הטכני כדי לבקש רישום זמני לרשימת ההיתרים.

עדיפות 3: ביצוע החלפה משנית לרוחב

בשלב הזה לא צריך לבצע שינויים בקוד.

אם יש לכם צינורות עיבוד נתונים שאי אפשר לשדרג מיד לגרסת אימג' 2.2 ואילך, אתם צריכים לעדכן את התבניות ליצירת אשכולות (לדוגמה, Terraform,‏ Apache Airflow DataprocCreateClusterOperator,‏ Managed Service for Apache Airflow וסקריפטים של CI/CD) כדי להשתמש בגרסה הרוחבית ללא ערוצים:
- מחליפים את 1.3.* ב-1.3.96.
- מחליפים את 1.4.* ב-1.4.81.
- מחליפים את 1.5.* ב-1.5.92.
- מחליפים את 2.0.* ב-2.0.161.
למה זה עובד: התמונות האלה מכילות את אותן גרסאות של Apache Spark,‏ Apache Hadoop,‏ Apache Hive ו-Java כמו בגרסאות משניות קודמות. הם מבטיחים תאימות מלאה לאפליקציה בלי לדרוש שינויים בקוד.

עדיפות 4: יצירה מחדש של אשכולות שפועלים במשך זמן רב

אם יש לכם אשכולות סטטיים שפועלים לאורך זמן ופריסתם בוצעה בתמונות קודמות, כדאי לתזמן חלון זמן לתחזוקה כדי ליצור אותם מחדש באמצעות הגרסאות המשניות האחרונות (או גרסאות תואמות של Conda בגרסה 2.x או 3.x). יצירה מחדש של האשכולות מבטיחה שהם יקבלו את כל עדכוני האבטחה וההגדרות הקריטיים.

עדיפות 5: תכנון שדרוג מלא לגרסאות נתמכות

תאריך היעד להשלמת הפרויקט הזה הוא הרבעון הרביעי של 2026.

כדאי להגדיר סביבות בדיקה בגרסת האימג' 2.2 (Debian 12,‏ Spark 3.5) או בגרסת האימג' 3.0, שזמינה לכולם (GA).
אימות של משימות PySpark,‏ Scala ו-Java בהתאם למפרטים של Spark 3.x API.
אם אתם צריכים תמיכה ייעודית במודרניזציה, השתמשו Google Cloudבארגון Professional Services Organization (PSO) או בשותפי מיגרציה מוסמכים, כמו Wipro ו-HCL.

שאלות נפוצות

בקטעים הבאים מפורטות תשובות לשאלות נפוצות בנושא ההסרה של ערוץ Conda.

כללי ורקע

השאלות הבאות מסבירות למה השינויים האלה מתרחשים ומה ההבדלים ביניהם.

למה אנחנו מסירים ערוצי Conda שהוגדרו מראש ב-Managed Service for Apache Spark?

בעקבות שינויים בדרישות הרישוי, אנחנו מפרידים את השירותים של Managed Service for Apache Spark מערוצי Anaconda קנייניים ומעבירים אותם למנגנוני אריזה סטנדרטיים בקוד פתוח.

מה ההבדל בין הסרה של ערוץ Conda לבין הוצאה משימוש של תמונה?

הסרת ערוץ Conda משפיעה על כל הגרסאות של Managed Service for Apache Spark, כולל גרסאות 2.1,‏ 2.2 ו-2.3 שנתמכות באופן פעיל, וזמני ריצה ללא שרת. היא מסירה מצביעים שמוגדרים כברירת מחדל למאגרי Anaconda.
הוצאה משימוש של תמונות משפיעה באופן ספציפי על תמונות מדור קודם בגרסאות 1.x ו-2.0. התמונות האלה הגיעו לסוף חיי המוצר, לא מקבלות יותר תיקוני אבטחה וייחסמו ליצירת אשכולות.

בעיות טכניות ובעיות תאימות

השאלות הבאות מתייחסות להשפעת השינויים על התקנת חבילות Python, על השימוש ב-Conda ועל תאימות התמונות.

האם השינוי הזה ישפיע על `pip install` או על `dataproc:pip.packages`?

לא. התקנות רגילות של חבילות Python באמצעות pip או המאפיין dataproc:pip.packages של אשכול Managed Service for Apache Spark, מושכות ישירות מאינדקס החבילות של Python ‏ (PyPI). ‫PyPI הוא בלתי תלוי לחלוטין ב-Conda ולא מושפע ממנו בשום צורה.

האם הארגון שלי יכול להמשיך להשתמש בחבילות Anaconda או Conda?

כן. אתם יכולים להמשיך להשתמש ב-Conda כדי לנהל את הסביבות שלכם. עם זאת, אתם צריכים לציין במפורש את הערוץ של המאגר. אתם יכולים להפנות לערוץ conda-forge שנתמך על ידי הקהילה (על ידי הוספת -c conda-forge) או להפנות למאגר המקומי הפרטי של Anaconda שמוגדר בארגון שלכם באמצעות פעולות אתחול.

איזו שגיאה בדיוק מתרחשת אם הסקריפט שלי לא מעודכן?

כשמריצים את הפקודה conda install PACKAGE על תמונה ללא ערוצים, Conda מחזירה שגיאה שמציינת שלא הוגדרו ערוצים או שלא ניתן למצוא את החבילה המבוקשת בנתיבי החיפוש שמוגדרים כברירת מחדל. לדוגמה: PackagesNotFoundError: The following packages are not available from current channels.

מהי תמונה משנית רוחבית, ולמה כדאי להשתמש בה?

גרסת משנה צדדית (למשל 1.5.92 לגרסה 1.5 או 2.0.161 לגרסה 2.0) היא גרסת תמונה שבה רכיבי הליבה של המערכת האקולוגית של הביג דאטה (Hadoop,‏ Spark,‏ Hive,‏ Presto וזמני ריצה של Java) נשארים זהים לגרסאות קודמות באותו מסלול, אבל ערוצי Conda הבסיסיים הוסרו. שדרוג לגרסה משנית צדדית לא דורש שינויים בקוד של משימות Spark.

פריסות וסביבה עסקית

השאלות הבאות מתייחסות להשפעת השינויים על עומסי עבודה ללא שרת, על פריסות של Google Kubernetes Engine ‏ (GKE) ועל שירותים מנוהלים של תזמור.

איך זה משפיע על Managed Service for Apache Spark serverless?

החל מ-25 באוגוסט 2026, עומסי עבודה חדשים של אצווה ללא שרת יפעלו על תמונות זמן ריצה בסיסיות שלא מכילות ערוצי Conda שהוגדרו מראש. אם אתם אורזים יחסי תלות באמצעות קובצי אימג' של קונטיינרים בהתאמה אישית או קובצי tarball של סביבת Conda, ודאו שהגדרות ה-build מציינות את --channel conda-forge או את הערוץ הפרטי שלכם.

איך זה משפיע על Managed Service for Apache Spark ב-Google Kubernetes Engine?

התמונות של Managed Service for Apache Spark ב-GKE עודכנו כדי להסיר ערוצי Conda שהוגדרו מראש (לדוגמה, תמונת זמן הריצה 3.5-dataproc-28 וגרסאות עוקבות). צריך לעדכן קובצי Dockerfile של קונטיינרים בהתאמה אישית שמריצים conda install כדי להעביר --channel מפורש.

האם יש השפעה על כלי תזמור מנוהלים כמו Managed Service for Apache Airflow או Cloud Data Fusion?

צינורות עיבוד נתונים סטנדרטיים שמוגדרים כברירת מחדל ומנוהלים על ידי Managed Airflow או Cloud Data Fusion, שמפעילים משימות מובנות ליצירת אשכולות של Managed Service for Apache Spark, לא מושפעים מהשינוי, אלא אם תהליך העבודה שלכם מסתמך על פעולות אתחול בהתאמה אישית שמריצות פקודות conda install ללא סימון או מצמידות קובצי אימג' שהוצאו משימוש בגרסאות 1.x או 2.0.

תמיכה ועזרה

בשאלה הבאה מוסבר איפה אפשר לקבל עזרה בהעברה.

איפה אפשר לקבל עזרה טכנית לגבי ההעברה?

לפתרון בעיות טכניות ולבקשות להוספה לרשימת ההיתרים, אפשר לפנות לכתובת dataproc-msa-support@google.com או לפתוח בקשה בCloud Customer Care.
כדי לקבל עזרה בהעברה לארגונים, צוות ה- Google Cloud PSO מציע חבילות מודרניזציה מובנות, ושותפים מוסמכים של משלבי מערכות (SI), כולל Wipro ו-HCL, מספקים שירותי העברה ייעודיים שעומדים בדרישות לקבלת מימון שירותי שותפים (PSF).