שינוי גרסת התמונה של Managed Service for Apache Spark ב-Cloud Data Fusion

בדף הזה מוסבר איך לשנות את גרסת התמונה של Managed Service for Apache Spark שבה נעשה שימוש במופע של Cloud Data Fusion. אפשר לשנות את התמונה ברמת המופע, מרחב השמות או צינור העיבוד.

לפני שמתחילים

מפסיקים את כל צינורות הנתונים בזמן אמת ואת משימות השכפול במופע של Cloud Data Fusion. אם צינור או שכפול בזמן אמת פועלים כשמשנים את גרסת התמונה של Managed Service for Apache Spark, השינויים לא חלים על ההרצה של הצינור.

בצינורות בזמן אמת, אם הפעלתם את התכונה checkpointing, עצירה של הצינורות לא תגרום לאובדן נתונים. במשימות שכפול, כל עוד יומני מסד הנתונים זמינים, עצירה והפעלה של משימת השכפול לא גורמות לאובדן נתונים.

הערה: אחרי שהשינויים בהגדרות מוחלים, צינורות Batch משתמשים בהגדרות המעודכנות הבאות בהרצות הבאות.

המסוף

1. עוברים לדף Instances (מכונות) ב-Cloud Data Fusion ופותחים את המכונה שבה רוצים לעצור צינור.

   כניסה לדף Instances

2. פותחים כל צינור עיבוד נתונים בזמן אמת ב-Pipeline Studio ולוחצים על Stop (עצירה).

3. פותחים כל עבודת שכפול בדף Replicate ולוחצים על Stop.

‫API בארכיטקטורת REST

• כדי לאחזר את כל הפייפליינים, משתמשים בקריאה הבאה ל-API בארכיטקטורת REST:

  GET -H "Authorization: Bearer ${AUTH_TOKEN}" \
  "${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps"
  

  מחליפים את NAMESPACE_ID בשם של מרחב השמות.

• כדי להפסיק פייפליין בזמן אמת, משתמשים בקריאה הבאה ל-API בארכיטקטורת REST:

  POST -H "Authorization: Bearer ${AUTH_TOKEN}" \
  "${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps/PIPELINE_NAME/spark/DataStreamsSparkStreaming/stop"
  

  מחליפים את NAMESPACE_ID בשם של מרחב השמות ואת PIPELINE_NAME בשם של צינור הנתונים בזמן אמת.

• כדי להפסיק עבודת שכפול, משתמשים בקריאה הבאה ל-API בארכיטקטורת REST:

  POST -H "Authorization: Bearer ${AUTH_TOKEN}" \
  "${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps/REPLICATION_JOB_NAME/workers/DeltaWorker/stop"
  

  מחליפים את NAMESPACE_ID בשם של מרחב השמות ואת REPLICATION_JOB_NAME בשם של עבודת השכפול.

  מידע נוסף זמין במאמרים בנושא הפסקת צינורות בזמן אמת והפסקת עבודות שכפול.

בדיקה ושינוי של גרסת ברירת המחדל של Managed Service for Apache Spark ב-Cloud Data Fusion

1. כניסה לממשק האינטרנט של Cloud Data Fusion

2. לוחצים על System Admin > Configuration > System Preferences (ניהול מערכת > הגדרה > העדפות מערכת).

   

3. אם לא צוינה תמונה של Managed Service for Apache Spark בהעדפות המערכת, או כדי לשנות את ההעדפה, לוחצים על עריכת העדפות המערכת.

   1. מזינים את הטקסט הבא בשדה מפתח:

      system.profile.properties.imageVersion

   2. מזינים את תמונת Managed Service for Apache Spark שבחרתם בשדה הערך, למשל 2.1.

   3. לוחצים על Save & Close (שמירה וסגירה).

השינוי הזה משפיע על כל המופע של Cloud Data Fusion, כולל כל מרחבי השמות והרצות של צינורות, אלא אם מאפיין גרסת התמונה מוחלף במרחב שמות, בצינור או בארגומנט של זמן ריצה במופע.

שינוי גרסת התמונה של Managed Service for Apache Spark

אפשר להגדיר את גרסת התמונה בממשק האינטרנט של Cloud Data Fusion בקטעים Compute Configurations (הגדרות מחשוב), Namespace Preferences (העדפות של מרחב שמות) או Pipeline Runtime Arguments (ארגומנטים של זמן ריצה של צינור).

הערה: אם לא ביטלתם את גרסת התמונה של Managed Service for Apache Spark בהעדפות של מרחב השמות או בארגומנטים של זמן הריצה של הפייפליין, דלגו על השלבים האלה.

שינוי התמונה בהעדפות מרחב השמות

אם קבעתם ידנית את גרסת התמונה במאפיינים של מרחב השמות, בצעו את השלבים הבאים:

1. כניסה לממשק האינטרנט של Cloud Data Fusion

2. לוחצים על System Admin > Configuration > Namespaces (ניהול מערכת > הגדרה > מרחבי שמות).

3. פותחים כל מרחב שמות ולוחצים על העדפות.

   1. מוודאים שאין החלפה עם המפתח system.profile.properties.imageVersion עם ערך שגוי של גרסת התמונה.

   2. לוחצים על סיום.

שינוי התמונה בפרופילים של מחשוב המערכת

1. כניסה לממשק האינטרנט של Cloud Data Fusion

2. לוחצים על System Admin > Configuration (ניהול מערכת > הגדרה).

3. לוחצים על System (מערכת) Compute Profiles (פרופילי מחשוב) > Create New Profile (יצירת פרופיל חדש).

4. בוחרים את ספק השירותים Managed Service for Apache Spark.

   

5. יוצרים את הפרופיל של Managed Service for Apache Spark. בשדה Image Version (גרסת התמונה), מזינים גרסת תמונה של Managed Service for Apache Spark.

   

6. בוחרים את פרופיל המחשוב הזה כשמריצים את צינור הנתונים בדף Studio. בדף של הרצת צינור, לוחצים על הגדרה > הגדרת מחשוב ובוחרים את הפרופיל הזה.

7. בוחרים את הפרופיל Managed Service for Apache Spark ולוחצים על שמירה.

   הערה: מידע נוסף על שימוש בתמונות 2.2 ו-2.1, שפועלות ב-Java11, זמין במאמר שינוי התמונה של Managed Service for Apache Spark לגרסה 2.2 או 2.1.

8. לוחצים על סיום.

שינוי התמונה בארגומנטים של Pipeline Runtime

אם החלפתם את גרסת התמונה באמצעות מאפיין ב-RuntimeArguments של צינור הנתונים, אתם צריכים לפעול לפי השלבים הבאים:

1. כניסה לממשק האינטרנט של Cloud Data Fusion

2. לוחצים על תפריט תפריט > רשימה.

3. בדף List, בוחרים את צינור הנתונים שרוצים לעדכן.

   הצינור ייפתח בדף Studio.

4. כדי להרחיב את האפשרויות של הפעלה, לוחצים על החץ להרחבה .

   ייפתח החלון Runtime Arguments.

5. בודקים שאין החלפה עם המפתח system.profile.properties.imageVersion וגרסה שגויה של התמונה כערך.

6. לוחצים על Save.

   

יצירה מחדש של אשכולות סטטיים של Managed Service for Apache Spark שנעשה בהם שימוש ב-Cloud Data Fusion עם גרסת התמונה שנבחרה

אם אתם משתמשים באשכולות קיימים של Managed Service for Apache Spark עם Cloud Data Fusion, אתם צריכים לפעול לפי המדריך בנושא Managed Service for Apache Spark כדי ליצור מחדש את האשכולות עם גרסת התמונה של Managed Service for Apache Spark שבחרתם עבור גרסת Cloud Data Fusion שלכם.

חשוב: צריך להשתמש באותו שם של אשכול.

הערה: אם יש צינורות שפועלים בזמן היצירה מחדש של האשכול, הם ייכשלו. ההפעלות הבאות צריכות להתבצע באשכול שנוצר מחדש.

לחלופין, אפשר ליצור אשכול חדש של Managed Service for Apache Spark עם גרסת התמונה שנבחרה של Managed Service for Apache Spark, למחוק את פרופיל המחשוב ב-Cloud Data Fusion וליצור אותו מחדש עם אותו שם של פרופיל המחשוב ושם האשכול המעודכן של Managed Service for Apache Spark. כך, הפעלת צינורות עיבוד ברצף (batch) יכולה להסתיים באשכול הקיים, והפעלות צינורות עוקבות מתבצעות באשכול החדש של Managed Service for Apache Spark. אפשר למחוק את אשכול Managed Service for Apache Spark הישן אחרי שמוודאים שכל ההרצות של צינורות הנתונים הסתיימו.

בדיקה שגרסת התמונה של Managed Service for Apache Spark מעודכנת

המסוף

1. נכנסים לדף Clusters של Managed Service for Apache Spark במסוף Google Cloud .

   מעבר אל Clusters

2. פותחים את הדף פרטי האשכול של האשכול החדש ש-Cloud Data Fusion יצר כשציינתם את הגרסה החדשה.

   השדה Image version מכיל את הערך החדש שציינתם ב-Cloud Data Fusion.

‫API בארכיטקטורת REST

1. כדי לקבל את רשימת האשכולות עם המטא-נתונים שלהם:

   GET -H "Authorization: Bearer ${AUTH_TOKEN}" \
   https://dataproc.googleapis.com/v1/projects/PROJECT_ID/regions/REGION_ID/clusters
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID בשם של מרחב השמות
   • ‫REGION_ID בשם האזור שבו נמצאים האשכולות

2. מחפשים את השם של צינור הנתונים (שם האשכול).

3. מתחת לאובייקט JSON, התמונה מופיעה ב-config > softwareConfig > imageVersion.

שינוי האימג' של Managed Service for Apache Spark לגרסה 2.1 ואילך

ב-Cloud Data Fusion מגרסה 6.9.1 ואילך יש תמיכה בתמונה של Managed Service for Apache Spark‏ 2.1 Compute Engine, שפועלת ב-Java 11. בגרסאות 6.10.0 ואילך, אימג' 2.1 הוא ברירת המחדל.

אם אתם משדרגים לגרסה 2.1 או לגרסה מתקדמת יותר מגרסה קודמת של צינורות העיבוד באצווה וממשימות השכפול, מנהלי ההתקנים של JDBC שבהם משתמשים התוספים של מסד הנתונים באותם מקרים צריכים להיות תואמים ל-Java 11 כדי שהשדרוג יצליח.

לתמונות 2.2 ו-2.1 של Managed Service for Apache Spark יש את המגבלות הבאות ב-Cloud Data Fusion:

• אין תמיכה בעבודות של MapReduce.
• צריך לעדכן את הגרסאות של מנהלי ההתקנים של JDBC שמשמשים בפלאגינים של מסד הנתונים במופע שלכם כדי שתהיה תמיכה ב-Java 11. בטבלה הבאה מפורטות גרסאות של מנהלי התקנים שפועלות עם Managed Service for Apache Spark 2.2,‏ 2.1 ו-Java 11:

מנהלי התקנים של JDBC	גרסאות קודמות שהוסרו מ-Cloud Data Fusion 6.9.1	גרסאות נתמכות של Java 8 ו-Java 11 שפועלות עם Managed Service for Apache Spark 2.2,‏ 2.1 או 2.0
‫Cloud SQL ל-MySQL JDBC driver	-	1.0.16
‫Cloud SQL ל-PostgreSQL JDBC driver	-	1.0.16
דרייבר JDBC של Microsoft SQL Server	‫Microsoft JDBC driver 6.0	‫Microsoft JDBC driver 9.4
דרייבר MySQL JDBC	‫5.0.8, 5.1.39	8.0.25
מנהל התקן של PostgreSQL JDBC	9.4.1211.jre7, 9.4.1211.jre8	42.6.0.jre8
Oracle JDBC driver	ojdbc7	ojdbc8 (גרסה 12c ואילך)

שימוש בזיכרון כשמשתמשים ב-Managed Service for Apache Spark מגרסה 2.1 ואילך

יכול להיות ששימוש בזיכרון יגדל בצינורות שמשתמשים ב-Managed Service for Apache Spark 2.1 ואילך. אם משדרגים את המופע לגרסה 6.10 ואילך, והצינורות הקודמים נכשלים בגלל בעיות בזיכרון, צריך להגדיל את הזיכרון של מנהל ההתקן והמבצע ל-2048 MB בהגדרות Resources של הצינור.

לחלופין, אפשר לשנות את הגרסה של Managed Service for Apache Spark על ידי הגדרת הארגומנט של זמן הריצה system.profile.properties.imageVersion לערך 2.0-debian10.