שינוי גרסת התמונה של Managed Service for Apache Spark ב-Cloud Data Fusion

עדכון גרסת האימג' של Managed Service for Apache Spark ב-Cloud Data Fusion מאפשר לכם לשמור על תאימות של יחסי תלות, לגשת לתכונות חדשות של Spark ולפתור בעיות בזמן הריצה של צינור עיבוד הנתונים. אתם יכולים להגדיר את גרסת התמונה הזו ברמת המכונה, מרחב השמות או צינור עיבוד הנתונים, בהתאם לדרישות התפעוליות שלכם.

לפני שמתחילים

עוצרים את כל צינורות עיבוד הנתונים בזמן אמת ואת כל משימות הרפליקציה במכונה של Cloud Data Fusion. אם צינור עיבוד נתונים או שכפול בזמן אמת פועלים כשמשנים את גרסת האימג' של Managed Service for Apache Spark, השינויים לא חלים על הפעלת צינור עיבוד הנתונים.

בצינורות עיבוד נתונים בזמן אמת, אם מפעילים את נקודות הבדיקה, עצירת צינורות עיבוד הנתונים לא גורמת לאובדן נתונים. במשימות רפליקציה, כל עוד יומני מסד הנתונים זמינים, עצירה והפעלה של משימת הרפליקציה לא גורמות לאובדן נתונים.

המסוף

  1. נכנסים לדף Instances ב-Cloud Data Fusion ופותחים את המכונה שבה רוצים לעצור את צינור עיבוד הנתונים.

    כניסה לדף Instances

  2. פותחים כל צינור עיבוד נתונים בזמן אמת ב-Pipeline Studio ולוחצים על Stop.

  3. פותחים כל משימת רפליקציה בדף Replicate ולוחצים על Stop.

‫API בארכיטקטורת REST

  • כדי לאחזר את כל צינורות עיבוד הנתונים, משתמשים בקריאה הבאה ל-API בארכיטקטורת REST:

    GET -H "Authorization: Bearer ${AUTH_TOKEN}" \
    "${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps"
    

    מחליפים את NAMESPACE_ID בשם של מרחב השמות.

  • כדי לעצור צינור עיבוד נתונים בזמן אמת, משתמשים בקריאה הבאה ל-API בארכיטקטורת REST:

    POST -H "Authorization: Bearer ${AUTH_TOKEN}" \
    "${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps/PIPELINE_NAME/spark/DataStreamsSparkStreaming/stop"
    

    מחליפים את NAMESPACE_ID בשם של מרחב השמות ואת PIPELINE_NAME בשם של צינור עיבוד הנתונים בזמן אמת.

  • כדי לעצור משימת רפליקציה, משתמשים בקריאה הבאה ל-API בארכיטקטורת REST:

    POST -H "Authorization: Bearer ${AUTH_TOKEN}" \
    "${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps/REPLICATION_JOB_NAME/workers/DeltaWorker/stop"
    

    מחליפים את NAMESPACE_ID בשם של מרחב השמות ואת REPLICATION_JOB_NAME בשם של משימת הרפליקציה.

    מידע נוסף זמין במאמרים עצירת צינורות עיבוד נתונים בזמן אמת ועצירת משימות רפליקציה.

בדיקה ושינוי של גרסת ברירת המחדל של Managed Service for Apache Spark ב-Cloud Data Fusion

  1. נכנסים לממשק האינטרנט של Cloud Data Fusion.

  2. לוחצים על System Admin(מנהל מערכת) > Configuration(הגדרה) > System Preferences (העדפות מערכת).

    לוחצים על "עריכת העדפות המערכת".

  3. אם לא צוין אימג' של Managed Service for Apache Spark ב-העדפות מערכת, או כדי לשנות את ההעדפה, לוחצים על Edit System Preferences.

    1. מזינים את הטקסט הבא בשדה מפתח:

      system.profile.properties.imageVersion

    2. בשדה Value, מזינים את קובץ האימג' של Managed Service for Apache Spark שבחרתם, למשל 2.1.

    3. לוחצים על Save & Close (שמירה וסגירה).

הגדרת העדפות למערכת

השינוי הזה משפיע על כל המכונה של Cloud Data Fusion, כולל כל מרחבי השמות והרצות הצינורות שלה, אלא אם המאפיין של גרסת תמונה מוחלף במרחב שמות, בצינור עיבוד נתונים או בארגומנט של זמן ריצה במכונה.

שינוי גרסת התמונה של Managed Service for Apache Spark

אפשר להגדיר את גרסת התמונה בממשק האינטרנט של Cloud Data Fusion, בקטע Compute Configurations, ‏ Namespace Preferences או Pipeline Runtime Arguments.

שינוי התמונה בהעדפות של מרחב השמות

אם שיניתם את גרסת התמונה במאפייני מרחב השמות, בצעו את השלבים הבאים:

  1. נכנסים לממשק האינטרנט של Cloud Data Fusion.

  2. לוחצים על System Admin(מנהל מערכת) >Configuration(הגדרה) >Namespaces (מרחבי שמות).

  3. פותחים כל מרחב שמות ולוחצים על העדפות.

    1. חשוב לוודא שאין שינוי של המפתח system.profile.properties.imageVersion עם ערך שגוי של גרסת התמונה.

    2. לוחצים על סיום.

שינוי התמונה בפרופילי המחשוב של המערכת

  1. נכנסים לממשק האינטרנט של Cloud Data Fusion.

  2. לוחצים על System Admin > Configuration.

  3. לוחצים על System Compute Profiles > Create New Profile.

  4. בוחרים את המקצה Managed Service for Apache Spark.

    בוחרים את מקצה המשאבים של Dataproc.

  5. יוצרים את הפרופיל של Managed Service for Apache Spark. בשדה Image Version מזינים את גרסת האימג' של Managed Service for Apache Spark.

    צריך להזין את גרסת התמונה

  6. בוחרים את פרופיל המחשוב הזה כשמריצים את צינור עיבוד הנתונים בדף Studio. בדף של הרצת צינור עיבוד הנתונים, לוחצים על Configure > Compute config ובוחרים את הפרופיל הזה.

  7. בוחרים את הפרופיל של Managed Service for Apache Spark ולוחצים על Save.

  8. לוחצים על סיום.

שינוי התמונה ב-Pipeline Runtime Arguments

אם שיניתם את גרסת התמונה באמצעות מאפיין ב-Runtime Arguments של הצינור, בצעו את השלבים הבאים:

  1. נכנסים לממשק האינטרנט של Cloud Data Fusion.

  2. לוחצים על סמל התפריט > רשימה.

  3. בדף List, בוחרים את צינור עיבוד הנתונים שרוצים לעדכן.

    הצינור נפתח בדף Studio.

  4. כדי להרחיב את האפשרויות של Run, לוחצים על החץ .

    החלון Runtime Arguments נפתח.

  5. מוודאים שאין שינוי ידני עם המפתח system.profile.properties.imageVersion ועם ערך של גרסת תמונה שגויה.

  6. לוחצים על Save.

    הגדרת ארגומנט זמן ריצה של צינור עיבוד הנתונים

יצירה מחדש של אשכולות סטטיים של Managed Service for Apache Spark שמשמשים את Cloud Data Fusion עם גרסת האימג' שנבחרה

אם אתם משתמשים באשכולות קיימים של Managed Service for Apache Spark עם Cloud Data Fusion, פעלו לפי המדריך של Managed Service for Apache Spark כדי ליצור מחדש את האשכולות עם גרסת האימג' של Managed Service for Apache Spark שנבחרה לגרסת Cloud Data Fusion שלכם.

לחלופין, אתם יכולים ליצור אשכול חדש של Managed Service for Apache Spark עם גרסת האימג' של Managed Service for Apache Spark שבחרתם, למחוק וליצור מחדש את פרופיל המחשוב ב-Cloud Data Fusion עם אותו שם של פרופיל מחשוב ושם מעודכן של אשכול Managed Service for Apache Spark. כך, צינורות עיבוד נתונים באצווה שפועלים יכולים להשלים את הביצוע באשכול הקיים, והרצות של צינורות עיבוד נתונים לאחר מכן מתבצעות באשכול החדש של Managed Service for Apache Spark. אחרי שמוודאים שכל ההרצות של צינורות עיבוד הנתונים הסתיימו, אפשר למחוק את האשכול הישן של Managed Service for Apache Spark.

מוודאים שגרסת האימג' של Managed Service for Apache Spark מעודכנת

המסוף

  1. נכנסים לדף Clusters של Managed Service for Apache Spark במסוף Google Cloud .

    כניסה לדף Clusters

  2. פותחים את הדף Cluster details של האשכול החדש שנוצר ב-Cloud Data Fusion כשציינתם את הגרסה החדשה.

    בשדה Image version מופיע הערך החדש שציינתם ב-Cloud Data Fusion.

‫API בארכיטקטורת REST

  1. מציגים את רשימת האשכולות עם המטא-נתונים שלהם:

    GET -H "Authorization: Bearer ${AUTH_TOKEN}" \
    https://dataproc.googleapis.com/v1/projects/PROJECT_ID/regions/REGION_ID/clusters
    

    מחליפים את מה שכתוב בשדות הבאים:

    • PROJECT_ID בשם של מרחב השמות.
    • ‫REGION_ID בשם האזור שבו נמצאים האשכולות.
  2. מחפשים את שם צינור עיבוד הנתונים (שם האשכול).

  3. מתחת לאובייקט ה-JSON הזה, אפשר לראות את התמונה ב-config > softwareConfig > imageVersion.

שינוי קובץ האימג' של Managed Service for Apache Spark לגרסה 2.1 ואילך

בגרסאות 6.9.1 ואילך של Cloud Data Fusion יש תמיכה באימג' 2.1 של Managed Service for Apache Spark ב-Compute Engine, שפועל ב-Java 11. בגרסאות 6.10.0 ואילך, קובץ האימג' 2.1 הוא ברירת המחדל.

אם אתם משנים את גרסת קובץ האימג' ל-2.1 ואילך, מגרסה קודמת, כדי שצינורות עיבוד הנתונים באצווה ומשימות השכפול יצליחו, מנהלי ההתקנים של JDBC שבהם משתמשים הפלאגינים של מסד הנתונים במכונות האלה חייבים להיות תואמים ל-Java 11.

לתמונות 2.2 ו-2.1 של Managed Service for Apache Spark יש את המגבלות הבאות ב-Cloud Data Fusion:

  • אין תמיכה במשימות MapReduce.
  • צריך לעדכן את גרסאות מנהלי ההתקנים של JDBC שמשמשות בפלאגינים של מסד הנתונים במכונה, כדי שתהיה תמיכה ב-Java 11. בטבלה הבאה מפורטות גרסאות הדרייברים שפועלות עם Managed Service for Apache Spark בגרסאות 2.2 ו-2.1 ועם Java 11:
מנהלי התקנים של JDBC גרסאות קודמות שהוסרו מ-Cloud Data Fusion 6.9.1 גרסאות שנתמכות ב-Java 8 וב-Java 11 ופועלות עם Managed Service for Apache Spark בגרסאות 2.2,‏ 2.1 או 2.0
מנהל התקן JDBC של Cloud SQL ל-MySQL - 1.0.16
מנהל התקן JDBC של Cloud SQL ל-PostgreSQL - 1.0.16
מנהל התקן JDBC של Microsoft SQL Server Microsoft JDBC driver 6.0 Microsoft JDBC driver 9.4
מנהל התקן MySQL JDBC 5.0.8, 5.1.39 8.0.25
מנהל התקן PostgreSQL JDBC 9.4.1211.jre7, 9.4.1211.jre8 42.6.0.jre8
מנהל התקן Oracle JDBC ojdbc7 ‫ojdbc8‏ (12c ומעלה)

שימוש בזיכרון כשמשתמשים ב-Managed Service for Apache Spark מגרסה 2.1 ואילך

יכול להיות שהשימוש בזיכרון יגדל בצינורות עיבוד נתונים שמשתמשים ב-Managed Service for Apache Spark בגרסה 2.1 ואילך. אם משדרגים את המכונה לגרסה 6.10 ואילך, וצינורות עיבוד נתונים קודמים נכשלים בגלל בעיות בזיכרון, צריך להגדיל את הזיכרון של מנהל ההתקן ושל ה-executor ל-2,048MB בהגדרות של Resources לצינור עיבוד הנתונים.

מגדילים את הזיכרון של מנהל ההתקן ושל ה-executor

לחלופין, אפשר לשנות את הגרסה של Managed Service for Apache Spark על ידי הגדרת הארגומנט system.profile.properties.imageVersion של זמן הריצה לערך 2.0-debian10.