ניהול שדרוגי גרסאות של מופעים וצינורות

בדף הזה מוסבר איך לשדרג את הגרסה של המופעים או של צינורות העיבוד באצווה.

כדי ליהנות מהתכונות העדכניות ביותר, מתיקוני באגים ומשיפורים בביצועים, מומלץ לשדרג את המופעים של Cloud Data Fusion ואת צינורות הנתונים של אצווה לגרסאות העדכניות ביותר של הפלטפורמה והתוספים.

לפני שמתחילים

שימו לב: לפני השדרוג, צריך להפסיק את כל צינורות עיבוד הנתונים הפעילים, להשהות את כל התזמונים של צינורות עיבוד הנתונים ולהשבית את כל הטריגרים במעלה הזרם, כמו טריגרים של Managed Service for Apache Airflow. שדרוג של מופע שפועלים בו צינורות עיבוד נתונים עלול להוביל לתוצאות לא צפויות ולהשפיע על זמינות המופע.

• מתכננים זמן השבתה מתוזמן לשדרוג. התהליך נמשך עד שעה.

• במסוף Google Cloud , מפעילים את Cloud Shell.

  הפעלת Cloud Shell

מגבלות

• אחרי שיוצרים מכונת Cloud Data Fusion, אי אפשר לשנות את המהדורה שלה, גם לא באמצעות פעולת שדרוג.

• אל תפעילו שדרוג באמצעות Terraform, כי הוא מוחק את המופע ויוצר אותו מחדש במקום לבצע שדרוג במקום. הבעיה הזו גורמת לאובדן של כל הנתונים הקיימים במופע.

• ‫Cloud Data Fusion לא מפעיל מחדש צינורות נתונים שנעצרו כתוצאה מפעולת השדרוג.

• כשמשדרגים מופע מגרסאות קודמות לגרסה 6.11.0, צפוי זמן השבתה ארוך יותר לשדרוג, במיוחד אם המופע מטפל בהרבה נתונים.

• אין תמיכה בשדרוג צינורות בזמן אמת, למעט צינורות שנוצרו בגרסה 6.8.0 עם מקור בזמן אמת של Kafka. פתרון עקיף מפורט במאמר שדרוג צינורות בזמן אמת.

שדרוג מכונות Cloud Data Fusion

כדי לשדרג מכונת Cloud Data Fusion לגרסה חדשה של Cloud Data Fusion, עוברים לדף פרטי המכונה:

1. במסוף Google Cloud , נכנסים לדף Cloud Data Fusion.

2. לוחצים על Instances (מכונות), ואז לוחצים על שם המכונה כדי לעבור לדף Instance details (פרטי המכונה).

   כניסה לדף Instances

לאחר מכן, מבצעים את השדרוג באמצעות המסוף Google Cloud או ה-CLI של gcloud:

המסוף

1. לוחצים על שדרוג כדי לראות רשימה של גרסאות זמינות.

2. בוחרים גרסה.

3. לוחצים על שדרוג.

4. כדי לוודא שהשדרוג בוצע בהצלחה:

   1. מרעננים את הדף Instance details (פרטי המופע).

   2. לוחצים על הצגת המופע כדי לגשת למופע המשודרג בממשק האינטרנט של Cloud Data Fusion.

   3. בסרגל התפריטים, לוחצים על ניהול מערכת.

      מספר הגרסה החדש מופיע בחלק העליון של הדף.

5. כדי למנוע מצב שבו צינורות העברת הנתונים נתקעים כשמריצים אותם בגרסה החדשה, צריך לתת את התפקידים הנדרשים במופע המשודרג.

gcloud

1. כדי לשדרג לגרסה חדשה של Cloud Data Fusion, מריצים את הפקודה הבאה של ה-CLI של gcloud ממסוף מקומי או מסשן של Cloud Shell:

     gcloud beta data-fusion instances update INSTANCE_ID \
       --project=PROJECT_ID \
       --location=LOCATION_NAME \
       --version=AVAILABLE_INSTANCE_VERSION
   

   • אופציונלי: אם רלוונטי למופע שלכם, מוסיפים את הדגלים --enable_stackdriver_logging, --enable_stackdriver_monitoring ו---labels.

   • אופציונלי: אפשר להעביר את מאפייני CDAP, כמו enable.unrecoverable.reset, בתור --options.

2. כדי לוודא שהשדרוג בוצע בהצלחה, פועלים לפי השלבים הבאים:

   1. נכנסים לדף Instances של Cloud Data Fusion במסוף Google Cloud .

   2. לוחצים על הצגת המופע כדי לגשת למופע המשודרג בממשק האינטרנט של Cloud Data Fusion.

   3. בסרגל התפריטים, לוחצים על System Admin (אדמין מערכת).

      מספר הגרסה החדש מופיע בחלק העליון של הדף.

3. כדי למנוע מצב שבו צינורות העברת הנתונים נתקעים כשמריצים אותם בגרסה החדשה, צריך לתת את התפקידים הנדרשים במופע המשודרג.

שדרוג של צינורות עיבוד נתונים בקבוצות

כדי לשדרג את צינורות הנתונים באצווה ב-Cloud Data Fusion לשימוש בגרסאות הפלאגין העדכניות:

1. הגדרה של משתני סביבה

2. מומלץ: גיבוי של כל צינורות הנתונים. יש שתי דרכים לגבות צינורות:

   • כדי להוריד את קובץ ה-ZIP:

     1. כדי להפעיל הורדה של קובץ ZIP, מגבים את כל צינורות העיבוד באמצעות הפקודה הבאה:

     echo $CDAP_ENDPOINT/v3/export/apps
     

     1. מעתיקים את כתובת ה-URL שמופיעה בפלט לדפדפן.
     2. מחלקים את הקובץ שהורד ואז מוודאים שכל צינורות הנתונים יוצאו. הצינורות מאורגנים לפי מרחב שמות.

   • אפשר לגבות צינורות באמצעות ניהול בקרת מקור (SCM), שזמין בגרסה 6.9 ואילך. מערכת SCM מספקת שילוב עם GitHub, שבו אפשר להשתמש כדי לגבות צינורות עיבוד נתונים.

3. כדי לשדרג צינורות:

   1. יוצרים משתנה שמצביע על הקובץ pipeline_upgrade.json שייווצר בשלב הבא כדי לשמור רשימה של צינורות.

      export PIPELINE_LIST=PATH/pipeline_upgrade.json
      

      מחליפים את הערך ב-PATH בנתיב לקובץ.

   2. כדי ליצור רשימה של כל צינורות הנתונים של מופע ומרחב שמות, משתמשים בפקודה הבאה. התוצאה מאוחסנת בקובץ $PIPELINE_LIST בפורמט JSON. אפשר לערוך את הרשימה כדי להסיר צינורות שלא צריך לשדרג.

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST
      

      מחליפים את NAMESPACE_ID במרחב השמות שבו רוצים לבצע את השדרוג.

   3. משדרגים את צינורות העיבוד שמפורטים בpipeline_upgrade.json. מזינים את NAMESPACE_ID של צינורות העיבוד שרוצים לשדרג. הפקודה מציגה רשימה של צינורות משודרגים עם סטטוס השדרוג שלהם.

      curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST
      

      מחליפים את NAMESPACE_ID במזהה מרחב השמות של צינורות הנתונים שמשדרגים.

4. כדי למנוע מצב שבו צינורות העיבוד נתקעים כשמריצים אותם בגרסה החדשה, צריך לתת את התפקידים הנדרשים במופע המשודרג.

שדרוג צינורות בזמן אמת

אין תמיכה בשדרוג צינורות בזמן אמת, למעט צינורות שנוצרו בגרסה 6.8.0 עם מקור בזמן אמת של Kafka.

בכל שאר המקרים, צריך לבצע את הפעולות הבאות:

1. להפסיק את צינורות עיבוד הנתונים ולייצא אותם.
2. משדרגים את המופע.
3. מייבאים את צינורות עיבוד הנתונים בזמן אמת למופע המשודרג.

שדרוג כדי להפעיל שכפול

אפשר להפעיל רפליקציה בסביבות Cloud Data Fusion בגרסה 6.3.0 ואילך. אם יש לכם גרסה 6.2.3, אתם צריכים לשדרג לגרסה 6.3.0 ואז לשדרג לגרסה העדכנית. לאחר מכן תוכלו להפעיל שכפול.

הקצאת תפקידים למופעים משודרגים

אחרי שהשדרוג מסתיים, צריך להקצות את התפקיד Cloud Data Fusion Runner (roles/datafusion.runner) ואת התפקיד Cloud Storage Admin (roles/storage.admin) לחשבון השירות של השירות המנוהל ל-Apache Spark בפרויקט.

המאמרים הבאים

• ניהול תיקונים של גרסאות במכונות Cloud Data Fusion.
• מידע נוסף על ניהול גרסאות ב-Cloud Data Fusion
• אפשר לעיין בשדרוגים זמינים של גרסאות ותיקונים.
• פתרון בעיות בשדרוגים