ניהול שדרוגי גרסאות של מופעים וצינורות

בדף הזה מוסבר איך לשדרג את הגרסה של המופעים או של צינורות (pipelines) של עיבוד באצ'ים.

כדי ליהנות מהתכונות העדכניות ביותר, מתיקוני באגים ומשיפורים בביצועים, מומלץ לשדרג את המופעים של Cloud Data Fusion ואת צינורות הנתונים של אצווה לגרסאות הפלטפורמה והתוספים העדכניות ביותר.

לפני שמתחילים

שימו לב: לפני השדרוג, צריך להפסיק את כל צינורות עיבוד הנתונים הפעילים, להשהות את כל התזמונים של צינורות עיבוד הנתונים ולהשבית את כל הטריגרים במעלה הזרם, כמו טריגרים של Managed Service for Apache Airflow. שדרוג של מופע שמופעלים בו צינורות עיבוד נתונים עלול להניב תוצאות בלתי צפויות ולהשפיע על זמינות המופע.

• מתכננים זמן השבתה מתוזמן לשדרוג. התהליך נמשך עד שעה.

• במסוף Google Cloud , מפעילים את Cloud Shell.

  הפעלת Cloud Shell

מגבלות

• אחרי שיוצרים מכונת Cloud Data Fusion, אי אפשר לשנות את המהדורה שלה, גם לא באמצעות פעולת שדרוג.

• אל תפעילו שדרוג באמצעות Terraform, כי הוא מוחק את המופע ויוצר אותו מחדש במקום לבצע שדרוג במקום. הבעיה הזו גורמת לאובדן של נתונים קיימים במופע.

• ‫Cloud Data Fusion לא מפעיל מחדש צינורות נתונים שנעצרו כתוצאה מפעולת השדרוג.

• כשמשדרגים מופע מגרסאות שקודמות לגרסה 6.11.0, צפוי זמן השבתה ארוך יותר במהלך השדרוג, במיוחד אם המופע מטפל בהרבה נתונים.

• אין תמיכה בשדרוג צינורות בזמן אמת, למעט צינורות שנוצרו בגרסה 6.8.0 עם מקור בזמן אמת של Kafka. פתרון עקיף מפורט במאמר בנושא שדרוג צינורות בזמן אמת.

שדרוג מכונות Cloud Data Fusion

כדי לשדרג מכונת Cloud Data Fusion לגרסה חדשה של Cloud Data Fusion, עוברים לדף פרטי המכונה:

1. במסוף Google Cloud , נכנסים לדף Cloud Data Fusion.

2. לוחצים על Instances (מכונות), ואז לוחצים על שם המכונה כדי לעבור לדף Instance details (פרטי המכונה).

   כניסה לדף Instances

לאחר מכן, מבצעים את השדרוג באמצעות המסוף Google Cloud או ה-CLI של gcloud:

המסוף

1. לוחצים על שדרוג כדי לראות את רשימת הגרסאות הזמינות.

2. בוחרים גרסה.

3. לוחצים על שדרוג.

4. כדי לוודא שהשדרוג בוצע בהצלחה:

   1. מרעננים את הדף פרטי המופע.

   2. לוחצים על הצגת המופע כדי לגשת למופע המשודרג בממשק האינטרנט של Cloud Data Fusion.

   3. לוחצים על אדמין מערכת בסרגל התפריטים.

      מספר הגרסה החדש מופיע בחלק העליון של הדף.

5. כדי למנוע מצב שבו צינורות העיבוד נתקעים כשמריצים אותם בגרסה החדשה, צריך לתת את התפקידים הנדרשים במופע המשודרג.

gcloud

1. כדי לשדרג לגרסה חדשה של Cloud Data Fusion, מריצים את הפקודה הבאה של ה-CLI של gcloud מטרמינל מקומי או מסשן של Cloud Shell:

     gcloud beta data-fusion instances update INSTANCE_ID \
       --project=PROJECT_ID \
       --location=LOCATION_NAME \
       --version=AVAILABLE_INSTANCE_VERSION
   

   • אופציונלי: אם רלוונטי למופע שלכם, מוסיפים את הדגלים --enable_stackdriver_logging,‏ --enable_stackdriver_monitoring ו---labels.

   • אופציונלי: אפשר להעביר את מאפייני CDAP, כמו enable.unrecoverable.reset, בתור --options.

2. כדי לוודא שהשדרוג הצליח, פועלים לפי השלבים הבאים:

   1. נכנסים לדף Instances של Cloud Data Fusion במסוף Google Cloud .

   2. לוחצים על הצגת המופע כדי לגשת למופע המשודרג בממשק האינטרנט של Cloud Data Fusion.

   3. בסרגל התפריטים, לוחצים על System Admin (אדמין מערכת).

      מספר הגרסה החדש מופיע בחלק העליון של הדף.

3. כדי למנוע מצב שבו צינורות העיבוד נתקעים כשמריצים אותם בגרסה החדשה, צריך לתת את התפקידים הנדרשים במופע המשודרג.

שדרוג של צינורות עיבוד נתונים לפריסה

כדי לשדרג את צינורות הנתונים באצווה ב-Cloud Data Fusion לגרסאות הפלאגין העדכניות:

1. הגדרה של משתני סביבה

2. מומלץ: מגבים את כל צינורות הנתונים. יש שתי דרכים לגבות צינורות:

   • כדי להוריד את קובץ ה-ZIP:

     1. כדי להפעיל הורדה של קובץ ZIP, מגבים את כל צינורות העיבוד באמצעות הפקודה הבאה:

     echo $CDAP_ENDPOINT/v3/export/apps
     

     1. מעתיקים את כתובת ה-URL שמופיעה בפלט לדפדפן.
     2. מחלצים את הקובץ שהורד ומוודאים שכל צינורות הנתונים יוצאו. הצינורות מאורגנים לפי מרחב שמות.

   • אפשר לגבות צינורות באמצעות ניהול בקרת מקורות (SCM), שזמין בגרסה 6.9 ואילך. מערכת SCM מספקת שילוב עם GitHub, שבו אפשר להשתמש כדי לגבות צינורות עיבוד נתונים.

3. כדי לשדרג את צינורות העיבוד:

   1. יוצרים משתנה שמצביע על הקובץ pipeline_upgrade.json שייווצר בשלב הבא כדי לשמור רשימה של צינורות.

      export PIPELINE_LIST=PATH/pipeline_upgrade.json
      

      מחליפים את הערך ב-PATH בנתיב לקובץ.

   2. כדי ליצור רשימה של כל צינורות האספקה של מופע ומרחב שמות, משתמשים בפקודה הבאה. התוצאה מאוחסנת בקובץ $PIPELINE_LIST בפורמט JSON. אפשר לערוך את הרשימה כדי להסיר צינורות שלא צריך לשדרג.

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST
      

      מחליפים את NAMESPACE_ID במרחב השמות שבו רוצים שהשדרוג יתבצע.

   3. משדרגים את צינורות העיבוד שמפורטים בpipeline_upgrade.json. מזינים את NAMESPACE_ID של צינורות העיבוד שרוצים לשדרג. הפקודה מציגה רשימה של צינורות משודרגים עם סטטוס השדרוג שלהם.

      curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST
      

      מחליפים את NAMESPACE_ID במזהה מרחב השמות של צינורות הנתונים שמשדרגים.

4. כדי למנוע מצב שבו צינורות העברת הנתונים נתקעים כשמריצים אותם בגרסה החדשה, צריך לתת את התפקידים הנדרשים במופע המשודרג.

שדרוג צינורות בזמן אמת

אין תמיכה בשדרוג צינורות בזמן אמת, למעט צינורות שנוצרו בגרסה 6.8.0 עם מקור בזמן אמת של Kafka.

בכל שאר המקרים, צריך לבצע את הפעולות הבאות:

1. להפסיק את צינורות עיבוד הנתונים ולייצא אותם.
2. משדרגים את המופע.
3. מייבאים את צינורות עיבוד הנתונים בזמן אמת למופע המשודרג.

שדרוג כדי להפעיל שכפול

אפשר להפעיל רפליקציה בסביבות Cloud Data Fusion בגרסה 6.3.0 ואילך. אם יש לכם גרסה 6.2.3, אתם צריכים לשדרג לגרסה 6.3.0 ואז לשדרג לגרסה העדכנית. אחרי זה תוכלו להפעיל שכפול.

הקצאת תפקידים למופעים משודרגים

אחרי שהשדרוג מסתיים, צריך להקצות את התפקיד 'מריץ משאבי Cloud Data Fusion' (roles/datafusion.runner) ואת התפקיד 'אדמין של Cloud Storage' (roles/storage.admin) לחשבון השירות של השירות המנוהל ל-Apache Spark בפרויקט.

המאמרים הבאים

• ניהול תיקונים של גרסאות במכונות Cloud Data Fusion.
• מידע נוסף על ניהול גרסאות ב-Cloud Data Fusion
• מידע נוסף מופיע במאמר בנושא שדרוגים זמינים של גרסאות ותיקוני אבטחה.
• פתרון בעיות בשדרוגים