גרסאות של תמונות של אשכולות ב-Managed Service for Apache Spark

ב-Managed Service for Apache Spark באשכולות, משתמשים בתמונות כדי לקשר בין מחברים שימושיים של Google Cloudלבין רכיבים של Apache Spark ו-Apache Hadoop בחבילה אחת שאפשר לפרוס באשכול של Managed Service for Apache Spark. התמונות האלה מכילות את מערכת ההפעלה הבסיסית (Debian או Ubuntu) של האשכול, וגם רכיבי ליבה ורכיבים אופציונליים שנדרשים להרצת משימות, כמו Spark,‏ Hadoop ו-Hive. התמונות האלה משודרגות מדי פעם כדי לכלול שיפורים ותכונות חדשות. הגדרת הגרסאות ב-Managed Service for Apache Spark מאפשרת לכם לבחור קבוצות של גרסאות תוכנה כשאתם יוצרים אשכולות.

איך פועל ניהול הגרסאות

כשנוצר קובץ אימג', הוא מקבל מספר גרסת תמונה בפורמט הבא:

version_major.version_minor.version_sub_minor-os_distribution

אלה הפצות מערכת ההפעלה שנתמכות:

קוד הפצה של מערכת ההפעלה הפצה של מערכת ההפעלה
debian12 Debian 12
debian10 Debian 10
debian11 Debian 11
rocky8 Rocky Linux 8
rocky9 Rocky Linux 9
ubuntu18 Ubuntu 18.04 LTS
ubuntu20 Ubuntu 20.04 LTS
ubuntu22 Ubuntu 22.04 LTS

בגרסאות קודמות של קובצי אימג' אפשר לראות הפצות של מערכות הפעלה שנתמכו בעבר.

השיטה המומלצת היא לציין את גרסת התמונה של major.minor בסביבות ייצור, או כשחשובה התאימות לגרסאות ספציפיות של רכיבים. ההפצות של גרסת המשנה ושל מערכת ההפעלה מוגדרות באופן אוטומטי לגרסה השבועית האחרונה.

בחירת גרסאות

כשיוצרים אשכול חדש של Managed Service for Apache Spark, כברירת מחדל המערכת משתמשת בגרסה הזמינה האחרונה של קובץ האימג' של Debian. כשיוצרים אשכול, אפשר לבחור גרסת אימג' של Debian,‏ Rocky Linux או Ubuntu (ראו את רשימת גרסאות האימג' של Managed Service for Apache Spark). כשמציינים קובצי אימג' שמבוססים על Debian, אפשר להשמיט את הסיומת של קוד ההפצה של מערכת ההפעלה. לדוגמה, אפשר לציין את 2.0 כדי לבחור את קובץ האימג' 2.0-debian10. חובה להשתמש בסיומת של מערכת ההפעלה כדי לבחור קובץ אימג' שמבוסס על Rocky Linux או על Ubuntu, למשל על ידי ציון 2.0-ubuntu18.

מסוףGoogle Cloud

פותחים את הדף Create cluster. בקטע Define your cluster, בשדה הנפתח Image type and version מוצג ה-image שישמש ליצירת האשכול. בהתחלה נבחרת תמונת ברירת המחדל, שהיא הגרסה הזמינה האחרונה של Debian. לוחצים על השדה כדי לבחור תמונה רגילה מהרשימה או תמונה בהתאמה אישית.

פקודת ה-CLI של gcloud

כשמשתמשים בפקודה gcloud dataproc clusters create, אפשר להשתמש בארגומנט --image-version כדי לציין גרסת תמונה לאשכול החדש.

דוגמה לתמונת Debian:

gcloud dataproc clusters create CLUSTER_NAME \
    --image-version=2.0 \
    --region=REGION

דוגמה לתמונת Ubuntu:

gcloud dataproc clusters create CLUSTER_NAME \
    --image-version=2.0-ubuntu18 \
    --region=REGION

השיטה המומלצת היא להשמיט את גרסת המשנה הקטנה כדי להשתמש בגרסת המשנה הקטנה האחרונה. עם זאת, אם צריך, אפשר לציין את גרסת המשנה, למשל 2.0.20.

אתם יכולים לבדוק את הגרסה הנוכחית באמצעות Google Cloud CLI.

gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION

‫API בארכיטקטורת REST

אפשר לציין את השדה SoftwareConfig imageVersion כחלק מבקשת API של cluster.create.

דוגמה

POST /v1/projects/project-id/regions/us-central1/clusters/
{
  "projectId": "project-id",
  "clusterName": "example-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-b"
    },
    "masterConfig": {
      ...
      }
    },
    "workerConfig": {
      ...
      }
    },
    "softwareConfig": {
      "imageVersion": "2.0"
    }
  }
}

כשנוצרות גרסאות חדשות

מדי פעם אנחנו יוצרים גרסאות ראשיות חדשות כדי לשלב בהן אחד או יותר מהדברים הבאים:

  • גרסאות עיקריות של:
    • ‫Spark,‏ Hadoop ורכיבים אחרים של Big Data
    • Google Cloud מחברים
  • שינויים או עדכונים משמעותיים בפונקציונליות של Managed Service for Apache Spark

גרסאות טרום-השקה (Preview) חדשות (עם הסיומת -RC) מתפרסמות לפני ההשקה של גרסה ראשית חדשה:

  • תמונות בגרסת טרום-השקה (Preview) לא מיועדות לשימוש בעומסי עבודה בסביבת ייצור.
  • יכול להיות שגרסאות הרכיבים של קובץ האימג' בגרסת טרום-השקה ישודרגו לגרסת הרכיב העדכנית ביותר שזמינה בגרסת האימג' לכלל המשתמשים אחרי גרסת טרום-ההשקה.

גרסאות משניות חדשות נוצרות מדי פעם כדי לשלב אחד או יותר מהדברים הבאים:

  • גרסאות ועדכונים קלים עבור:
    • ‫Spark,‏ Hadoop ורכיבים אחרים של Big Data
    • Google Cloud מחברים
  • שינויים או עדכונים קלים בפונקציונליות של Managed Service for Apache Spark

כשנוצרת גרסה משנית חדשה, קובץ האימג' של Debian הופך לברירת המחדל של הגרסה הראשית, ומייצג את הגרסה העדכנית של הגרסה הראשית.

גרסאות משנה חדשות נוצרות מדי פעם כדי לשלב אחד או יותר מהדברים הבאים:

  • תיקונים לרכיב בתמונה
  • שדרוגים של גרסאות משנה של רכיבים

גרסת התמונה ותמיכה ב-Managed Service for Apache Spark

גרסאות משניות של תמונות נתמכות למשך 24 חודשים אחרי ההשקה הראשונית של GA (זמינות לכלל המשתמשים). במהלך התקופה הזו, אשכולות שמשתמשים בגרסאות התמונה האלה זכאים לתמיכה (כדי לקבל תיקונים, צריך ליצור מחדש את האשכול באמצעות גרסת התמונה המשנית העדכנית ביותר שנתמכת). אחרי שחלון התמיכה נסגר, אשכולות שמשתמשים בגרסאות של קובצי האימג' לא זכאים לתמיכה.

גרסאות ישנות של תמונות

הפצות של מערכות הפעלה שנתמכו בעבר

בעבר הייתה תמיכה בהפצות הבאות של מערכות הפעלה:

קוד הפצה של מערכת ההפעלה הפצה של מערכת ההפעלה התיקון האחרון (סיום התמיכה)
debian9 Debian 9 ‫10 ביולי 2020
deb8 Debian 8 ‫26 באוקטובר 2018

גרסאות תמונה ללא הפצה מפורשת של מערכת ההפעלה

לפני 16 באוגוסט 2018, גרסאות תמונה נוצרו באמצעות Debian 8, והושמט מהן קוד ההפצה של מערכת ההפעלה. הם מצוינים בפורמט הבא:

version_major.version_minor.version_sub_minor

גרסאות 0.1 ו-0.2

גרסאות תמונה שהופצו כגרסאות אלפא או בטא לפני שהגרסה 1.0 של Managed Service for Apache Spark הייתה זמינה לכלל המשתמשים, לא כפופות למדיניות התמיכה של Managed Service for Apache Spark.

הערות חשובות לגבי ניהול גרסאות

  • גרסאות התמונה מכילות את הרכיבים הבאים:
  • האשכולות של Managed Service for Apache Spark לא מתעדכנים באופן אוטומטי כשיוצאות גרסאות חדשות של קובצי אימג'.
    • המלצות:
    • להריץ אשכולות עם גרסת התמונה המשנית העדכנית ביותר. המטא-נתונים של קובץ האימג' כוללים את התווית previous-subminor, שמוגדרת כ-true אם האשכול לא משתמש בגרסת המשנה הקטנה ביותר של קובץ האימג'.
      • כדי לראות את המטא-נתונים של התמונה:
        1. מריצים את הפקודה הבאה של gcloud compute images list --filter כדי להציג את שם המשאב של קובץ אימג' של Managed Service for Apache Spark. 
          gcloud compute images list --project=PROJECT_NAME --filter="labels.goog-dataproc-version ~ ^IMAGE_VERSION (such as 2.2.16-debian12)"
        2. מריצים את הפקודה הבאה של gcloud compute images describe כדי להציג את המטא-נתונים של התמונה. 
          gcloud compute images describe --project=PROJECT_NAME IMAGE_NAME"
    • חשוב לבדוק ולוודא שהאפליקציות פועלות כמו שצריך באשכולות שנוצרו באמצעות גרסאות חדשות של קובצי אימג', במיוחד כשמשתמשים בגרסאות ראשיות חדשות של קובצי אימג'.