רכיבים של Managed Service for Apache Spark

ב-Managed Service for Apache Spark אתם יכולים להתאים אישית את סביבות האשכולות באמצעות הכלים והשירותים שנדרשים לעומסי העבודה של Big Data. הרכיבים האלה מסווגים כרכיבים מותקנים, אופציונליים או כרכיבים של פעולת אתחול.

סוגי הרכיבים

אשכולות של Managed Service for Apache Spark כוללים את סוגי הרכיבים הבאים:

  • רכיבים מותקנים: רכיבים שמותקנים בקובץ האימג' ומופעלים כשיוצרים את האשכול.

  • רכיבים אופציונליים: רכיבים שאתם בוחרים להתקין ולהשתמש בהם באשכול כשאתם יוצרים אותו. ‫Managed Service for Apache Spark מתקין ומפעיל רכיבים אופציונליים בהתאם לגרסת קובץ האימג' של האשכול, באופן הבא:

    • גרסאות תמונה 2.2 וגרסאות קודמות: רכיבים אופציונליים מותקנים באופן אוטומטי. הרכיבים האופציונליים שנבחרו מופעלים, והרכיבים האופציונליים שלא נבחרו מוסרים בזמן יצירת האשכול.

    • גרסאות אימג' 2.3 ואילך: כל הרכיבים האופציונליים מותקנים במהלך יצירת האשכול, חוץ מהרכיבים האופציונליים Jupyter, ‏ Iceberg ו-Delta Lake, שמותקנים מראש בגרסאות אימג' 2.3 ואילך. רכיבים אופציונליים שמותקנים מראש מוסרים מאשכול של גרסת אימג' 2.3 ואילך, אם הם לא מופעלים כשהאשכול נוצר. מידע נוסף זמין במאמר גרסאות הפצה של Managed Service for Apache Spark 2.3.x.

  • רכיבי פעולת אתחול: רכיבים שמותקנים באשכול כחלק מפעולת אתחול שאתם מציינים כשאתם יוצרים אשכול.

רכיבים אופציונליים מותקנים באשכול לפני שפעולות האתחול מופעלות באשכול.

בדפי גרסאות האימג' של Managed Service for Apache Spark מפורטים הרכיבים וסוגי הרכיבים שזמינים בגרסאות האימג' האחרונות של Managed Service for Apache Spark.

לרכיבים אופציונליים יש את היתרונות הבאים על פני פעולות אתחול שמשמשות להתקנת רכיבים:

  • הרכיבים האופציונליים נבדקים כדי לוודא שהם תואמים לגרסאות ספציפיות של Managed Service for Apache Spark.
  • רכיבים אופציונליים מופעלים באמצעות פרמטר ליצירת אשכול, ופעולות אתחול דורשות סקריפט.

רכיבים אופציונליים זמינים

רכיב אופציונלי שם הרכיב
בפקודות של Google Cloud CLI ובבקשות API		 גרסת תמונה שלב ההשקה
Delta Lake DELTA ‫2.2.46 ואילך GA
Docker DOCKER ‫1.5 ואילך GA
Flink FLINK ‫1.5 ואילך GA
HBase HBASE ‫1.5 ואילך
(לא זמין בגרסה 2.1 ואילך) 		הוצא משימוש
Hive WebHCat HIVE_WEBHCAT ‫1.3 ואילך GA
Hudi HUDI ‫1.5 ואילך GA
Iceberg ICEBERG ‫2.2 ואילך GA
Jupyter Notebook JUPYTER ‫1.3 ואילך GA
חזיר PIG ‫1.5* ואילך GA
Presto PRESTO ‫1.3 ואילך
(לא זמין בגרסה 2.1 ואילך) 		GA
Ranger RANGER ‫1.3 ואילך GA
Solr SOLR ‫1.3 ואילך GA
Trino TRINO ‫2.1 ואילך GA
Zeppelin Notebook ZEPPELIN ‫1.3 ואילך GA
ZooKeeper ZOOKEEPER ‫1.0 ואילך GA

הערות:

  • ‫Apache Pig הוא רכיב אופציונלי בגרסאות אימג' 2.3 ואילך. הוא הותקן מראש בגרסאות קודמות של קובצי אימג' עד 2.2.

הוספת רכיבים אופציונליים

מסוףGoogle Cloud

  1. במסוף Google Cloud , פותחים את הדף Create cluster.
  2. לוחצים על הגדרות נוספות כדי להרחיב את הקטע.
  3. עורכים את Optional components.
  4. בחלונית שנפתחת, מסמנים את תיבות הסימון של הרכיבים האופציונליים שרוצים להתקין באשכול ולוחצים על Save.

‫CLI של gcloud

כדי ליצור אשכול של Managed Service for Apache Spark ולהתקין בו רכיבים אופציונליים, משתמשים בפקודה gcloud beta dataproc clusters create cluster-name עם הדגל --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

‫API בארכיטקטורת REST

אפשר לציין רכיבים אופציונליים באמצעות Dataproc API, על ידי שימוש ב-SoftwareConfig.Component כחלק מבקשת clusters.create.