אשכולות עם צומת יחיד

אשכולות עם צומת יחיד הם אשכולות של Managed Service for Apache Spark עם צומת אחד בלבד. הצומת היחיד הזה משמש כמאסטר וכ-worker של האשכול ב-Managed Service for Apache Spark. למרות שבאשכולות עם צומת יחיד יש רק צומת אחד, רוב המושגים והתכונות של Managed Service for Apache Spark עדיין רלוונטיים, חוץ מאלה שמפורטים בהמשך.

יש כמה מצבים שבהם אשכולות של Managed Service for Apache Spark עם צומת יחיד יכולים להיות שימושיים, כולל:

  • התנסות בגרסאות חדשות של Spark ו-Hadoop או רכיבים אחרים של קוד פתוח
  • יצירת הדגמות של הוכחת היתכנות (PoC)
  • מדע נתונים קל משקל
  • עיבוד נתונים לא קריטיים בקנה מידה קטן
  • הדרכה שקשורה לסביבה של Spark ו-Hadoop

סמנטיקה של אשכול עם צומת יחיד

הסמנטיקה הבאה חלה על אשכולות של צומת יחיד ב-Managed Service for Apache Spark:

  • אשכולות עם צומת יחיד מוגדרים כמו אשכולות עם כמה צמתים ב-Managed Service for Apache Spark, וכוללים שירותים כמו HDFS ו-YARN.
  • אשכולות עם צומת יחיד מדווחים כצומתי מאסטר לפעולות אתחול.
  • באשכולות עם צומת יחיד מוצג הערך 0 עובדים, כי הצומת היחיד פועל גם כמאסטר וגם כעובד.
  • לאשכולות עם צומת יחיד ניתנים שמות מארחים לפי התבנית clustername-m. אתם יכולים להשתמש בשם המארח הזה כדי להתחבר באמצעות SSH או להתחבר לממשק משתמש באינטרנט בצומת.
  • אי אפשר לשדרג אשכולות עם צומת אחד לאשכולות עם כמה צמתים. אחרי שיוצרים אשכולות עם צומת אחד, אי אפשר להוסיף להם עוד צמתים. באופן דומה, אי אפשר להקטין אשכולות עם כמה צמתים לאשכולות עם צומת יחיד.

מגבלות

  • לא מומלץ להשתמש באשכולות עם צומת יחיד לעיבוד נתונים מקבילי בקנה מידה גדול. אם אתם חורגים מהמשאבים באשכול עם צומת יחיד, מומלץ להשתמש באשכול עם כמה צמתים של Managed Service for Apache Spark.

  • אשכולות עם צומת יחיד לא זמינים עם זמינות גבוהה, כי יש רק צומת אחד באשכול.

  • באשכולות עם צומת יחיד אי אפשר להשתמש ב-VM זמניים.

יצירת אשכול עם צומת אחד

המסוף

  • פותחים את הדף Create cluster.
  • בקטע Define your cluster shape, בוחרים באפשרות Development.
  • בקטע Additional configuration, עורכים את Driver node, מבטלים את הסימון בתיבה Default driver node to the same as primary worker, ואז מאשרים או משנים את ההגדרות של צומת הדרייבר.

פקודת gcloud

אתם יכולים ליצור אשכול של צומת יחיד ב-Managed Service for Apache Spark באמצעות הכלי gcloud בשורת הפקודה. כדי ליצור אשכול עם צומת יחיד, מעבירים את הדגל --single-node לפקודה gcloud dataproc clusters create. 

gcloud dataproc clusters create cluster-name \
    --region=region \
    --single-node \
    ... other args

‫API בארכיטקטורת REST

אפשר ליצור אשכול עם צומת יחיד באמצעות Dataproc API בארכיטקטורת REST, על ידי שליחת בקשת clusters.create. כששולחים את הבקשה, צריך:

  1. מוסיפים את המאפיין "dataproc:dataproc.allow.zero.workers":"true" ל-SoftwareConfig של בקשת האשכול.
  2. אל תשלחו ערכים ל-workerConfig ול-secondaryWorkerConfig (ראו ClusterConfig).