אשכולות עם צומת יחיד

אשכולות עם צומת יחיד הם אשכולות של Managed Service for Apache Spark עם צומת אחד בלבד. הצומת היחיד הזה פועל כצומת ראשי וכצומת עובד באשכול Managed Service for Apache Spark. למרות שלאשכולות עם צומת יחיד יש רק צומת אחד, רוב המושגים והתכונות של Managed Service for Apache Spark עדיין רלוונטיים, למעט אלה שמפורטים בהמשך.

יש מספר מצבים שבהם יכול להיות שימושי להשתמש באשכולות של Managed Service for Apache Spark עם צומת יחיד, כולל:

  • ניסיון גרסאות חדשות של Spark ו-Hadoop או רכיבים אחרים בקוד פתוח
  • יצירת הדגמות של הוכחת היתכנות (PoC)
  • מדעי נתונים קלי משקל
  • עיבוד נתונים לא קריטי בקנה מידה קטן
  • הדרכה שקשורה לסביבה של Spark ו-Hadoop

סמנטיקה של אשכול עם צומת יחיד

הסמנטיקה הבאה חלה על אשכולות של Managed Service for Apache Spark עם צומת יחיד:

  • אשכולות עם צומת יחיד מוגדרים כמו אשכולות של Managed Service for Apache Spark עם כמה צמתים, וכוללים שירותים כמו HDFS ו-YARN.
  • אשכולות עם צומת יחיד מדווחים כצמתים ראשיים עבור פעולות אתחול.
  • באשכולות עם צומת יחיד מוצגים 0 עובדים, כי הצומת היחיד משמש גם כצומת ראשי וגם כצומת עובד.
  • לשמות המארחים של אשכולות עם צומת יחיד יש תבנית שמוגדרת מראש: clustername-m. אתם יכולים להשתמש בשם המארח הזה כדי להתחבר באמצעות SSH או להתחבר לממשק משתמש אינטרנטי בצומת.
  • אי אפשר לשדרג אשכולות עם צומת יחיד לאשכולות עם כמה צמתים. אחרי שיוצרים אשכול, הוא מוגבל לצומת אחד. באופן דומה, אי אפשר להקטין את הגודל של אשכולות מרובי-צמתים לאשכולות חד-צמתים.

מגבלות

  • לא מומלץ להשתמש באשכולות עם צומת יחיד לעיבוד מקביל של נתונים בקנה מידה גדול. אם חורגים מהמשאבים באשכול עם צומת יחיד, מומלץ להשתמש באשכול Managed Service for Apache Spark עם כמה צמתים.

  • אי אפשר להשתמש בזמינות גבוהה באשכולות עם צומת יחיד, כי יש רק צומת אחד באשכול.

  • באשכולות עם צומת יחיד אי אפשר להשתמש במכונות וירטואליות שניתן לקטוע.

יצירת אשכול עם צומת יחיד

המסוף

  • פותחים את הדף Create cluster.
  • בקטע Define your cluster shape (הגדרת הצורה של האשכול), בוחרים באפשרות Development (פיתוח).
  • בקטע הגדרה נוספת, עורכים את צומת הדרייבר, מבטלים את הסימון בתיבה ברירת המחדל של צומת הדרייבר זהה לזו של העובד הראשי, ואז מאשרים או משנים את ההגדרות של צומת הדרייבר.

פקודת gcloud

אפשר ליצור אשכול של Managed Service for Apache Spark עם צומת יחיד באמצעות כלי שורת הפקודה gcloud. כדי ליצור אשכול עם צומת יחיד, מעבירים את הדגל --single-node לפקודה gcloud dataproc clusters create. 

gcloud dataproc clusters create cluster-name \
    --region=region \
    --single-node \
    ... other args

‫API בארכיטקטורת REST

אפשר ליצור אשכול עם צומת יחיד באמצעות Dataproc API בארכיטקטורת REST באמצעות בקשת clusters.create. כששולחים את הבקשה הזו, צריך:

  1. מוסיפים את הנכס "dataproc:dataproc.allow.zero.workers":"true" אל SoftwareConfig של בקשת האשכול.
  2. אל תציינו ערכים עבור workerConfig ו-secondaryWorkerConfig (ראו ClusterConfig).