אשכולות עם צומת יחיד הם אשכולות Dataproc עם צומת אחד בלבד. הצומת היחיד הזה פועל כצומת ראשי וכצומת עובד באשכול Dataproc. למרות שבקלאסטרים עם צומת יחיד יש רק צומת אחד, רוב המושגים והתכונות של Dataproc עדיין רלוונטיים, למעט אלה שמפורטים בהמשך.
יש כמה מצבים שבהם אשכולות Dataproc עם צומת יחיד יכולים להיות שימושיים, למשל:
- ניסיון גרסאות חדשות של Spark ו-Hadoop או רכיבים אחרים של קוד פתוח
- יצירת הדגמות של הוכחת היתכנות (PoC)
- מדע נתונים קל משקל
- עיבוד נתונים לא קריטי בקנה מידה קטן
- הדרכה שקשורה לסביבה של Spark ו-Hadoop
סמנטיקה של אשכול עם צומת יחיד
הסמנטיקה הבאה חלה על אשכולות Dataproc עם צומת יחיד:
- אופן ההגדרה של אשכולות עם צומת יחיד זהה לאופן ההגדרה של אשכולות Dataproc עם כמה צמתים, והם כוללים שירותים כמו HDFS ו-YARN.
- אשכולות עם צומת יחיד מדווחים כצמתים ראשיים עבור פעולות אתחול.
- באשכולות עם צומת יחיד מוצגים 0 עובדים, כי הצומת היחיד משמש גם כצומת ראשי וגם כצומת עובד.
- לשמות המארחים של אשכולות עם צומת יחיד יש תבנית שמות כזו:
clustername-m. אפשר להשתמש בשם המארח הזה כדי להתחבר באמצעות SSH או לממשק משתמש אינטרנטי בצומת. - אי אפשר לשדרג אשכולות עם צומת יחיד לאשכולות עם כמה צמתים. אחרי שיוצרים אשכול, הוא מוגבל לצומת אחד. באופן דומה, אי אפשר להקטין את הגודל של אשכולות מרובי-צמתים לאשכולות חד-צמתים.
מגבלות
לא מומלץ להשתמש באשכולות עם צומת יחיד לעיבוד מקביל של נתונים בהיקף גדול. אם חורגים מהמשאבים באשכול עם צומת יחיד, מומלץ להשתמש באשכול Dataproc עם כמה צמתים.
אי אפשר להשתמש באשכולות עם צומת יחיד עם זמינות גבוהה, כי יש רק צומת אחד באשכול.
באשכולות עם צומת יחיד אי אפשר להשתמש במכונות וירטואליות שניתן לקטוע.
יצירת אשכול עם צומת יחיד
פקודת gcloud
אפשר ליצור אשכול Dataproc עם צומת יחיד באמצעות הכלי gcloud של שורת הפקודה. כדי ליצור אשכול עם צומת יחיד, מעבירים את הדגל --single-node לפקודה gcloud dataproc clusters create.
gcloud dataproc clusters create cluster-name \ --region=region \ --single-node \ ... other args
API ל-REST
אפשר ליצור אשכול עם צומת יחיד באמצעות API בארכיטקטורת REST של Dataproc באמצעות בקשת clusters.create. כששולחים את הבקשה הזו, צריך:
- מוסיפים את המאפיין
"dataproc:dataproc.allow.zero.workers":"true"אל SoftwareConfig של בקשת האשכול. - אל תציינו ערכים עבור
workerConfigו-secondaryWorkerConfig(ראו ClusterConfig).
המסוף
כדי ליצור אשכול עם צומת יחיד, בוחרים באפשרות Single Node (צומת יחיד) (1 master, 0 workers) (צומת ראשי אחד, 0 צמתים משניים) בקטע Cluster type (סוג האשכול) בחלונית Set up cluster (הגדרת האשכול) בדף Create a cluster (יצירת אשכול) ב-Dataproc.