אחרי שיוצרים אשכול, אפשר להפסיק אותו ואז להפעיל אותו מחדש כשצריך. הפסקת פעולה של אשכול בלי פעילות מונעת חיובים, ומונעת את הצורך למחוק אשכול בלי פעילות ואז ליצור אשכול עם אותה הגדרה מאוחר יותר.
הערות:
- התכונה להפעלה ולהפסקה של אשכולות זמינה באשכולות שנוצרו באמצעות תמונות שפורסמו בתאריך הבא או אחריו, בגרסאות התמונות הבאות:
- 1.4.35-debian10/ubuntu18
- 1.5.10-debian10/ubuntu18
- 2.0.0-RC6-debian10/ubuntu18
- לא מומלץ להפסיק צמתים ספציפיים באשכול, כי יכול להיות שהסטטוס של מכונה וירטואלית שהופסקה לא יהיה מסונכרן עם הסטטוס של האשכול, וזה עלול לגרום לשגיאות.
הפסקת אשכול
הפסקת הפעולה של אשכול מפסיקה את הפעולה של כל המכונות הווירטואליות של Compute Engine באשכול. לא משלמים על מכונות וירטואליות בזמן שהן מושבתות. עם זאת, תמשיכו לשלם על משאבי אשכול משויכים, כמו דיסקים לאחסון מתמיד (persistent disk).
הערות:
- פעולות שמתבצעות: אם יש באשכול פעולות שמתבצעות, כמו פעולות עדכון או אבחון, בקשת ההפסקה תיכשל.
- הפעלת משימות: אם באשכול יש משימות שפועלות, בקשת ההפסקה תצליח: מכונות ה-VM יופסקו והמשימות הפועלות ייכשלו.
- הפסקת התגובה: כשבקשת ההפסקה מחזירה פעולת הפסקה, האשכול יהיה במצב
STOPPINGולא תתאפשר הגשה של משימות נוספות (בקשותSubmitJobייכשלו). - התאמה אוטומטית לעומס: אם מפסיקים אשכול שמופעל בו התאמה אוטומטית לעומס, המידרוג האוטומטי של Dataproc יפסיק את המידרוג של האשכול. הוא ימשיך לשנות את גודל האשכול אחרי שהאשכול יופעל מחדש. אם מפעילים מידרוג אוטומטי באשכול שהופסק, מדיניות המידרוג האוטומטי תיכנס לתוקף אחרי הפעלה מחדש של האשכול.
מעקב אחר פעולת ההפסקה
אפשר להריץ את הפקודה
gcloud dataproc operations describe operation-id
כדי לעקוב אחרי פעולת העצירה הממושכת של האשכול. אפשר להשתמש בפקודה gcloud dataproc clusters describe cluster-name כדי לעקוב אחרי המעבר של סטטוס האשכול מ-RUNNING ל-STOPPING ל-STOPPED.
מגבלות
אי אפשר לעצור:
- אשכולות עם עובדים משניים
- אשכולות עם כונני SSD מקומיים
אחרי שעוצרים אשכול, אי אפשר:
- עדכון האשכול
- שליחת עבודות לאשכול
- גישה למחברות שפועלות באשכול באמצעות Component Gateway של Dataproc
הפעלת אשכול
כשמפעילים מחדש אשכול שהופסק, פעולות האתחול לא מופעלות מחדש. פעולות ההגדרה הראשונית מופעלות רק בצמתי אשכולות כשהאשכול נוצר או כשמוסיפים צמתים כשהאשכול גדל.
אחרי שפעולת ההתחלה מסתיימת, אפשר לשלוח מיד משימות לאשכול. עם זאת, יכול להיות שביצוע העבודות יתעכב – בערך ב-30 שניות – כדי לאפשר ל-HDFS ול-YARN להתחיל לפעול.
איך מפסיקים ומפעילים אשכול
אפשר להפסיק ולהפעיל אשכול באמצעות מסוף Google Cloud , ה-CLI של gcloud או Dataproc API.
מסוףGoogle Cloud
לוחצים על שם האשכול בדף Clusters של Dataproc במסוף Google Cloud , ואז לוחצים על STOP כדי להפסיק את האשכול או על START כדי להפעיל אותו.
CLI של gcloud
איך מפסיקים מקבץ
gcloud dataproc clusters stop CLUSTER_NAME \ --region=REGION
הפעלת אשכול
gcloud dataproc clusters start CLUSTER_NAME \ --region=REGION
API ל-REST
איך מפסיקים מקבץ
שולחים בקשת clusters.stop.
הפעלת אשכול
שליחת בקשת clusters.start.