הפסקה והפעלה של אשכולות

אחרי שיוצרים אשכול, אפשר להפסיק אותו ואז להפעיל אותו מחדש כשצריך. הפסקת פעולה של אשכול בלי פעילות מונעת חיובים ומבטלת את הצורך למחוק אשכול בלי פעילות ואז ליצור אשכול עם אותה הגדרה מאוחר יותר.

הערות:

• התכונה של הפעלה והפסקה של מקבצים זמינה במקבצים שנוצרו עם תמונות שפורסמו בתאריך או אחריו, בגרסאות התמונות הבאות:
  • 1.4.35-debian10/ubuntu18
  • 1.5.10-debian10/ubuntu18
  • 2.0.0-RC6-debian10/ubuntu18
• לא מומלץ להפסיק צמתים ספציפיים באשכול, כי יכול להיות שהסטטוס של מכונה וירטואלית שהופסקה לא יהיה מסונכרן עם הסטטוס של האשכול, וזה עלול לגרום לשגיאות.
• בקטעים שמשתמשים במכונות וירטואליות גמישות, אי אפשר להשתמש בתכונת ההפעלה וההפסקה.

הערה: כדי לתזמן את הפסקת הפעולה של אשכול, אפשר לעיין במאמר בנושא תזמון הפסקת הפעולה של אשכול.

הפסקת אשכול

הפסקת הפעולה של אשכול מפסיקה את הפעולה של כל המכונות הווירטואליות של Compute Engine באשכול. לא משלמים על מכונות וירטואליות בזמן שהן מושבתות. עם זאת, תמשיכו לשלם על משאבי אשכול משויכים, כמו דיסקים לאחסון מתמיד.

הערות:

• פעולות שפועלות: אם יש באשכול פעולות שפועלות, כמו פעולות עדכון או אבחון, בקשת העצירה תיכשל.
• הרצת משימות: אם באשכול יש משימות שמופעלות, בקשת ההפסקה תצליח: מכונות ה-VM יופסקו והמשימות שמופעלות ייכשלו.
• Stop Response: כשבקשת העצירה מחזירה פעולת עצירה, האשכול יהיה במצב STOPPING ולא תהיה אפשרות לשלוח עוד משימות (בקשות SubmitJob ייכשלו).
• שינוי גודל אוטומטי: אם מפסיקים אשכול שמופעל בו שינוי גודל אוטומטי, המידרוג האוטומטי של Managed Service for Apache Spark יפסיק את שינוי הגודל של האשכול. הוא ימשיך לשנות את גודל האשכול אחרי שהאשכול יופעל מחדש. אם מפעילים התאמה אוטומטית לעומס באשכול שהופסק, מדיניות ההתאמה האוטומטית לעומס תיכנס לתוקף אחרי שהאשכול יופעל מחדש.

מעקב אחרי פעולת ההפסקה

אפשר להריץ את הפקודה gcloud dataproc operations describe operation-id כדי לעקוב אחרי פעולת העצירה הממושכת של האשכול. אפשר להשתמש בפקודה gcloud dataproc clusters describe cluster-name כדי לעקוב אחרי המעבר של סטטוס האשכול מ-RUNNING ל-STOPPING ל-STOPPED.

מגבלות

• אי אפשר לעצור:

  • אשכולות עם עובדים משניים
  • אשכולות עם כונני SSD מקומיים

• כשמקפיאים אשכול, אי אפשר:

  • עדכון האשכול
  • שליחת עבודות לאשכול
  • גישה למחברות שפועלות באשכול באמצעות שער הרכיבים של Managed Service for Apache Spark

הפעלת אשכול

• כשמפעילים מחדש אשכול שהופסק, פעולות האתחול לא מופעלות מחדש. פעולות ההגדרה הראשונית מופעלות רק בצמתי אשכול כשהאשכול נוצר או כשמוסיפים צמתים כשהאשכול מורחב.

• אחרי שפעולת ההתחלה מסתיימת, אפשר לשלוח מיד משימות לאשכול. עם זאת, יכול להיות שביצוע העבודות יתעכב – בערך ב-30 שניות – כדי לאפשר ל-HDFS ול-YARN להתחיל לפעול.

חשוב: כשמפעילים מחדש אשכול, המכונות הווירטואליות והמשאבים האחרים שלו מוקצים מחדש. הקצאת משאבים תלויה בזמינות, וחוסר במלאי באזור מסוים עלול לגרום לכך שהפעלה מחדש של אשכול תיכשל. כדי לעזור בהקצאת משאבים מחדש, אפשר לשריין משאבים באשכול.

איך מפסיקים ומפעילים אשכול

אפשר להפסיק ולהפעיל אשכול באמצעות Google Cloud המסוף, ה-CLI של gcloud או Managed Service for Apache Spark API.

מסוףGoogle Cloud

1. לוחצים על שם האשכול בדף Clusters במסוף Google Cloud .
2. בדף הפרטים של האשכול שנפתח, לוחצים על STOP (עצירה) כדי לעצור את האשכול. כשמוכנים להמשיך את פעולות האשכול, לוחצים על התחלה כדי להפעיל מחדש את האשכול.

‫CLI של gcloud

איך מפסיקים מקבץ

gcloud dataproc clusters stop CLUSTER_NAME \
    --region=REGION

הפעלת אשכול

gcloud dataproc clusters start CLUSTER_NAME \
    --region=REGION

‫API בארכיטקטורת REST

איך מפסיקים מקבץ

שולחים בקשה של clusters.stop.

הפעלת אשכול

שליחת בקשה של clusters.start.