עדכון אשכול Dataproc באמצעות תבנית

בדף הזה מוסבר איך להשתמש בתבנית של Google APIs Explorer כדי לעדכן אשכול Dataproc ולשנות את מספר העובדים באשכול. הגדלת קנה מידה של אשכול כדי לכלול יותר עובדים היא משימה נפוצה כשצריך עובדים נוספים כדי לעבד עבודות גדולות יותר.

דרכים נוספות לעדכון אשכול Dataproc:

לפני שמתחילים

במדריך הזה למתחילים אנחנו מניחים שכבר יצרתם אשכול Dataproc. אפשר ליצור אשכול באמצעות APIs Explorer, מסוףGoogle Cloud , ה-CLI של gcloud gcloud או מדריכים למתחילים באמצעות ספריות לקוח ב-Cloud.

עדכון אשכול

כדי לעדכן את מספר העובדים באשכול, ממלאים את התבנית של Try this API ב-Google APIs Explorer ומריצים אותה.

  1. הפרמטרים של הבקשה:

    1. מזינים את projectId.
    2. מציינים את האזור שבו האשכול נמצא (מאשרים או מחליפים את us-central1). האזור של האשכול מופיע בדף Clusters של Dataproc במסוף Google Cloud .
    3. מציינים את clusterName של האשכול הקיים שרוצים לעדכן (מאשרים או מחליפים את example-cluster).
    4. updateMask: "config.worker_config.num_instances". זהו JSON PATH יחסי למשאב Cluster לפרמטר numInstances שצריך לעדכן (ראו את ההוראות לגבי תוכן הבקשה).

  2. גוף הבקשה:

    1. ‫config.workerConfig.numInstances: ("3": the new number of workers). אפשר לשנות את הערך הזה כדי להוסיף פחות או יותר עובדים. לדוגמה, אם באשכול הרגיל שלכם יש את מספר ברירת המחדל של 2 עובדים, ציון הערך 3 יוסיף עובד אחד, וציון הערך 4 יוסיף 2 עובדים. ב-Dataproc, לאשכול רגיל צריכים להיות לפחות 2 עובדים.

  3. לוחצים על EXECUTE. בפעם הראשונה שמריצים את תבנית ה-API, יכול להיות שתתבקשו לבחור חשבון Google ולהיכנס אליו, ואז לאשר ל-Google APIs Explorer לגשת לחשבון שלכם. אם הבקשה מצליחה, תגובת ה-JSON תראה שהעדכון של האשכול נמצא בהמתנה.

  4. כדי לוודא שמספר העובדים באשכול עודכן, פותחים את הדף Clusters ב-Dataproc במסוף Google Cloud וצופים בעמודה Total worker nodes של האשכול. יכול להיות שתצטרכו ללחוץ על 'רענון' בחלק העליון של הדף כדי לראות את הערך המעודכן אחרי שהעדכון של האשכול יסתיים.

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה:

  1. אם אתם לא צריכים את האשכול כדי לעיין במדריכים למתחילים או כדי להריץ משימות אחרות, אתם יכולים למחוק את האשכול באמצעות APIs Explorer, מסוףGoogle Cloud , כלי שורת הפקודה gcloud של ה-CLI של gcloud או מדריכים למתחילים באמצעות ספריות לקוח של Cloud.

המאמרים הבאים