בוחרים באפשרות standard, SSD, balanced Persistent Disk או Google Cloud Hyperdisk balanced כדיסק אתחול לצמתים של אשכול Managed Service for Apache Spark.
אפשרויות לסוג דיסק האתחול:
אפשר לבחור דיסק אחסון מתמיד מסוג standard, SSD או balanced Persistent Disk, דיסק אתחול בשביל צמתי אשכולות מסוג master, primary worker ו-secondary worker.
אתם יכולים לבחור באפשרות hyperdisk balanced בתור דיסק האתחול של הצמתים master ו-primary worker. הערה: כשסוג דיסק האתחול של העובד הראשי מוגדר כ-hyperdisk balanced, השירות Managed Service for Apache Spark מגדיר באופן אוטומטי את סוג דיסק האתחול של העובד המשני כ-hyperdisk balanced.
סוג ברירת המחדל של דיסק אתחול קבוע לצמתים ראשיים ולצמתי עובד ראשיים באשכול Managed Service for Apache Spark הוא standard (pd-standard). אם סוג המכונה של מכונת ה-VM תומך רק ב-hyperdisk balanced כדיסק אתחול, דיסק האתחול שמוגדר כברירת מחדל הוא hyperdisk balanced (hyperdisk-balanced). סוג ברירת המחדל של דיסק אתחול קבוע לצמתי עובד משניים באשכול הוא סוג דיסק האתחול הקבוע של צומת העובד הראשי.
בחירת סוגים של דיסקי אתחול מתמידים לצמתים של אשכול
אפשר לבחור את סוג דיסק האתחול המתמיד כשיוצרים אשכול באמצעות מסוףGoogle Cloud , Google Cloud CLI או Dataproc API.
מסוףGoogle Cloud
כדי לבחור את סוגי דיסקי האתחול של צומתי האשכול:
- פותחים את הדף Managed Service for Apache Spark Create a cluster (יצירת אשכול).
- לוחצים על הגדרה נוספת כדי להרחיב את הקטע.
- לוחצים על עובדים ראשיים ועל עובדים משניים כדי לאשר או לשנות את הגדרות ברירת המחדל.
- כברירת מחדל, ההגדרות של צומת ה-driver (הראשי) זהות להגדרות של העובד הראשי. בקטע הגדרה נוספת, אפשר ללחוץ על צומת של מנהל התקן כדי לבטל את הסימון של התיבה צומת ברירת המחדל של מנהל ההתקן זהה לצומת העובד הראשי, ואז לציין את ההגדרות של צומת מנהל ההתקן.
CLI של gcloud
אפשר ליצור אשכול ולבחור את סוגי דיסקי האתחול של צמתי האשכול באמצעות הפקודה gcloud dataproc clusters create עם הדגלים --master-boot-disk-type, --worker-boot-disk-type ו---secondary-worker-boot-disk-type.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=pd-ssd \ --worker-boot-disk-type=hyperdisk-balanced \ other args ...
API בארכיטקטורת REST
אפשר להגדיר את הערך pd-standard, pd-ssd, pd-balanced או hyperdisk-balanced בשדה InstanceGroupConfig.DiskConfig.bootDiskType ב-masterConfig, workerConfig ו-secondaryWorkerConfig כחלק מבקשת API של cluster.create.
הגדרות Hyperdisk
כשיוצרים אשכול עם נפח מאוזן של hyperdisk בתור דיסק האתחול של צומת באשכול Managed Service for Apache Spark, אפשר להגדיר את ה-IOPS וה-Throughput שהוקצו.
המסוף
כדי להגדיר IOPS ו-Throughput שהוקצו:
- פותחים את הדף Managed Service for Apache Spark Create a cluster (יצירת אשכול).
- לוחצים על הגדרה נוספת כדי להרחיב את הקטע.
- לוחצים על צומת דרייבר או על Primary workers.
- בחלונית שנפתחת, מגדירים את ההגדרות של IOPS מוקצה ושל קצב העברת הנתונים, ואז לוחצים על שמירה.
CLI של gcloud
אפשר להגדיר IOPS מוקצה וקצב העברת נתונים מוקצה לצמתים של אשכולות באמצעות דיסקים לאתחול מסוג hyperdisk-balanced באמצעות הפקודה gcloud dataproc clusters create והדגלים --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput ו---worker-boot-disk-provisioned-throughput.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=hyperdisk-balanced \ --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS \ --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \ --worker-boot-disk-type=hyperdisk-balanced \ --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \ --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \ other args ...
API בארכיטקטורת REST
אפשר להגדיר IOPS מוקצים וקצב העברת נתונים מוקצה לצמתי אשכולות עם דיסקים לאתחול מסוג hyperdisk באמצעות השדות InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops ו-InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput בהגדרות של הצומת הראשי והצומת של העובד.