אפשר ליצור אשכולות של Managed Service for Apache Spark בצמתים של שרתים לדייר יחיד (sole-tenant) ב-Compute Engine. צומת של דייר יחיד הוא שרת של Compute Engine שמיועד לארח רק את המכונות הווירטואליות של הפרויקט שלכם. כשיוצרים אשכול של Managed Service for Apache Spark בצומת של דייר יחיד, המכונות הווירטואליות של האשכול נשארות מופרדות פיזית ממכונות וירטואליות בפרויקטים אחרים. האשכולות פועלים כמו אשכולות רגילים של Managed Service for Apache Spark, אבל עם בידוד חומרה נוסף כדי לתת מענה לבעיות אבטחה ותאימות.
אשכולות של שרתים לדייר יחיד (sole-tenant) ב-Managed Service for Apache Spark נוצרים בקבוצת שרתים לדייר יחיד שהמשתמשים מציינים. המכונות הראשיות, ה-worker instances וה-worker instances המשניות של כל אשכול ייווצרו בתוך קבוצת השרתים לדייר יחיד.
השלבים הראשונים
יוצרים קבוצת צמתים של שרתים לדייר יחיד.
אם אתם יוצרים אשכולות עם התאמה אוטומטית לעומס בקבוצת הצמתים לדייר יחיד, השתמשו בקבוצות של צמתים עם התאמה אוטומטית לעומס.
המלצות להתאמה לעומס (autoscaling) של קבוצות צמתים:
- חשוב לוודא שהערך של
max-nodesבקבוצת הצמתים מספיק ל-maxInstancesשל האשכולות שתיצרו בקבוצת הצמתים של השרת לדייר יחיד. - משתמשים במדיניות ברירת המחדל לתחזוקה של קבוצת הצמתים או במדיניות
migrate-within-node-group. במדיניותrestart-in-place, יכול להיות שהמכונות הווירטואליות לא יהיו זמינות למשך עד שעה.
- חשוב לוודא שהערך של
יצירת אשכול של דייר יחיד
לפני שיוצרים אשכול של שרתים לדייר יחיד, כדאי לעיין במגבלות על מכונות וירטואליות של צומתי שרתים לדייר יחיד.
אם יוצרים אשכול עם התאמה אוטומטית לעומס בקבוצת שרתים לדייר יחיד, מומלץ שגם קבוצת השרתים תשתמש בהתאמה אוטומטית לעומס (ראו המלצות להתאמה אוטומטית לעומס של קבוצת שרתים).
פקודת gcloud
כדי ליצור אשכול של דייר יחיד, מעבירים את הדגל --node-group לפקודה gcloud dataproc clusters create.
הערות לגבי הסימון:
-
--region(חובה): חייב להתאים לאזור של sole-tenant-group. -
--node-group(חובה): אפשר לציין את שם קבוצת השרתים לדייר יחיד (sole-tenant) ("node-group-name") או את ה-URI של המשאב של קבוצת השרתים לדייר יחיד (sole-tenant) ("projects/project-id/zones/zone/nodeGroups/node-group-name"). -
--zone(חובה): האזור של האשכול חייב להיות זהה לאזור של קבוצת השרתים לדייר יחיד.
gcloud dataproc clusters create cluster-name \ --region=region \ --zone=zone \ --node-group=node group resource name or URI \ ... other args
API בארכיטקטורת REST
יוצרים אשכול של שרתים לדייר יחיד באמצעות בקשת clusters.create שמציינת את NodeGroupAffinity.nodeGroupUri של קבוצת השרתים לדייר יחיד.
הערה: האזור של האשכול שצוין בשדה zoneUri חייב להיות זהה לאזור של קבוצת השרתים לדייר יחיד.
המסוף
נכון לעכשיו, אי אפשר ליצור אשכול Managed Service for Apache Spark לדייר יחיד במסוף Google Cloud .