צירוף דיסקים מסוג Hyperdisk למכונות וירטואליות של Managed Service for Apache Spark

בדף הזה מוסבר איך לצרף היפר-דיסקים למכונות וירטואליות (VM) באשכול Managed Service for Apache Spark. אפשר להגדיר את הדיסקים בנפרד לקבוצות של צמתי מאסטר, צמתי עובד ראשיים וצמתי עובד משניים. הדיסקים האלה מצורפים לצמתי האשכול בנוסף לדיסק האתחול ולכונני SSD מקומיים שמצורפים לצמתי האשכול.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that you have the permissions required to complete this guide.

Verify that billing is enabled for your Google Cloud project.

Enable the Managed Service for Apache Spark API.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that you have the permissions required to complete this guide.

Verify that billing is enabled for your Google Cloud project.

Enable the Managed Service for Apache Spark API.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

התפקידים הנדרשים

כדי להריץ את הדוגמאות בדף הזה, צריך תפקידים מסוימים ב-IAM. יכול להיות שהתפקידים האלה כבר הוקצו, בהתאם למדיניות הארגון. כדי לבדוק את התפקידים שהוקצו, ראו האם צריך להקצות תפקידים?.

כדי לקרוא הסבר על מתן תפקידים, קראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

תפקידי משתמשים

כדי לקבל את ההרשאות שדרושות ליצירת אשכול של Managed Service for Apache Spark, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• עריכת פרויקטים ב-Dataproc (roles/dataproc.editor) בפרויקט
• משתמש בחשבון שירות (roles/iam.serviceAccountUser) בחשבון השירות של Compute Engine שמוגדר כברירת מחדל

תפקיד בחשבון שירות

כדי לוודא שלחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine יש את ההרשאות שנדרשות ליצירת אשכול של Managed Service for Apache Spark, צריך לבקש מהאדמין להקצות לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine את תפקיד ה-IAM Dataproc Worker (roles/dataproc.worker) בפרויקט.

חשוב: צריך להעניק את התפקיד הזה לחשבון השירות שמשמש כברירת המחדל של Compute Engine, ולא לחשבון המשתמש שלכם. אם לא תקצו את התפקיד לחשבון המשתמש הנכון, יכול להיות שתקבלו שגיאות הרשאה.

מאפייני הדיסק

לדיסקים המצורפים יש את המאפיינים הבאים:

• מחזור חיים: מחזור החיים של דיסק מצורף זהה למחזור החיים של מכונת ה-VM שהוא מצורף אליה. השירות המנוהל ל-Apache Spark יוצר את הדיסק כשהוא יוצר את ה-VM ומוחק את הדיסק כשהוא מוחק את ה-VM.
• אי אפשרות לשינוי: אי אפשר לעדכן את המאפיינים של דיסק מצורף, כמו גודל, IOPS או קצב העברת נתונים, אחרי שיוצרים את האשכול.
• טעינה ושימוש: Managed Service for Apache Spark טוען דיסקים בנתיב /mnt/N, כאשר N הוא מספר שלם חיובי (לדוגמה, /mnt/1, ‏ /mnt/2). נתוני HDFS ונתוני scratch, כמו פלט של פעולות מיון נתונים (shuffle), משתמשים בדיסקים המצורפים במקום בדיסק האחסון המתמיד של האתחול.

הגדרת הדיסק

כשמצרפים דיסקים לצמתי אשכול של Managed Service for Apache Spark, אפשר לציין את פרמטרים ההגדרות הבאים של הדיסקים:

• ‫Disk type (סוג הדיסק) – חובה: סוג הדיסק לצירוף למכונות וירטואליות. יש תמיכה בדיסקים היפרדינמיים הבאים:

  • hyperdisk-balanced
  • hyperdisk-extreme
  • hyperdisk-ml
  • hyperdisk-throughput

  אי אפשר לצרף דיסקים מסוג hyperdisk balanced high availability ודיסקים קבועים לצמתי אשכול.

  כדי לצרף Hyperdisk לצומת של אשכול, סוג המכונה שמשמש בצומת צריך לתמוך ב-Hyperdisk. מידע נוסף זמין במאמר בנושא תמיכה בסדרות של מכונות ב-Hyperdisk.

• גודל – אופציונלי: גודל הדיסק. הערך חייב להיות מספר שלם שאחריו מופיע GB לגיגה-בייט או TB לטרה-בייט. לדוגמה, ‫10GB מחבר דיסק בנפח 10 גיגה-בייט. מידע נוסף זמין במאמר בנושא מגבלות הגודל של Hyperdisk.

• ‫IOPs – אופציונלי: מציין את IOPS להקצאה עבור הדיסק המצורף. הפרמטר הזה מגדיר את המגבלה של פעולות קלט/פלט בדיסק לשנייה. מידע נוסף זמין במאמר בנושא רמות ביצועים שמוגדרות כברירת מחדל.

• Throughput – אופציונלי: מציין את התפוקה שצריך להקצות לדיסק המצורף. הפרמטר הזה מגדיר את מגבלת התפוקה ב-MiB לשנייה. מידע נוסף זמין במאמר בנושא רמות ביצועים שמוגדרות כברירת מחדל.

צירוף דיסקים לאשכול

אפשר לצרף דיסקים כשיוצרים אשכול של Managed Service for Apache Spark באמצעות ה-CLI של gcloud או Dataproc API כדי לציין את הגדרות הדיסקים.

‫CLI של gcloud

• כדי לצרף דיסקים כשיוצרים אשכול, משתמשים בדגל --master-attached-disks, --worker-attached-disks או --secondary-worker-attached-disks עם הפקודה gcloud dataproc clusters create.

• כל דגל מקבל רשימה של הגדרות דיסק שמופרדות באמצעות נקודה-ופסיק. כל הגדרת דיסק היא רשימה מופרדת בפסיקים של זוגות של מפתח-ערך עבור type,‏ size,‏ iops ו-throughput (ראו הגדרת דיסק).

דוגמה: הפקודה הבאה יוצרת אשכול ומצרפת שני דיסקים מסוג Hyperdisk לכל צומת עובד ראשי.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --worker-attached-disks='type=hyperdisk-balanced,size=100GB,iops=5000,throughput=200;type=hyperdisk-throughput,size=9000GB'

API

• כדי לצרף דיסקים, צריך לכלול מערך attachedDiskConfigs באובייקט diskConfig של קבוצת המכונות masterConfig,‏ workerConfig או secondaryWorkerConfig.

• מציינים את ההגדרה בגוף של בקשת clusters.create API.

דוגמה: קטע ה-JSON הבא מציג מערך attachedDiskConfigs שמצרף שני דיסקים היפרדיים:

[
  {
    "diskType": "HYPERDISK_BALANCED",
    "diskSizeGb": 100,
    "provisionedIops": 5000,
    "provisionedThroughput": 200
  },
  {
    "diskType": "HYPERDISK_THROUGHPUT",
    "diskSizeGb": 9000
  }
]