יצירת אשכול באמצעות תבנית

יצירת אשכול באמצעות תבנית

בדף הזה מוסבר איך להשתמש בתבנית מוטמעת של Google APIs Explorer כדי ליצור אשכול של Managed Service for Apache Spark.

דרכים נוספות ליצירת אשכול:

• יצירת אשכול באמצעות מסוף Google Cloud
• יצירת אשכול באמצעות Google Cloud CLI
• יצירת אשכול באמצעות ספריות לקוח

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that you have the permissions required to complete this guide.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that you have the permissions required to complete this guide.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

התפקידים הנדרשים

כדי להריץ את הדוגמאות בדף הזה, צריך תפקידים מסוימים ב-IAM. יכול להיות שהתפקידים האלה כבר הוקצו, בהתאם למדיניות הארגון. כדי לבדוק את התפקידים שהוקצו, ראו האם צריך להקצות תפקידים?.

כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

תפקידי משתמשים

כדי לקבל את ההרשאות שדרושות ליצירת אשכול של Managed Service for Apache Spark, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• עריכת פרויקטים ב-Dataproc (roles/dataproc.editor) בפרויקט
• משתמש בחשבון שירות (roles/iam.serviceAccountUser) בחשבון השירות של Compute Engine שמוגדר כברירת מחדל

תפקיד בחשבון שירות

כדי לוודא שלחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine יש את ההרשאות שנדרשות ליצירת אשכול של Managed Service for Apache Spark, צריך לבקש מהאדמין להקצות לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine את תפקיד ה-IAM Dataproc Worker (roles/dataproc.worker) בפרויקט.

חשוב: צריך להעניק את התפקיד הזה לחשבון השירות שמשמש כברירת המחדל של Compute Engine, ולא לחשבון המשתמש שלכם. אם לא תקצו את התפקיד לחשבון הראשי הנכון, יכול להיות שתקבלו שגיאות הרשאה.

יצירת אשכול

כדי להריץ משימות של Managed Service for Apache Spark, צריך ליצור אשכול של מכונות וירטואליות להרצת המשימות. כדי ליצור אשכול של Managed Service for Apache Spark בפרויקט שלכם, ממלאים את התבנית Try this Method של Google APIs Explorer בדף הזה ומריצים אותה (צריך לגלול או ללחוץ על Try it! כדי לעבור לתבנית).

הערה: ערכי הפרמטרים region ו-clusterName ימולאו בשבילכם. מאשרים את ערכי הפרמטרים האלה או מחליפים אותם.

1. הפרמטרים של הבקשה:

   1. מזינים את projectId.
   2. מציינים את האזור שבו האשכול ימוקם (מאשרים את us-central1 או מחליפים אותו). מכיוון שלא מציינים תחום בתוך האזור בתחילת העבודה המהירה הזו, Managed Service for Apache Spark בחירת תחום אוטומטית (Auto Zone) יבחר תחום בתוך האזור שבו הוא ייצור את האשכול.

2. גוף הבקשה:

   1. מציינים clusterName (מאשרים או מחליפים את example-cluster). תשתמשו בשם הזה כדי ליצור אינטראקציה עם האשכול, למשל כששולחים משימות או מעדכנים את האשכול.

3. לוחצים על EXECUTE. בפעם הראשונה שמריצים את תבנית ה-API, יכול להיות שתתבקשו לבחור חשבון Google ולהיכנס אליו, ואז לאשר ל-Google APIs Explorer לגשת לחשבון שלכם. אם הבקשה מצליחה, תגובת ה-JSON תראה שיצירת האשכול נמצאת בהמתנה.

4. כדי לאשר את יצירת האשכול, פותחים את הדף Managed Service for Apache Spark Clusters במסוף Google Cloud . אחרי שהקצאת האשכול תושלם, הסטטוס של האשכול יהיה 'פועל'.

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים:

1. אם לא צריך את האשכול כדי לעיין במדריכים למתחילים אחרים או כדי להריץ משימות אחרות, אפשר להשתמש בAPIs Explorer, במסוףGoogle Cloud , בgcloud או בספריות הלקוח של Cloud כדי למחוק את האשכול.

המאמרים הבאים

• איך שולחים משימת Spark באמצעות תבנית