בדף הזה מוסבר איך להשתמש בכלי שורת הפקודה gcloud של Google Cloud CLI כדי ליצור אשכול Managed Service for Apache Spark, להריץ משימת Apache Spark באשכול ואז לשנות את מספר העובדים באשכול.
במאמרים הבאים אפשר לקרוא איך לבצע את אותן משימות או משימות דומות: מדריכים למתחילים בנושא שימוש ב-API Explorer,Google Cloud מסוף במאמר יצירת אשכול באמצעות מסוףGoogle Cloud , ושימוש בספריות לקוח במאמר יצירת אשכול באמצעות ספריות לקוח.
לפני שמתחילים
- נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
-
התקינו את ה-CLI של Google Cloud.
-
אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.
-
כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:
gcloud init -
יוצרים או בוחרים Google Cloud פרויקט.
תפקידים שנדרשים כדי לבחור או ליצור פרויקט
- Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
-
יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (
roles/resourcemanager.projectCreator), שכולל את ההרשאהresourcemanager.projects.create. איך מקצים תפקידים
-
יוצרים Google Cloud פרויקט:
gcloud projects create PROJECT_ID
מחליפים את
PROJECT_IDבשם של פרויקט Google Cloud שיוצרים. -
בוחרים את הפרויקט שיצרתם: Google Cloud
gcloud config set project PROJECT_ID
מחליפים את
PROJECT_IDבשם הפרויקט ב- Google Cloud .
מפעילים את Dataproc API:
תפקידים שנדרשים להפעלת ממשקי API
כדי להפעיל ממשקי API, נדרשת ההרשאה
serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידיםgcloud services enable dataproc.googleapis.com
-
התקינו את ה-CLI של Google Cloud.
-
אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.
-
כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:
gcloud init -
יוצרים או בוחרים Google Cloud פרויקט.
תפקידים שנדרשים כדי לבחור או ליצור פרויקט
- Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
-
יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (
roles/resourcemanager.projectCreator), שכולל את ההרשאהresourcemanager.projects.create. איך מקצים תפקידים
-
יוצרים Google Cloud פרויקט:
gcloud projects create PROJECT_ID
מחליפים את
PROJECT_IDבשם של פרויקט Google Cloud שיוצרים. -
בוחרים את הפרויקט שיצרתם: Google Cloud
gcloud config set project PROJECT_ID
מחליפים את
PROJECT_IDבשם הפרויקט ב- Google Cloud .
מפעילים את Dataproc API:
תפקידים שנדרשים להפעלת ממשקי API
כדי להפעיל ממשקי API, נדרשת ההרשאה
serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידיםgcloud services enable dataproc.googleapis.com
התפקידים הנדרשים
כדי להריץ את הדוגמאות בדף הזה, צריך תפקידים מסוימים ב-IAM. יכול להיות שהתפקידים האלה כבר הוקצו, בהתאם למדיניות הארגון. כדי לבדוק את התפקידים שהוקצו, ראו האם צריך להקצות תפקידים?.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
תפקידי משתמשים
כדי לקבל את ההרשאות שדרושות ליצירת אשכול של Managed Service for Apache Spark, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:
- עריכת פרויקטים ב-Dataproc (
roles/dataproc.editor) בפרויקט - משתמש בחשבון שירות (
roles/iam.serviceAccountUser) בחשבון השירות של Compute Engine שמוגדר כברירת מחדל
תפקיד בחשבון שירות
כדי לוודא שלחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine יש את ההרשאות שנדרשות ליצירת אשכול של Managed Service for Apache Spark, צריך לבקש מהאדמין להקצות לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine את תפקידי ה-IAM הבאים בפרויקט:
-
הכול:
Dataproc Worker (
roles/dataproc.worker)
יצירת אשכול
כדי ליצור אשכול בשם example-cluster, מריצים את הפקודה gcloud
Managed Service for Apache Spark clusters
create הבאה.
gcloud dataproc clusters create example-cluster --region=REGION
מחליפים את מה שכתוב בשדות הבאים:
REGION: ציון אזור שבו האשכול ימוקם.
שליחת משרה
כדי לשלוח משימת Spark לדוגמה שמחשבת ערך משוער של pi, מריצים את הפקודה הבאה gcloud Managed Service for Apache Spark jobs submit
spark:
gcloud dataproc jobs submit spark --cluster example-cluster \ --region=REGION \ --class org.apache.spark.examples.SparkPi \ --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000
הערות:
מחליפים את מה שכתוב בשדות הבאים:
REGION: ציון האזור של האשכול.
- העבודה מתבצעת ב-
example-cluster. - הקובץ
classמכיל את השיטה הראשית של SparkPi, שמחשבת ערך משוער של אפליקצייתpi. קובץ ה-jar מכיל את קוד העבודה. הערה:
file:///usr/lib/spark/examples/jars/spark-examples.jarהיא דוגמה ל-jar שמותקן מראש באשכול. לגבי משימות בהתאמה אישית, מציינים את קובץ ה-JAR ב-Cloud Storage (ראו שליחת משימה).
1000הוא פרמטר של משרה. הוא מציין את מספר המשימות (האיטרציות) שהעבודה מבצעת כדי לחשב את הערך שלpi.
העבודה פועלת והפלט הסופי מוצג בחלון הטרמינל:
Waiting for job output... ... Pi is roughly 3.14118528 ... Job finished successfully.
עדכון אשכול
כדי לשנות את מספר העובדים באשכול לחמישה, מריצים את הפקודה הבאה:
gcloud dataproc clusters update example-cluster \ --region=REGION \ --num-workers 5
בפלט הפקודה מוצגים פרטי האשכול:
workerConfig: ... instanceNames: - example-cluster-w-0 - example-cluster-w-1 - example-cluster-w-2 - example-cluster-w-3 - example-cluster-w-4 numInstances: 5 statusHistory: ... - detail: Add 3 workers.
כדי להקטין את מספר צמתי העובדים לערך המקורי של 2, מריצים את הפקודה הבאה:
gcloud dataproc clusters update example-cluster \ --region=REGION \ --num-workers 2
הסרת המשאבים
כדי לא לצבור חיובים בחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים.
- כדי למחוק את
example-cluster, מריצים את הפקודהclusters delete:gcloud dataproc clusters delete example-cluster \ --region=REGION