בדף הזה מוסבר איך משתמשים בכלי שורת הפקודה gcloud של Google Cloud CLI כדי ליצור אשכול של Managed Service for Apache Spark, להריץ משימת Apache Spark באשכול ולשנות את מספר ה-workers באשכול.
במאמרים הבאים מוסבר איך לבצע משימות זהות או דומות: מדריכים למתחילים באמצעות API Explorer,Google Cloud יצירת אשכול באמצעות מסוףGoogle Cloud ושימוש בספריות לקוח ביצירת אשכול באמצעות ספריות לקוח.
לפני שמתחילים
- נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloudליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
-
התקינו את ה-CLI של Google Cloud.
-
אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.
-
כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:
gcloud init -
יוצרים או בוחרים פרויקט ב- Google Cloud .
התפקידים שנדרשים כדי לבחור או ליצור פרויקט
- בחירת פרויקט: כדי לבחור פרויקט לא נדרש תפקיד IAM ספציפי – אתם יכולים לבחור כל פרויקט שקיבלתם בו תפקיד.
-
יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד "יצירת פרויקטים" (
roles/resourcemanager.projectCreator), שכולל את ההרשאהresourcemanager.projects.create. איך מקצים תפקידים?
-
יוצרים פרויקט ב- Google Cloud :
gcloud projects create PROJECT_ID
מחליפים את
PROJECT_IDבשם של הפרויקט ב- Google Cloud שאתם יוצרים. -
בוחרים את הפרויקט שיצרתם ב- Google Cloud :
gcloud config set project PROJECT_ID
מחליפים את
PROJECT_IDבשם הפרויקט ב- Google Cloud .
מפעילים את Dataproc API, אם הוא עדיין לא מופעל:
התפקידים שנדרשים כדי להפעיל ממשקי API
כדי להפעיל ממשקי API, צריך את ההרשאה
serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידיםgcloud services enable dataproc.googleapis.com
-
התקינו את ה-CLI של Google Cloud.
-
אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.
-
כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:
gcloud init -
יוצרים או בוחרים פרויקט ב- Google Cloud .
התפקידים שנדרשים כדי לבחור או ליצור פרויקט
- בחירת פרויקט: כדי לבחור פרויקט לא נדרש תפקיד IAM ספציפי – אתם יכולים לבחור כל פרויקט שקיבלתם בו תפקיד.
-
יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד "יצירת פרויקטים" (
roles/resourcemanager.projectCreator), שכולל את ההרשאהresourcemanager.projects.create. איך מקצים תפקידים?
-
יוצרים פרויקט ב- Google Cloud :
gcloud projects create PROJECT_ID
מחליפים את
PROJECT_IDבשם של הפרויקט ב- Google Cloud שאתם יוצרים. -
בוחרים את הפרויקט שיצרתם ב- Google Cloud :
gcloud config set project PROJECT_ID
מחליפים את
PROJECT_IDבשם הפרויקט ב- Google Cloud .
מפעילים את Dataproc API, אם הוא עדיין לא מופעל:
התפקידים שנדרשים כדי להפעיל ממשקי API
כדי להפעיל ממשקי API, צריך את ההרשאה
serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידיםgcloud services enable dataproc.googleapis.com
התפקידים הנדרשים
כדי להריץ את הדוגמאות שבדף הזה, צריך תפקידים מסוימים ב-IAM. בהתאם למדיניות הארגון, יכול להיות שהתפקידים האלה כבר הוקצו. כדי לבדוק את התפקידים שהוקצו, קראו את המאמר האם צריך להקצות תפקידים?.
להסבר על מתן תפקידים, קראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
תפקידי משתמשים
כדי לקבל את ההרשאות שדרושות ליצירת אשכול Managed Service for Apache Spark, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM:
- עריכת Dataproc (
roles/dataproc.editor) בפרויקט - משתמש בחשבון שירות (
roles/iam.serviceAccountUser) בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine
תפקיד של חשבון שירות
כדי לוודא שלחשבון השירות שמשמש כברירת מחדל ב-Compute Engine יש את ההרשאות שנדרשות ליצירת אשכול Managed Service for Apache Spark, צריך לבקש מהאדמין להקצות לחשבון השירות שמשמש כברירת מחדל ב-Compute Engine את תפקידי ה-IAM הבאים בפרויקט:
-
All:
Dataproc Worker (
roles/dataproc.worker)
יצירת אשכול
כדי ליצור אשכול בשם example-cluster, מריצים את הפקודה הבאה של gcloud
Managed Service for Apache Spark clusters
create.
gcloud dataproc clusters create example-cluster --region=REGION
מחליפים את מה שכתוב בשדות הבאים:
REGION: מציינים את האזור שבו יהיה האשכול.
שליחת משימה
כדי לשלוח משימת Spark לדוגמה שמחשבת ערך משוער של pi, מריצים את הפקודה הבאה: gcloud Managed Service for Apache Spark jobs submit spark:
gcloud dataproc jobs submit spark --cluster example-cluster \ --region=REGION \ --class org.apache.spark.examples.SparkPi \ --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000
הערות:
מחליפים את מה שכתוב בשדות הבאים:
REGION: מציינים את אזור האשכול.
- המשימה פועלת ב-
example-cluster. - הקובץ
classמכיל את השיטה הראשית של SparkPi, שמחשבת ערך משוער של האפליקציהpi. קובץ ה-JAR מכיל את קוד המשימה. הערה:
file:///usr/lib/spark/examples/jars/spark-examples.jarהוא קובץ JAR לדוגמה שמותקן מראש באשכול. במשימות ייעודיות, מציינים את קובץ ה-JAR ב-Cloud Storage (ראו שליחת משימה).
1000הוא פרמטר של משרה. הוא מציין את מספר המשימות (איטרציות) שהמשימה מבצעת כדי לחשב את הערך שלpi.
הפלט הסופי של המשימה שפועלת מוצג בחלון הטרמינל:
Waiting for job output... ... Pi is roughly 3.14118528 ... Job finished successfully.
עדכון אשכול
כדי לשנות את מספר ה-workers באשכול ל-5, מריצים את הפקודה הבאה:
gcloud dataproc clusters update example-cluster \ --region=REGION \ --num-workers 5
בפלט הפקודה מוצגים פרטי האשכול:
workerConfig: ... instanceNames: - example-cluster-w-0 - example-cluster-w-1 - example-cluster-w-2 - example-cluster-w-3 - example-cluster-w-4 numInstances: 5 statusHistory: ... - detail: Add 3 workers.
כדי להקטין את מספר הצמתים העובדים לערך המקורי של 2, מריצים את הפקודה הבאה:
gcloud dataproc clusters update example-cluster \ --region=REGION \ --num-workers 2
הסרת המשאבים
כדי לא לצבור חיובים בחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, בצעו את הפעולות הבאות.
- כדי למחוק את
example-cluster, מריצים את הפקודהclusters delete:gcloud dataproc clusters delete example-cluster \ --region=REGION