שליחת עבודת Spark באמצעות תבנית

בדף הזה מוסבר איך להשתמש בתבנית של Google APIs Explorer כדי להריץ משימת Spark פשוטה באשכול קיים של Managed Service for Apache Spark.

לדרכים אחרות לשליחת עבודה לאשכול Managed Service for Apache Spark, אפשר לעיין במאמרים הבאים:

לפני שמתחילים

כדי להריץ משימה של Managed Service for Apache Spark, צריך ליצור אשכול של מכונה וירטואלית אחת או יותר להרצת המשימה. אפשר ליצור אשכול באמצעות APIs Explorer, מסוףGoogle Cloud , ה-CLI של gcloud gcloud או מדריכים למתחילים באמצעות ספריות לקוח ב-Cloud.

שליחת משרה

כדי לשלוח דוגמה למשימת Apache Spark שמחשבת ערך משוער של pi, ממלאים את התבנית Try this API ב-Google APIs Explorer ומריצים אותה.

  1. הפרמטרים של הבקשה:

    1. מזינים את projectId.
    2. מציינים את האזור שבו האשכול נמצא (מאשרים או מחליפים את us-central1). האזור של האשכול מופיע בדף Clusters של Managed Service for Apache Spark במסוףGoogle Cloud .

  2. גוף הבקשה:

    1. ‫job.placement.clusterName: השם של האשכול שבו העבודה תפעל (צריך לאשר או להחליף את example-cluster).
    2. ‫job.sparkJob.args: ‎"1000", the number of job tasks.
    3. ‪job.sparkJob.jarFileUris: "file:///usr/lib/spark/examples/jars/spark-examples.jar". זהו נתיב הקובץ המקומי בצומת הראשי של אשכול Managed Service for Apache Spark שבו מותקן קובץ ה-JAR שמכיל את קוד המשימה של Spark Scala.
    4. ‫job.sparkJob.mainClass: ‎"org.apache.spark.examples.SparkPi". זו השיטה העיקרית של אפליקציית Scala לחישוב פאי של המשימה.

  3. לוחצים על EXECUTE. בפעם הראשונה שמריצים את תבנית ה-API, יכול להיות שתתבקשו לבחור חשבון Google ולהיכנס אליו, ואז לאשר ל-Google APIs Explorer לגשת לחשבון שלכם. אם הבקשה מצליחה, בתגובת ה-JSON מוצג שהבקשה לשליחת העבודה נמצאת בהמתנה.

  4. כדי לראות את הפלט של העבודה, פותחים את הדף Managed Service for Apache Spark Jobs במסוף Google Cloud ולוחצים על מזהה המשימה העליון (האחרון). לוחצים על 'העברת שורה' כדי להפעיל את האפשרות 'מופעל' ולהציג שורות שחורגות מהשוליים הימניים.

    ...
Pi is roughly 3.141804711418047
...

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים:

  1. אם לא צריך את האשכול כדי לעיין במדריכים למתחילים אחרים או כדי להריץ משימות אחרות, אפשר להשתמש בAPIs Explorer, במסוףGoogle Cloud , בgcloud או בספריות הלקוח של Cloud כדי למחוק את האשכול.

המאמרים הבאים