יצירת אשכול באמצעות מסוף Google Cloud

בדף הזה מוסבר איך להשתמש במסוף כדי ליצור אשכול של Managed Service for Apache Spark, להריץ באשכול משימת Apache Spark בסיסית ואז לשנות את מספר העובדים באשכול. Google Cloud

לחצו על תראו לי איך כדי לקרוא הסבר מפורט על המשימה ישירות במסוף Google Cloud :

תראו לי איך

לפני שמתחילים

  1. נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that you have the permissions required to complete this guide.

  4. Verify that billing is enabled for your Google Cloud project.

  5. Enable the Dataproc API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  6. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  7. Verify that you have the permissions required to complete this guide.

  8. Verify that billing is enabled for your Google Cloud project.

  9. Enable the Dataproc API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

    10.

התפקידים הנדרשים

כדי להריץ את הדוגמאות בדף הזה, צריך תפקידים מסוימים ב-IAM. יכול להיות שהתפקידים האלה כבר הוקצו, בהתאם למדיניות הארגון. כדי לבדוק את התפקידים שהוקצו, ראו האם צריך להקצות תפקידים?.

כדי לקרוא הסבר על מתן תפקידים, קראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

תפקידי משתמשים

כדי לקבל את ההרשאות שדרושות ליצירת אשכול של Managed Service for Apache Spark, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

תפקיד בחשבון שירות

כדי לוודא שלחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine יש את ההרשאות שנדרשות ליצירת אשכול של Managed Service for Apache Spark, צריך לבקש מהאדמין להקצות לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine את תפקיד ה-IAM Dataproc Worker (roles/dataproc.worker) בפרויקט.

יצירת אשכול

  1. נכנסים לדף Clusters במסוף Google Cloud של Managed Service for Apache Spark.

    מעבר אל Clusters

  2. לוחצים על יצירת אשכול.

  3. בתיבת הדו-שיח יצירת אשכול Dataproc, לוחצים על יצירה בשורה אשכול ב-Compute Engine.

  4. בשדה Cluster name (שם האשכול), מזינים את הערך example-cluster.

  5. ברשימות Region ו-Zone, בוחרים אזור ותחום.

    בוחרים אזור (לדוגמה, us-east1 או europe-west1) כדי לבודד משאבים כמו מופעים של מכונות וירטואליות (VM) ומיקומי אחסון של Cloud Storage ומטא-נתונים שנעשה בהם שימוש על ידי Managed Service for Apache Spark באזור. מידע נוסף זמין במאמרים אזורים ותחומים זמינים ואזור של אשכול.

  6. לכל שאר האפשרויות, משתמשים בהגדרות ברירת המחדל.

  7. כדי ליצור את האשכול, לוחצים על Create.

    האשכול החדש יופיע ברשימה בדף אשכולות. הסטטוס הוא Provisioning עד שהאשכול מוכן לשימוש, ואז הסטטוס משתנה ל-Running. הקצאת האשכול עשויה להימשך כמה דקות.

שליחת משימה ב-Spark

שולחים משימת Spark שמעריכה את הערך של פאי:

  1. בתפריט הניווט של Managed Service for Apache Spark, לוחצים על Jobs (משימות).

  2. בדף משרות, לוחצים על שליחת משרה, ואז מבצעים את הפעולות הבאות:

    1. בשדה Job ID (מזהה משימה), משתמשים בהגדרת ברירת המחדל או מציינים מזהה שהוא ייחודי לפרויקט Google Cloud .
    2. בתפריט הנפתח Cluster, בוחרים באפשרות example-cluster.
    3. בקטע Job type (סוג העבודה), בוחרים באפשרות Spark.
    4. בשדה Main class or jar (קובץ jar או מחלקה ראשית), מזינים את הערך org.apache.spark.examples.SparkPi.
    5. בשדה Jar files (קובצי Jar), מזינים את הערך file:///usr/lib/spark/examples/jars/spark-examples.jar.

    6. בשדה ארגומנטים, מזינים 1000 כדי להגדיר את מספר המשימות.

    7. לוחצים על שליחה.

      המשימה מוצגת בדף פרטי המשימה. סטטוס העבודה הוא Running או Starting, ואז הוא משתנה ל-Succeeded אחרי השליחה.

      כדי להימנע מגלילה בפלט, לוחצים על Line wrap: off (העברת שורה: מושבתת). הפלט דומה לזה:

      Pi is roughly 3.1416759514167594

      כדי לראות את פרטי העבודה, לוחצים על הכרטיסייה Configuration.

עדכון אשכול

מעדכנים את האשכול על ידי שינוי מספר מופעי העובדים:

  1. בתפריט הניווט של Managed Service for Apache Spark, לוחצים על Clusters (אשכולות).
  2. ברשימת האשכולות, לוחצים על example-cluster.

  3. בדף Cluster details, לוחצים על הכרטיסייה Configuration.

    ההגדרות של האשכול מוצגות.

  4. לוחצים על עריכה.

  5. בשדה Worker nodes מזינים את הערך 5.

  6. לוחצים על Save.

האשכול שלכם עודכן. כדי להקטין את מספר צמתי ה-worker לערך המקורי, פועלים לפי אותו הליך.

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים:

  1. כדי למחוק את האשכול, בדף פרטי האשכול של example-cluster, לוחצים על מחיקה.
  2. כדי לאשר את מחיקת האשכול, לוחצים על מחיקה.

המאמרים הבאים