קבוצות של צמתים של מנהלי התקנים של Apache Spark בשירות מנוהל

משאב NodeGroup של Managed Service for Apache Spark הוא קבוצה של צומתי אשכולות של Managed Service for Apache Spark שמבצעים תפקיד שהוקצה להם. בדף הזה מתוארת קבוצת צומתי הדרייבר, שהיא קבוצה של מכונות וירטואליות של Compute Engine שהוקצה להן התפקיד Driver כדי להריץ דרייברים של משימות באשכול של Managed Service for Apache Spark.

מתי כדאי להשתמש בקבוצות של צומתי דרייבר

  • השתמשו בקבוצות של צומתי דרייבר רק כשאתם צריכים להריץ הרבה משימות בו-זמנית באשכול משותף.
  • כדי להימנע ממגבלות של קבוצות צומתי דרייבר, צריך להגדיל את המשאבים של צומת המאסטר לפני שמשתמשים בקבוצות צומתי דרייבר.

איך צומתי דרייבר עוזרים להריץ משימות בו-זמנית

בכל משימה, Managed Service for Apache Spark מפעיל תהליך של מנהל התקן משימות בצומת הראשי של אשכול Managed Service for Apache Spark. תהליך הדרייבר, בתורו, מריץ דרייבר של אפליקציה, כמו spark-submit, כתהליך משני. עם זאת, מספר המשימות שפועלות בו-זמנית בצומת הראשי מוגבל על ידי המשאבים שזמינים בצומת הראשי. מכיוון שלא ניתן לשנות את קנה המידה של הצמתים הראשיים ב-Managed Service for Apache Spark, משימה יכולה להיכשל או להיות מוגבלת כשהמשאבים של הצומת הראשי לא מספיקים להרצת המשימה.

קבוצות של צומתי דרייבר הן קבוצות מיוחדות של צמתים שמנוהלות על ידי YARN, כך שהפעלה בו-זמנית של משימות לא מוגבלת על ידי המשאבים של צומת המאסטר. באשכולות עם קבוצת צומתי דרייבר, הדרייברים של האפליקציות פועלים בצומתי הדרייבר. כל צומת דרייבר יכול להריץ כמה דרייברים של אפליקציות, אם יש לו מספיק משאבים.

יתרונות

שימוש באשכול של Managed Service for Apache Spark עם קבוצת צומתי דרייבר מאפשר לכם:

  • הגדלה אופקית של משאבי מנהלי ההתקנים של המשימות כדי להריץ יותר משימות בו-זמנית
  • התאמת קנה המידה של משאבי הדרייבר בנפרד ממשאבי ה-worker
  • צמצום מהיר יותר של אשכולות של קובצי אימג' בגרסה 2.0 ומעלה של Managed Service for Apache Spark. באשכולות האלה, מנהל האפליקציה פועל בתוך מנהל התקן של Spark בקבוצת צומתי דרייבר (הערך של spark.yarn.unmanagedAM.enabled מוגדר כ-true כברירת מחדל).
  • התאמה אישית של הפעלת צומת הדרייבר. אפשר להוסיף את {ROLE} == 'Driver' לסקריפט אתחול כדי שהסקריפט יבצע פעולות בקבוצת צומתי דרייבר בבחירת צומת.

מגבלות

  • אין תמיכה בקבוצות של צמתים בתבניות של תהליכי עבודה ב-Managed Service for Apache Spark.
  • אי אפשר לעצור, להפעיל מחדש או לשנות את קנה המידה באופן אוטומטי של אשכולות של קבוצות צמתים.
  • האפליקציה הראשית של MapReduce פועלת בצומתי עובדים. אם מפעילים את האפשרות צמצום הדרגתי של כמות השרתים, יכול להיות שהצמצום האנכי של צומתי העובדים יהיה איטי.
  • ההרצה בו-זמנית של משימות מושפעת ממאפיין האשכול dataproc:agent.process.threads.job.max . לדוגמה, אם יש שלושה מאסטרים והמאפיין הזה מוגדר לערך ברירת המחדל 100, מספר המשימות המקסימלי שאפשר להריץ בו-זמנית ברמת האשכול הוא 300.

קבוצת צומתי דרייבר בהשוואה למצב אשכול Spark

תכונה מצב אשכול של Spark קבוצת צומתי דרייבר
צמצום אנכי בהתאם לעומס (scale down) של צומת עובד מנהלי התקנים לטווח ארוך פועלים באותם צומתי עובדים כמו קונטיינרים לטווח קצר, ולכן צמצום הדרגתי של כמות השרתים של העובדים באמצעות הוצאה הדרגתית משימוש הוא איטי. צמצום אנכי של צומתי עובדים מתבצע מהר יותר כשמנהלי ההתקנים פועלים בקבוצות של צמתים.
פלט של מנהל התקן בסטרימינג צריך לחפש ביומני YARN כדי למצוא את הצומת שבו תזמנו את הדרייבר. הפלט של מנהל ההתקן מועבר בסטרימינג ל-Cloud Storage, ואפשר לראות אותו במסוף Google Cloud ובפלט של הפקודה gcloud dataproc jobs wait אחרי שהמשימה מסתיימת.

הרשאות IAM לקבוצת צומתי הדרייבר

הרשאות ה-IAM הבאות משויכות לפעולות שקשורות לקבוצת הצמתים של Managed Service for Apache Spark.

הרשאה פעולה
dataproc.nodeGroups.create ליצור קבוצות של צמתים ב-Managed Service for Apache Spark. אם למשתמש יש את ההרשאה dataproc.clusters.create בפרויקט, ההרשאה הזו ניתנת.
dataproc.nodeGroups.get קבלת הפרטים של קבוצת צמתים ב-Managed Service for Apache Spark.
dataproc.nodeGroups.update שינוי הגודל של קבוצת צמתים ב-Managed Service for Apache Spark.

פעולות בקבוצת צומתי דרייבר

אתם יכולים להשתמש ב-CLI של gcloud וב-Managed Service for Apache Spark API כדי ליצור, לקבל, לשנות את הגודל, למחוק ולשלוח משימה לקבוצת צומתי דרייבר של Managed Service for Apache Spark.

יצירת אשכול של קבוצת צומתי דרייבר

קבוצת צומתי דרייבר משויכת לאשכול אחד של Managed Service for Apache Spark. יוצרים קבוצת צמתים כחלק מיצירת אשכול Managed Service for Apache Spark. אתם יכולים להשתמש ב-CLI של gcloud או ב-API בארכיטקטורת REST של Managed Service for Apache Spark כדי ליצור אשכול של Managed Service for Apache Spark עם קבוצת צומתי דרייבר.

gcloud

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --driver-pool-size=SIZE \
    --driver-pool-id=NODE_GROUP_ID

דגלים נדרשים:

  • ‫CLUSTER_NAME: שם האשכול, שחייב להיות ייחודי בפרויקט. השם צריך להתחיל באות קטנה באנגלית, ויכול לכלול עד 51 אותיות קטנות, מספרים ומקפים. הוא לא יכול להסתיים במקף. אפשר להשתמש שוב בשם של אשכול שנמחק.
  • ‫REGION: האזור שבו יהיה האשכול.
  • ‫SIZE: מספר צומתי הדרייבר בקבוצת הצמתים. מספר הצמתים שצריך תלוי בעומס העבודה ובסוג המכונה של מאגר הדרייברים. מספר הצמתים המינימלי בקבוצת מנהלי ההתקנים שווה לזיכרון הכולל או למעבדים הווירטואליים שנדרשים למנהלי ההתקנים של המשימות, חלקי הזיכרון או המעבדים הווירטואליים של המכונה בכל מאגר של מנהלי התקנים.
  • ‫NODE_GROUP_ID: אופציונלי ומומלץ. המזהה חייב להיות ייחודי באשכול. אתם יכולים להשתמש במזהה הזה כדי לזהות את קבוצת הדרייברים בפעולות עתידיות, כמו שינוי הגודל של קבוצת הצמתים. אם לא מציינים מזהה, Managed Service for Apache Spark יוצר את מזהה קבוצת הצמתים.

הדגל המומלץ:

  • ‫--enable-component-gateway: מוסיפים את הדגל הזה כדי להפעיל את שער הרכיבים של Managed Service for Apache Spark, שמאפשר גישה לממשק האינטרנט של YARN. בדפים Application ו-Scheduler בממשק המשתמש של YARN מוצגים הסטטוס של האשכול והמשימה, זיכרון התור של האפליקציה, קיבולת הליבה ומדדים אחרים.

דגלים נוספים: אפשר להוסיף את הדגלים האופציונליים הבאים של driver-pool לפקודה gcloud dataproc clusters create כדי להתאים אישית את קבוצת הצמתים.

דגל ערך ברירת המחדל
--driver-pool-id מזהה מחרוזת, שנוצר על ידי השירות אם לא הוגדר על ידי הדגל. אפשר להשתמש במזהה הזה כדי לזהות את קבוצת הצמתים כשמבצעים פעולות עתידיות במאגר הצמתים, כמו שינוי הגודל של קבוצת הצמתים.
--driver-pool-machine-type n1-standard-4
--driver-pool-accelerator אין ברירת מחדל. כשמציינים מאיץ, חובה לציין את סוג ה-GPU. מספר יחידות ה-GPU הוא אופציונלי.
--num-driver-pool-local-ssds ללא ברירת מחדל
--driver-pool-local-ssd-interface ללא ברירת מחדל
--driver-pool-boot-disk-type pd-standard
--driver-pool-boot-disk-size 1000 GB
--driver-pool-min-cpu-platform AUTOMATIC

REST

ממלאים את השדה AuxiliaryNodeGroup כחלק מבקשת cluster.create ב-Managed Service for Apache Spark API.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫PROJECT_ID: חובה. מזהה הפרויקט ב-Google Cloud.
  • ‫REGION: חובה. האזור של אשכול Dataproc.
  • ‫CLUSTER_NAME: חובה. שם האשכול, שחייב להיות ייחודי בפרויקט. השם צריך להתחיל באות קטנה באנגלית, ויכול להכיל עד 51 אותיות קטנות, מספרים ומקפים. הוא לא יכול להסתיים במקף. אפשר להשתמש שוב בשם של אשכול שנמחק.
  • ‫SIZE: חובה. מספר הצמתים בקבוצת הצמתים.
  • ‫NODE_GROUP_ID: אופציונלי ומומלץ. המזהה חייב להיות ייחודי באשכול. משתמשים במזהה הזה כדי לזהות את קבוצת הדרייברים בפעולות עתידיות, כמו שינוי הגודל של קבוצת הצמתים. אם לא מציינים מזהה, Managed Service for Apache Spark יוצר את מזהה קבוצת הצמתים.

אפשרויות נוספות: ראו NodeGroup.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://dataproc.googleapis.com/v1/projects/PROJECT_ID/regions/REGION/clusters

תוכן בקשת JSON:

{
  "clusterName":"CLUSTER_NAME",
  "config": {
    "softwareConfig": {
      "imageVersion":""
    },
    "endpointConfig": {
      "enableHttpPortAccess": true
    },
    "auxiliaryNodeGroups": [{
        "nodeGroup":{
            "roles":["DRIVER"],
            "nodeGroupConfig": {
                "numInstances": SIZE
             }
         },
        "nodeGroupId": "NODE_GROUP_ID"
    }]
  }
}

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

אתם אמורים לקבל תגובת JSON שדומה לזו:

{
  "projectId": "PROJECT_ID",
  "clusterName": "CLUSTER_NAME",
  "config": {
    ...
    "auxiliaryNodeGroups": [
      {
        "nodeGroup": {
"name": "projects/PROJECT_ID/regions/REGION/clusters/CLUSTER_NAME/nodeGroups/NODE_GROUP_ID",
          "roles": [
            "DRIVER"
          ],
          "nodeGroupConfig": {
            "numInstances": SIZE,
            "instanceNames": [
              "CLUSTER_NAME-np-q1gp",
              "CLUSTER_NAME-np-xfc0"
            ],
            "imageUri": "https://www.googleapis.com/compute/v1/projects/cloud-dataproc-ci/global/images/dataproc-2-0-deb10-...-rc01",
            "machineTypeUri": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/zones/REGION-a/machineTypes/n1-standard-4",
            "diskConfig": {
              "bootDiskSizeGb": 1000,
              "bootDiskType": "pd-standard"
            },
            "managedGroupConfig": {
              "instanceTemplateName": "dataproc-2a8224d2-...",
              "instanceGroupManagerName": "dataproc-2a8224d2-..."
            },
            "minCpuPlatform": "AUTOMATIC",
            "preemptibility": "NON_PREEMPTIBLE"
          }
        },
        "nodeGroupId": "NODE_GROUP_ID"
      }
    ]
  },
}

אחזור מטא-נתונים של אשכול קבוצת צומתי דרייבר

כדי לקבל את המטא-נתונים של קבוצת צומתי הדרייבר, אתם יכולים להשתמש בפקודה gcloud dataproc node-groups describe או ב-Managed Service for Apache Spark API.

gcloud

gcloud dataproc node-groups describe NODE_GROUP_ID \
    --cluster=CLUSTER_NAME \
    --region=REGION

דגלים נדרשים:

  • ‫NODE_GROUP_ID: אפשר להריץ את gcloud dataproc clusters describe CLUSTER_NAME כדי להציג את מזהה קבוצת הצמתים.
  • ‫CLUSTER_NAME: שם האשכול.
  • ‫REGION: האזור של האשכול.

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫PROJECT_ID: חובה. מזהה הפרויקט ב-Google Cloud.
  • ‫REGION: חובה. האזור של האשכול.
  • ‫CLUSTER_NAME: חובה. שם האשכול.
  • ‫NODE_GROUP_ID: חובה. אפשר להריץ את הפקודה gcloud dataproc clusters describe CLUSTER_NAME כדי להציג את המזהה של קבוצת הצמתים.

ה-method של ה-HTTP וכתובת ה-URL:

GET https://dataproc.googleapis.com/v1/projects/PROJECT_ID/regions/REGION/clusters/CLUSTER_NAMEnodeGroups/Node_GROUP_ID

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

אתם אמורים לקבל תגובת JSON שדומה לזו:

{
  "name": "projects/PROJECT_ID/regions/REGION/clusters/CLUSTER_NAME/nodeGroups/NODE_GROUP_ID",
  "roles": [
    "DRIVER"
  ],
  "nodeGroupConfig": {
    "numInstances": 5,
    "imageUri": "https://www.googleapis.com/compute/v1/projects/cloud-dataproc-ci/global/images/dataproc-2-0-deb10-...-rc01",
    "machineTypeUri": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/zones/REGION-a/machineTypes/n1-standard-4",
    "diskConfig": {
      "bootDiskSizeGb": 1000,
      "bootDiskType": "pd-standard"
    },
    "managedGroupConfig": {
      "instanceTemplateName": "dataproc-driver-pool-mcia3j656h2fy",
      "instanceGroupManagerName": "dataproc-driver-pool-mcia3j656h2fy"
    },
    "minCpuPlatform": "AUTOMATIC",
    "preemptibility": "NON_PREEMPTIBLE"
  }
}

שינוי הגודל של קבוצת צומתי דרייבר

כדי להוסיף צומתי דרייבר לקבוצת צומתי דרייבר של אשכול או להסיר אותם ממנה, אתם יכולים להשתמש בפקודה gcloud dataproc node-groups resize או ב-Managed Service for Apache Spark API.

gcloud

gcloud dataproc node-groups resize NODE_GROUP_ID \
    --cluster=CLUSTER_NAME \
    --region=REGION \
    --size=SIZE

דגלים נדרשים:

  • ‫NODE_GROUP_ID: אפשר להריץ את gcloud dataproc clusters describe CLUSTER_NAME כדי להציג את מזהה קבוצת הצמתים.
  • ‫CLUSTER_NAME: שם האשכול.
  • ‫REGION: האזור של האשכול.
  • ‫SIZE: מציינים את המספר החדש של צומתי הדרייבר בקבוצת הצמתים.

דגל אופציונלי:

  • ‫--graceful-decommission-timeout=TIMEOUT_DURATION: כשמצמצמים אנכית בהתאם לעומס (scale down) קבוצת צמתים, אפשר להוסיף את הדגל הזה כדי לציין צמצום הדרגתי של כמות השרתים TIMEOUT_DURATION, וכך להימנע מסיום מיידי של מנהלי התקנים של משימות. המלצה: הגדירו משך זמן קצוב ששווה לפחות למשך הזמן של המשימה הארוכה ביותר שפועלת בקבוצת הצמתים (אין תמיכה בשחזור של מנהלי התקנים שנכשלו).

דוגמה: פקודת הגדלה של NodeGroup ב-CLI של gcloud:

gcloud dataproc node-groups resize NODE_GROUP_ID \
    --cluster=CLUSTER_NAME \
    --region=REGION \
    --size=4

דוגמה: פקודת צמצום אנכי בהתאם לעומס (scale down) ב-CLI של gcloud NodeGroup:

gcloud dataproc node-groups resize NODE_GROUP_ID \
    --cluster=CLUSTER_NAME \
    --region=REGION \
    --size=1 \
    --graceful-decommission-timeout="100s"

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫PROJECT_ID: חובה. מזהה הפרויקט ב-Google Cloud.
  • ‫REGION: חובה. האזור של האשכול.
  • ‫NODE_GROUP_ID: חובה. אפשר להריץ את הפקודה gcloud dataproc clusters describe CLUSTER_NAME כדי להציג את המזהה של קבוצת הצמתים.
  • ‫SIZE: חובה. מספר הצמתים החדש בקבוצת הצמתים.
  • ‫TIMEOUT_DURATION: אופציונלי. כשמצמצמים אנכית קבוצת צמתים, אפשר להוסיף gracefulDecommissionTimeout לגוף הבקשה כדי למנוע סיום מיידי של מנהלי התקנים של משימות. המלצה: הגדירו משך זמן קצוב ששווה לפחות למשך הזמן של המשימה הארוכה ביותר שפועלת בקבוצת הצמתים (אין תמיכה בשחזור של מנהלי התקנים שנכשלו).

    דוגמה:

    { "size": SIZE,
      "gracefulDecommissionTimeout": "TIMEOUT_DURATION"
    }
       

ה-method של ה-HTTP וכתובת ה-URL:

POST https://dataproc.googleapis.com/v1/projects/PROJECT_ID/regions/REGION/clusters/CLUSTER_NAME/nodeGroups/Node_GROUP_ID:resize

תוכן בקשת JSON:

{
  "size": SIZE,
}

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

אתם אמורים לקבל תגובת JSON שדומה לזו:

{
  "name": "projects/PROJECT_ID/regions/REGION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.dataproc.v1.NodeGroupOperationMetadata",
    "nodeGroupId": "NODE_GROUP_ID",
    "clusterUuid": "CLUSTER_UUID",
    "status": {
      "state": "PENDING",
      "innerState": "PENDING",
      "stateStartTime": "2022-12-01T23:34:53.064308Z"
    },
    "operationType": "RESIZE",
    "description": "Scale "up or "down" a GCE node pool to SIZE nodes."
  }
}

מחיקת אשכול של קבוצת צומתי דרייבר

כשמוחקים אשכול של Managed Service for Apache Spark, קבוצות הצמתים שמשויכות לאשכול נמחקות.

שליחת משימה

אתם יכולים להשתמש בפקודה gcloud dataproc jobs submit או ב-Managed Service for Apache Spark API כדי לשלוח משימה לאשכול עם קבוצת צומתי דרייבר.

gcloud

gcloud dataproc jobs submit JOB_COMMAND \
    --cluster=CLUSTER_NAME \
    --region=REGION \
    --driver-required-memory-mb=DRIVER_MEMORY \
    --driver-required-vcores=DRIVER_VCORES \
    DATAPROC_FLAGS \
    -- JOB_ARGS

דגלים נדרשים:

  • ‫JOB_COMMAND: מציינים את פקודת המשימה.
  • ‫CLUSTER_NAME: שם האשכול.
  • ‫DRIVER_MEMORY: כמות הזיכרון של מנהלי ההתקנים של המשימה ב-MB שנדרשת כדי להריץ משימה (ראו אמצעי הבקרה של הזיכרון ב-YARN).
  • ‫DRIVER_VCORES: מספר המעבדים הווירטואליים שנדרשים כדי להריץ משימה.

דגלים נוספים:

  • ‫DATAPROC_FLAGS: מוסיפים דגלים נוספים של gcloud dataproc jobs submit שקשורים לסוג העבודה.
  • ‫JOB_ARGS: מוסיפים ארגומנטים (אחרי --) כדי להעביר אותם למשימה.

דוגמאות: אתם יכולים להריץ את הדוגמאות הבאות מסשן טרמינל SSH באשכול של קבוצת צומתי דרייבר ב-Managed Service for Apache Spark.

  • משימת Spark להערכת הערך של pi:

    gcloud dataproc jobs submit spark \
        --cluster=CLUSTER_NAME \
        --region=REGION \
        --driver-required-memory-mb=2048 \
        --driver-required-vcores=2 \
        --class=org.apache.spark.examples.SparkPi \
        --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
        -- 1000
    
  • משימה של ספירת מילים ב-Spark:

    gcloud dataproc jobs submit spark \
        --cluster=CLUSTER_NAME \
        --region=REGION \
        --driver-required-memory-mb=2048 \
        --driver-required-vcores=2 \
        --class=org.apache.spark.examples.JavaWordCount \
        --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
        -- 'gs://apache-beam-samples/shakespeare/macbeth.txt'
    
  • משימת PySpark להערכת הערך של pi:

    gcloud dataproc jobs submit pyspark \
        file:///usr/lib/spark/examples/src/main/python/pi.py \
        --cluster=CLUSTER_NAME \
        --region=REGION \
        --driver-required-memory-mb=2048 \
        --driver-required-vcores=2 \
        -- 1000
    
  • משימת MapReduce של TeraGen ב-Hadoop:

    gcloud dataproc jobs submit hadoop \
        --cluster=CLUSTER_NAME \
        --region=REGION \
        --driver-required-memory-mb=2048 \
        --driver-required-vcores=2 \
        --jar file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
        -- teragen 1000 \
        hdfs:///gen1/test
    

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫PROJECT_ID: חובה. מזהה הפרויקט ב-Google Cloud.
  • ‫REGION: חובה. האזור של אשכול Dataproc
  • ‫CLUSTER_NAME: חובה. שם האשכול, שחייב להיות ייחודי בפרויקט. השם צריך להתחיל באות קטנה באנגלית, ויכול להכיל עד 51 אותיות קטנות, מספרים ומקפים. הוא לא יכול להסתיים במקף. אפשר להשתמש שוב בשם של אשכול שנמחק.
  • ‫DRIVER_MEMORY: חובה. נפח הזיכרון של מנהלי ההתקנים של המשימה ב-MB שנדרש כדי להריץ משימה (ראו פקדי הזיכרון של Yarn).
  • ‫DRIVER_VCORES: חובה. מספר המעבדים הווירטואליים שנדרשים כדי להריץ משימה.
שדות נוספים: מוסיפים שדות נוספים שקשורים לסוג העבודה ולארגומנטים של המשימה (הבקשה לדוגמה כוללת שדות שנדרשים כדי לשלוח משימת Spark שמעריכה את הערך של pi).

ה-method של ה-HTTP וכתובת ה-URL:

POST https://dataproc.googleapis.com/v1/projects/PROJECT_ID/regions/REGION/jobs:submit

תוכן בקשת JSON:

{
  "job": {
    "placement": {
    "clusterName": "CLUSTER_NAME",
    },
    "driverSchedulingConfig": {
      "memoryMb]": DRIVER_MEMORY,
      "vcores": DRIVER_VCORES
    },
    "sparkJob": {
      "jarFileUris": "file:///usr/lib/spark/examples/jars/spark-examples.jar",
      "args": [
        "10000"
      ],
      "mainClass": "org.apache.spark.examples.SparkPi"
    }
  }
}


כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

אתם אמורים לקבל תגובת JSON שדומה לזו:

{
  "reference": {
    "projectId": "PROJECT_ID",
    "jobId": "job-id"
  },
  "placement": {
    "clusterName": "CLUSTER_NAME",
    "clusterUuid": "cluster-Uuid"
  },
  "sparkJob": {
    "mainClass": "org.apache.spark.examples.SparkPi",
    "args": [
      "1000"
    ],
    "jarFileUris": [
      "file:///usr/lib/spark/examples/jars/spark-examples.jar"
    ]
  },
  "status": {
    "state": "PENDING",
    "stateStartTime": "start-time"
  },
  "jobUuid": "job-Uuid"
}

Python

  1. התקנה של ספריית הלקוח
  2. הגדרת Application Default Credentials
  3. מריצים את הקוד
    • משימת Spark להערכת הערך של פאי:
      
      import re
      
      from google.cloud import dataproc_v1 as dataproc
      from google.cloud import storage
      
      
      def submit_job(project_id: str, region: str, cluster_name: str) -> None:
          """Submits a Spark job to the specified Dataproc cluster with a driver node group and prints the output.
      
          Args:
              project_id: The Google Cloud project ID.
              region: The Dataproc region where the cluster is located.
              cluster_name: The name of the Dataproc cluster.
          """
          # Create the job client.
          with dataproc.JobControllerClient(
              client_options={"api_endpoint": f"{region}-dataproc.googleapis.com:443"}
          ) as job_client:
      
              driver_scheduling_config = dataproc.DriverSchedulingConfig(
                  memory_mb=2048,  # Example memory in MB
                  vcores=2,  # Example number of vcores
              )
      
              # Create the job config. 'main_jar_file_uri' can also be a
              # Google Cloud Storage URL.
              job = {
                  "placement": {"cluster_name": cluster_name},
                  "spark_job": {
                      "main_class": "org.apache.spark.examples.SparkPi",
                      "jar_file_uris": ["file:///usr/lib/spark/examples/jars/spark-examples.jar"],
                      "args": ["1000"],
                  },
                  "driver_scheduling_config": driver_scheduling_config
              }
      
              operation = job_client.submit_job_as_operation(
                  request={"project_id": project_id, "region": region, "job": job}
              )
      
              response = operation.result()
      
              # Dataproc job output gets saved to the Cloud Storage bucket
              # allocated to the job. Use a regex to obtain the bucket and blob info.
              matches = re.match("gs://(.*?)/(.*)", response.driver_output_resource_uri)
              if not matches:
                  print(f"Error: Could not parse driver output URI: {response.driver_output_resource_uri}")
                  raise ValueError
      
              output = (
                  storage.Client()
                  .get_bucket(matches.group(1))
                  .blob(f"{matches.group(2)}.000000000")
                  .download_as_bytes()
                  .decode("utf-8")
              )
      
              print(f"Job finished successfully: {output}")
      
    • משימת PySpark להדפסת "hello world":
      
      import re
      
      from google.cloud import dataproc_v1 as dataproc
      from google.cloud import storage
      
      
      def submit_job(project_id, region, cluster_name):
          """Submits a PySpark job to a Dataproc cluster with a driver node group.
      
          Args:
              project_id (str): The ID of the Google Cloud project.
              region (str): The region where the Dataproc cluster is located.
              cluster_name (str): The name of the Dataproc cluster.
          """
          # Create the job client.
          job_client = dataproc.JobControllerClient(
              client_options={"api_endpoint": f"{region}-dataproc.googleapis.com:443"}
          )
      
          driver_scheduling_config = dataproc.DriverSchedulingConfig(
              memory_mb=2048,  # Example memory in MB
              vcores=2,  # Example number of vcores
          )
      
          # Create the job config. The main Python file URI points to the script in
          # a Google Cloud Storage bucket.
          job = {
              "placement": {"cluster_name": cluster_name},
              "pyspark_job": {
                  "main_python_file_uri": "gs://dataproc-examples/pyspark/hello-world/hello-world.py"
              },
              "driver_scheduling_config": driver_scheduling_config,
          }
      
          operation = job_client.submit_job_as_operation(
              request={"project_id": project_id, "region": region, "job": job}
          )
          response = operation.result()
      
          # Dataproc job output gets saved to the Google Cloud Storage bucket
          # allocated to the job. Use a regex to obtain the bucket and blob info.
          matches = re.match("gs://(.*?)/(.*)", response.driver_output_resource_uri)
          if not matches:
              raise ValueError(
                  f"Unexpected driver output URI: {response.driver_output_resource_uri}"
              )
      
          output = (
              storage.Client()
              .get_bucket(matches.group(1))
              .blob(f"{matches.group(2)}.000000000")
              .download_as_bytes()
              .decode("utf-8")
          )
      
          print(f"Job finished successfully: {output}")
      
      

צפייה ביומני המשימות

כדי לראות את סטטוס המשימה ולפתור בעיות שקשורות למשימות, אתם יכולים לראות את יומני מנהל ההתקן באמצעות ה-CLI של gcloud או מסוף Google Cloud .

gcloud

יומני מנהלי ההתקנים של המשימות מועברים לפלט של ה-CLI של gcloud או למסוףGoogle Cloud במהלך ביצוע המשימה. יומני הדרייבר נשמרים בקטגוריית ה-Staging של אשכול Managed Service for Apache Spark ב-Cloud Storage.

מריצים את הפקודה הבאה ב-CLI של gcloud כדי להציג את המיקום של יומני מנהלי ההתקנים ב-Cloud Storage:

gcloud dataproc jobs describe JOB_ID \
    --region=REGION
   

המיקום של יומני מנהלי ההתקנים ב-Cloud Storage מופיע בתור driverOutputResourceUri בפלט הפקודה, בפורמט הבא:

driverOutputResourceUri: gs://CLUSTER_STAGING_BUCKET/google-cloud-dataproc-metainfo/CLUSTER_UUID/jobs/JOB_ID

המסוף

כדי לראות את יומני האשכולות של קבוצת הצמתים:

  1. הפעלת רישום ביומן.

  2. כדי למצוא יומנים, אפשר להשתמש בפורמט השאילתה הבא של Logs Explorer:

    resource.type="cloud_dataproc_cluster"
    resource.labels.project_id="PROJECT_ID"
    resource.labels.cluster_name="CLUSTER_NAME"
    log_name="projects/PROJECT_ID/logs/LOG_TYPE>"
    
    מחליפים את הערכים הבאים:

    • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
    • ‫CLUSTER_NAME: שם האשכול.
    • LOG_TYPE:
      • יומני משתמשים של Yarn: ‏yarn-userlogs
      • יומנים של מנהל המשאבים של Yarn: ‏hadoop-yarn-resourcemanager
      • יומני Node Manager של Yarn: ‏hadoop-yarn-nodemanager

מעקב אחרי מדדים

מנהלי התקנים של משימות בקבוצת צמתים של Managed Service for Apache Spark פועלים בתור צאצא של dataproc-driverpool-driver-queue במחיצה של dataproc-driverpool.

מדדים של קבוצת צומתי דרייבר

בטבלה הבאה מפורטים המדדים המשויכים לקבוצת צומתי הדרייבר, שנאספים כברירת מחדל לקבוצות של צומתי דרייבר.

מדד של קבוצת צומתי דרייבר תיאור
yarn:ResourceManager:DriverPoolsQueueMetrics:AvailableMB נפח הזיכרון הזמין ב-Mebibytes ב-dataproc-driverpool-driver-queue במחיצה dataproc-driverpool.
yarn:ResourceManager:DriverPoolsQueueMetrics:PendingContainers מספר הקונטיינרים בהמתנה (בתור) ב-dataproc-driverpool-driver-queue במחיצה dataproc-driverpool.

מדדים של תור משני

בטבלה הבאה מפורטים המדדים של התור הצאצא. כברירת מחדל, המדדים נאספים מקבוצות של צומתי דרייבר, ואפשר להפעיל את האיסוף שלהם בכל אשכול של Managed Service for Apache Spark.

מדד תור משני תיאור
yarn:ResourceManager:ChildQueueMetrics:AvailableMB נפח הזיכרון הזמין ב-Mebibytes בתור הזה, במחיצת ברירת המחדל.
yarn:ResourceManager:ChildQueueMetrics:PendingContainers מספר הקונטיינרים בהמתנה (בתור) בתור הזה, במחיצת ברירת המחדל.
yarn:ResourceManager:ChildQueueMetrics:running_0 מספר המשימות עם זמן ריצה בין 0 ל-60 דקות בתור הזה בכל המחיצות.
yarn:ResourceManager:ChildQueueMetrics:running_60 מספר המשימות עם זמן ריצה בין 60 ל-300 דקות בתור הזה בכל המחיצות.
yarn:ResourceManager:ChildQueueMetrics:running_300 מספר המשימות עם זמן ריצה בין 300 ל-1440 דקות בתור הזה בכל המחיצות.
yarn:ResourceManager:ChildQueueMetrics:running_1440 מספר המשימות עם זמן ריצה של יותר מ-1440 דקות בתור הזה בכל המחיצות.
yarn:ResourceManager:ChildQueueMetrics:AppsSubmitted מספר הבקשות שנשלחו לתור הזה בכל המחיצות.

כדי לראות את YARN ChildQueueMetrics ו-DriverPoolsQueueMetrics במסוףGoogle Cloud :

מנהל התקן של משימות ניפוי באגים בקבוצת צמתים

בקטע הזה מפורטים מצבים ושגיאות של קבוצת צומתי הדרייבר, עם המלצות לתיקון המצב או השגיאה.

תנאים

  • תנאי: yarn:ResourceManager:DriverPoolsQueueMetrics:AvailableMB קרוב ל-0. ההודעה הזו מציינת שנגמר הזיכרון בתור של מאגרי מנהלי ההתקנים של האשכול.

    המלצה:: הגדילו את מאגר הנהגים.

  • תנאי: yarn:ResourceManager:DriverPoolsQueueMetrics:PendingContainers גדול מ-0. זה יכול להצביע על כך שנגמר הזיכרון בתור של מאגרי מנהלי ההתקנים של האשכול, ו-YARN מוסיף משימות לתור.

    המלצה:: הגדילו את מאגר הנהגים.

שגיאות

  • שגיאה: Cluster <var>CLUSTER_NAME</var> requires driver scheduling config to run SPARK job because it contains a node pool with role DRIVER. Positive values are required for all driver scheduling config values.

    המלצה: הגדירו את driver-required-memory-mb ו-driver-required-vcores עם מספרים חיוביים.

  • שגיאה: Container exited with a non-zero exit code 137.

    המלצה: להגדיל את driver-required-memory-mb לשימוש בזיכרון של המשימה.