מעקב אחרי זרימות עבודה וניפוי באגים

בדף הזה מוסבר איך לעקוב אחרי תהליכי עבודה ב-Managed Service for Apache Spark ולנפות בהם באגים.

הצגת רשימה של תהליכי עבודה

WorkflowTemplate שנוצר ממנו מופע נקרא "workflow" (תהליך עבודה) והוא מעוצב כ-"operation" (פעולה).

מריצים את הפקודה הבאה של gcloud כדי להציג את רשימת תהליכי העבודה בפרויקט:

gcloud dataproc operations list \
    --region=region \
    --filter="operationType = WORKFLOW"
...
OPERATION_NAME                                                DONE
projects/.../operations/07282b66-2c60-4919-9154-13bd4f03a1f2  True
projects/.../operations/1c0b0fd5-839a-4ad4-9a57-bbb011956690  True

הנה בקשה לדוגמה להצגת רשימה של כל תהליכי העבודה שהתחילו מתבנית "terasort":

gcloud dataproc operations list \
    --region=region \
    --filter="labels.goog-dataproc-workflow-template-id=terasort"
...
OPERATION_NAME                                     DONE
projects/.../07282b66-2c60-4919-9154-13bd4f03a1f2  True
projects/.../1c0b0fd5-839a-4ad4-9a57-bbb011956690  True

שימו לב שרק החלק של ה-UUID של OPERATION_NAME משמש בשאילתות הבאות.

שימוש ב-WorkflowMetadata

השדה operation.metadata מספק מידע שיעזור לכם לאבחן כשלים בתהליך העבודה.

הנה דוגמה ל-WorkflowMetadata, כולל תרשים של צמתים (משימות), שמוטמע בפעולה:

{
  "name": "projects/my-project/regions/us-central1/operations/671c1d5d-9d24-4cc7-8c93-846e0f886d6e",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.dataproc.v1.WorkflowMetadata",
    "template": "terasort",
    "version": 1,
    "createCluster": {
      "operationId": "projects/my-project/regions/us-central1/operations/8d472870-4a8b-4609-9f7d-48daccb028fc",
      "Done": true
    },
    "graph": {
      "nodes": [
        {
          "stepId": "teragen",
          "jobId": "teragen-vtrprwcgepyny",
          "state": "COMPLETED"
        },
        {
          "stepId": "terasort",
          "prerequisiteStepIds": [
            "teragen"
          ],
          "jobId": "terasort-vtrprwcgepyny",
          "state": "FAILED",
          "error": "Job failed"
        },
        {
          "stepId": "teravalidate",
          "prerequisiteStepIds": [
            "terasort"
          ],
          "state": "FAILED",
          "error": "Skipped, node terasort failed"
        }
      ]
    },
    "deleteCluster": {
      "operationId": "projects/my-project/regions/us-central1/operations/9654c67b-2642-4142-a145-ca908e7c81c9",
      "Done": true
    },
    "state": "DONE",
    "clusterName": "terasort-cluster-vtrprwcgepyny"
  },
  "done": true,
  "error": {
    "message": "Workflow failed"
  }
}
Done!

אחזור תבנית

כמו שמוצג בדוגמה הקודמת, השדה metadata מכיל את המזהה והגרסה של התבנית.

"template": "terasort",
"version": 1,

אם תבנית לא נמחקת, אפשר לאחזר גרסאות של תבניות שנוצרו באמצעות בקשת describe-with-version.

gcloud dataproc workflow-templates describe terasort \
    --region=region \
    --version=1

הצגת רשימה של פעולות באשכול שהופעלו על ידי תבנית:

gcloud dataproc operations list \
    --region=region \
    --filter="labels.goog-dataproc-workflow-instance-id = 07282b66-2c60-4919-9154-13bd4f03a1f2"
...
OPERATION_NAME                                     DONE
projects/.../cf9ce692-d6c9-4671-a909-09fd62041024  True
projects/.../1bbaefd9-7fd9-460f-9adf-ee9bc448b8b7  True

הנה דוגמה לבקשה להצגת רשימה של משימות שנשלחו מתבנית:

gcloud dataproc jobs list \
    --region=region \
    --filter="labels.goog-dataproc-workflow-template-id = terasort"
...
JOB_ID                TYPE     STATUS
terasort2-ci2ejdq2ta7l6  pyspark  DONE
terasort2-ci2ejdq2ta7l6  pyspark  DONE
terasort1-ci2ejdq2ta7l6  pyspark  DONE
terasort3-3xwsy6ubbs4ak  pyspark  DONE
terasort2-3xwsy6ubbs4ak  pyspark  DONE
terasort1-3xwsy6ubbs4ak  pyspark  DONE
terasort3-ajov4nptsllti  pyspark  DONE
terasort2-ajov4nptsllti  pyspark  DONE
terasort1-ajov4nptsllti  pyspark  DONE
terasort1-b262xachbv6c4  pyspark  DONE
terasort1-cryvid3kreea2  pyspark  DONE
terasort1-ndprn46nesbv4  pyspark  DONE
terasort1-yznruxam4ppxi  pyspark  DONE
terasort1-ttjbhpqmw55t6  pyspark  DONE
terasort1-d7svwzloplbni  pyspark  DONE

הצגת רשימה של משימות שנשלחו ממופע של תהליך עבודה:

gcloud dataproc jobs list \
    --region=region \
    --filter="labels.goog-dataproc-workflow-instance-id = 07282b66-2c60-4919-9154-13bd4f03a1f2"
...
JOB_ID                TYPE     STATUS
terasort3-ci2ejdq2ta7l6  pyspark  DONE
terasort2-ci2ejdq2ta7l6  pyspark  DONE
terasort1-ci2ejdq2ta7l6  pyspark  DONE

זמן קצוב לתפוגה של תהליך עבודה

אפשר להגדיר זמן קצוב לתפוגה של תהליך העבודה, שיבטל את תהליך העבודה אם המשימות שלו לא יסתיימו בפרק הזמן שהוקצב. תקופת הזמן הקצוב לתפוגה חלה על DAG (גרף אציקלי מכוון) של משימות בתהליך העבודה (רצף המשימות בתהליך העבודה), ולא על כל פעולת תהליך העבודה. תקופת הזמן הקצוב לתפוגה מתחילה כשמשימת תהליך העבודה הראשונה מתחילה, והיא לא כוללת את הזמן שלוקח ליצור אשכול מנוהל. אם משימה כלשהי פועלת בסוף תקופת הזמן הקצוב, כל המשימות הפועלות נעצרות, תהליך העבודה מסתיים, ואם תהליך העבודה פעל באשכול מנוהל, האשכול נמחק.

יתרון: התכונה הזו מאפשרת לכם להימנע מסיום ידני של תהליך עבודה שלא הושלם בגלל משימות תקועות.

הגדרת זמן קצוב לתפוגה של תבנית תהליך עבודה

אפשר להגדיר את משך הזמן הקצוב לתפוגה של תבנית תהליך עבודה כשיוצרים תבנית תהליך עבודה. אפשר גם להוסיף זמן קצוב לתבנית קיימת של תהליך עבודה על ידי עדכון התבנית.

gcloud

כדי להגדיר זמן קצוב לתפוגה של תבנית חדשה, משתמשים בדגל --dag-timeout עם הפקודה gcloud dataproc workflow-templates create. אפשר להשתמש בסיומות "s",‏ "m",‏ "h" ו-"d" כדי להגדיר ערכי משך זמן בשניות, דקות, שעות וימים, בהתאמה. משך הזמן הקצוב צריך להיות בין 10 דקות ("10m") ל-24 שעות ("24h" או "1d").

gcloud dataproc workflow-templates create template-id (such as "my-workflow") \
    --region=region \
    --dag-timeout=duration (from "10m" to "24h" or "1d"") \
    ... other args ...

API

כדי להגדיר זמן קצוב לתפוגה של תהליך עבודה, ממלאים את השדה WorkflowTemplate dagTimeout כחלק מבקשת workflowTemplates.create.

המסוף

בשלב הזה, אי אפשר ליצור תבנית של תהליך עבודה במסוף Google Cloud .

עדכון של זמן קצוב לתפוגה של תבנית של תהליך עבודה

אפשר לעדכן תבנית קיימת של תהליך עבודה כדי לשנות, להוסיף או להסיר זמן קצוב לתפוגה של תהליך עבודה.

gcloud

הוספה או שינוי של זמן קצוב לתפוגה של תהליך עבודה

כדי להוסיף או לשנות זמן קצוב לתפוגה של תבנית קיימת, משתמשים בדגל --dag-timeout עם הפקודה gcloud dataproc workflow-templates set-dag-timeout. אפשר להשתמש בסיומות "s",‏ "m",‏ "h" ו-"d" כדי להגדיר ערכי משך זמן בשניות, דקות, שעות וימים, בהתאמה. משך הזמן של הזמן הקצוב לתפוגה צריך להיות בין 10 דקות ("10m") ל-24 שעות ("24h").

gcloud dataproc workflow-templates set-dag-timeout template-id (such as "my-workflow") \
    --region=region \
    --dag-timeout=duration (from "10m" to "24h" or "1d")

הסרת זמן קצוב לתפוגה של תהליך עבודה

כדי להסיר זמן קצוב לתפוגה של תבנית קיימת, משתמשים בפקודה gcloud dataproc workflow-templates remove-dag-timeout.

gcloud dataproc workflow-templates remove-dag-timeout template-id (such as "my-workflow") \
    --region=region

API

הוספה או שינוי של זמן קצוב לתפוגה של תהליך עבודה

כדי להוסיף או לשנות זמן קצוב לתפוגה של תבנית קיימת, מעדכנים את תבנית תהליך העבודה על ידי מילוי השדה dagTimeout של התבנית בערך החדש או בערך ששונה של הזמן הקצוב לתפוגה.

הסרת זמן קצוב לתפוגה של תהליך עבודה

כדי להסיר זמן קצוב לתפוגה של תהליך עבודה מתבנית קיימת, מעדכנים את תבנית תהליך העבודה על ידי הסרת השדה dagTimeout מהתבנית.

המסוף

בשלב הזה, אי אפשר לעדכן תבנית של תהליך עבודה במסוף Google Cloud .