הפעלת Workflows באמצעות הודעות Pub/Sub‏ (ה-CLI של gcloud)

במדריך למתחילים הזה נסביר איך להריץ תהליך עבודה באמצעות טריגר Eventarc שמקבל אירועים באמצעות Pub/Sub. הטריגר מפעיל את תהליך העבודה על ידי העברת אירועים שמועברים דרך Pub/Sub כארגומנטים של זמן ריצה לתהליך עבודה של יעד.

במדריך למתחילים הזה תלמדו:

  1. משתמשים ב-Workflows כדי ליצור ולפרוס תהליך עבודה שמפענח הודעות Pub/Sub ומחזיר אותן.
  2. יוצרים טריגר Eventarc שמקשר נושא Pub/Sub למקבל אירועים של Workflows.
  3. מפרסמים הודעה בנושא Pub/Sub כדי ליצור אירוע. האירוע הזה מועבר כארגומנט של זמן ריצה לתהליך העבודה של היעד.
  4. צפייה בהודעת Pub/Sub כתוצאה מהרצת תהליך העבודה.

לפני שמתחילים

כדי לוודא שיש לכם גישה לתכונה הזו, אתם יכולים לשלוח בקשה להוספת הפרויקט שלכם לגרסאות טרום-השקה פרטיות של Google Cloud Workflows.

  1. נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

  2. התקינו את ה-CLI של Google Cloud.

  3. אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

  4. כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה: 

    gcloud init

  5. יוצרים או בוחרים Google Cloud פרויקט.

    תפקידים שנדרשים כדי לבחור או ליצור פרויקט

    • Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
    • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

    • יוצרים Google Cloud פרויקט:

      gcloud projects create PROJECT_ID

      מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

    • בוחרים את הפרויקט שיצרתם: Google Cloud 

      gcloud config set project PROJECT_ID

      מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

  6. מוודאים שהחיוב מופעל בפרויקט Google Cloud .

  7. התקינו את ה-CLI של Google Cloud.

  8. אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

  9. כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה: 

    gcloud init

  10. יוצרים או בוחרים Google Cloud פרויקט.

    תפקידים שנדרשים כדי לבחור או ליצור פרויקט

    • Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
    • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

    • יוצרים Google Cloud פרויקט:

      gcloud projects create PROJECT_ID

      מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

    • בוחרים את הפרויקט שיצרתם: Google Cloud 

      gcloud config set project PROJECT_ID

      מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

  11. מוודאים שהחיוב מופעל בפרויקט Google Cloud .

  12. מעדכנים את הרכיבים של gcloud: 
    gcloud components update
  13. מפעילים את ממשקי ה-API של Compute Engine,‏ Eventarc,‏ Pub/Sub ו-Workflows. 
    gcloud services enable \
compute.googleapis.com \
eventarc.googleapis.com \
pubsub.googleapis.com \
workflows.googleapis.com \
workflowexecutions.googleapis.com
  14. מגדירים את משתני ההגדרה שמשמשים במדריך הזה: 
    export WORKFLOW_LOCATION=us-central1
export TRIGGER_LOCATION=us-central1
export PROJECT_ID=PROJECT_ID
gcloud config set project ${PROJECT_ID}
gcloud config set workflows/location ${WORKFLOW_LOCATION}
gcloud config set eventarc/location ${TRIGGER_LOCATION}

  15. אם אתם יוצרי הפרויקט, מוקצה לכם תפקיד הבעלים הבסיסי (roles/owner). כברירת מחדל, תפקיד ניהול הזהויות והרשאות הגישה (IAM) הזה כולל את ההרשאות שנדרשות לגישה מלאה לרוב המשאבים Google Cloud, ואפשר לדלג על השלב הזה.

    אם אתם לא יוצרי הפרויקט, צריך להעניק את ההרשאות הנדרשות בחשבון המשתמש המתאים בפרויקט. לדוגמה, חשבון משתמש יכול להיות חשבון Google (למשתמשי קצה) או חשבון שירות (לאפליקציות ולעומסי עבודה ממוחשבים). מידע נוסף זמין בדף תפקידים והרשאות של יעד האירוע.

    ההרשאות הנדרשות

    כדי לקבל את ההרשאות שדרושות לביצוע ההפעלה המהירה הזו, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

    להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

    יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

  16. חשוב לשים לב לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, כי תצטרכו לצרף אותו לטריגר של Eventarc כדי לייצג את הזהות של הטריגר למטרות בדיקה. חשבון השירות הזה נוצר באופן אוטומטי אחרי שמפעילים או משתמשים בשירות Google Cloud שמשתמש ב-Compute Engine, והוא בפורמט האימייל הבא:

    PROJECT_NUMBER-compute@developer.gserviceaccount.com

    מחליפים את PROJECT_NUMBER במספר הפרויקט ב- Google Cloud. אפשר לראות את מספר הפרויקט בדף Welcome במסוף Google Cloud או על ידי הרצת הפקודה הבאה:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    בסביבות ייצור, מומלץ מאוד ליצור חשבון שירות חדש ולהקצות לו תפקיד IAM אחד או יותר שמכילים את ההרשאות המינימליות הנדרשות, ולפעול לפי העיקרון של הרשאות מינימליות.

  17. מעניקים את התפקיד 'הפעלת Workflows' (roles/workflows.invoker) בפרויקט לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, כדי שלחשבון תהיה הרשאה להפעיל את זרימת העבודה. 
    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/workflows.invoker
  18. אם הפעלתם את סוכן השירות של Cloud Pub/Sub ב-8 באפריל 2021 או לפני כן, כדי לתמוך בבקשות push מאומתות של Pub/Sub, צריך להקצות לסוכן השירות את התפקיד 'יצירת אסימונים בחשבון שירות' (roles/iam.serviceAccountTokenCreator). אחרת, התפקיד הזה מוענק כברירת מחדל: 
    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
    --role=roles/iam.serviceAccountTokenCreator

יצירה ופריסה של תהליך עבודה

יוצרים ומפעילים תהליך עבודה שמופעל כשמתפרסמת הודעה בנושא Pub/Sub, ומפעיל תהליך עבודה עם בקשת HTTP.

  1. פותחים טרמינל או Cloud Shell.
  2. בספריית הבית, יוצרים קובץ חדש בשם myFirstWorkflow.yaml או myFirstWorkflow.json.
  3. מעתיקים את הקוד הבא ומדביקים אותו בקובץ החדש, ואז שומרים את הקובץ:

    YAML

    main:
  params: [event]
  steps:
    - decode_pubsub_message:
        assign:
           - base64: ${base64.decode(event.data.message.data)}
           - message: ${text.decode(base64)}
    - return_pubsub_message:
        return: ${message}

    JSON

    {
  "main": {
    "params": [
      "event"
    ],
    "steps": [
      {
        "decode_pubsub_message": {
          "assign": [
            {
              "base64": "${base64.decode(event.data.message.data)}"
            },
            {
              "message": "${text.decode(base64)}"
            }
          ]
        }
      },
      {
        "return_pubsub_message": {
          "return": "${message}"
        }
      }
    ]
  }
}
  4. פריסת תהליך העבודה:
    ‫
    export MY_WORKFLOW=myFirstWorkflow
gcloud workflows deploy ${MY_WORKFLOW} --source=myFirstWorkflow.yaml
     מחליפים את .yaml ב-.json אם העתקתם את גרסת ה-JSON של תהליך העבודה לדוגמה.

יצירת טריגר Eventarc

כשמפרסמים הודעה בנושא Pub/Sub, האירוע מפעיל את תהליך העבודה.

  1. יוצרים טריגר להאזנה להודעות Pub/Sub:

    נושא חדש ב-Pub/Sub

    gcloud eventarc triggers create events-pubsub-trigger \
    --destination-workflow=${MY_WORKFLOW} \
    --destination-workflow-location=${WORKFLOW_LOCATION} \
    --event-filters="type=google.cloud.pubsub.topic.v1.messagePublished" \
    --service-account="PROJECT_NUMBER-compute@developer.gserviceaccount.com"

    כך נוצר נושא Pub/Sub חדש וטריגר בשם events-pubsub-trigger.

    נושא Pub/Sub קיים

    gcloud eventarc triggers create events-pubsub-trigger \
    --destination-workflow=${MY_WORKFLOW} \
    --destination-workflow-location=${WORKFLOW_LOCATION} \
    --event-filters="type=google.cloud.pubsub.topic.v1.messagePublished" \
    --service-account="PROJECT_NUMBER-compute@developer.gserviceaccount.com" \
    --transport-topic=TOPIC_ID

    מחליפים את TOPIC_ID במזהה של נושא Pub/Sub קיים.

    כך נוצר טריגר בשם events-pubsub-trigger לנושא Pub/Sub קיים.

    שימו לב: כשיוצרים טריגר Eventarc בפעם הראשונה בפרויקט Google Cloud , יכול להיות שיהיה עיכוב בהקצאת סוכן השירות של Eventarc. בדרך כלל אפשר לפתור את הבעיה הזו על ידי ניסיון ליצור את הטריגר מחדש. מידע נוסף זמין במאמר בנושא שגיאות שקשורות לסירוב הרשאה.

  2. מוודאים שהטריגר נוצר בהצלחה: 
    gcloud eventarc triggers describe events-pubsub-trigger --location=${TRIGGER_LOCATION}

    הפלט אמור להיראות כך, עם ציון שעת היצירה ומיקום הטריגר:

    createTime: '2021-10-14T15:15:43.872360951Z'
[...]
name: projects/PROJECT_ID/locations/us-central1/triggers/events-pubsub-trigger

יצירה והצגה של אירוע

מפרסמים הודעה בנושא ב-Pub/Sub כדי ליצור אירוע ולהפעיל את תהליך העבודה. האירוע שנוצר מועבר כארגומנט של זמן ריצה לתהליך העבודה, שמחזיר את ההודעה ב-Pub/Sub כתוצאה מההרצה של תהליך העבודה. חשוב לוודא שגודל האירועים שמועברים לתהליך העבודה לא חורג מ-512 KB.

  1. אם יצרתם טריגר לנושא חדש ב-Pub/Sub, צריך למצוא ולהגדיר את נושא ה-Pub/Sub שנוצר כמשתנה סביבתי:

    export TOPIC_ID=$(basename $(gcloud eventarc triggers describe events-pubsub-trigger --format='value(transport.pubsub.topic)'))

  2. כדי להפעיל את תהליך העבודה, שולחים הודעה לנושא Pub/Sub:

    gcloud pubsub topics publish $TOPIC_ID --message "Hello there"

    האירוע שנוצר מועבר כארגומנט של זמן ריצה לתהליך העבודה, שמחזיר את ההודעה 'Hello there'.

  3. כדי לוודא שהפעלת תהליך העבודה הופעלה, מציגים את חמש ההפעלות האחרונות:

    gcloud workflows executions list ${MY_WORKFLOW} --limit=5

    הפלט אמור להיראות כך, עם רשימה של NAME ו-STATE ששווים ל-SUCCEEDED לכל הפעלה של זרימת עבודה:

    NAME: projects/606789101455/locations/us-central1/workflows/myFirstWorkflow/executions/8c02b8f1-8836-4a6d-99d9-fc321eb9668f
STATE: SUCCEEDED
START_TIME: 2021-09-13T19:15:10.275677049Z
END_TIME: 2021-09-13T19:15:10.963136883Z
NAME: projects/606789101455/locations/us-central1/workflows/myFirstWorkflow/executions/a6319d9d-36a6-4117-904e-3d1118bdc90a
STATE: SUCCEEDED
START_TIME: 2021-09-13T17:28:51.492864252Z
END_TIME: 2021-09-13T17:28:52.227212414Z

    שימו לב שבשדה NAME בדוגמה שלמעלה, a6319d9d-36a6-4117-904e-3d1118bdc90a הוא המזהה של הרצת תהליך העבודה. מעתיקים את מזהה ההפעלה כדי להשתמש בו בשלב הבא.

  4. כדי לראות את סטטוס ההפעלה, מריצים את הפקודה הבאה:

    gcloud workflows executions describe WORKFLOW_EXECUTION_ID --workflow=${MY_WORKFLOW}

    מחליפים את WORKFLOW_EXECUTION_ID במזהה של הפעלת תהליך העבודה שמתאים לזמן הפרסום של נושא Pub/Sub. הפלט אמור להיראות כך:

    argument: [...]
endTime: '2021-09-13T17:28:47.301012152Z'
name: projects/1234567/locations/us-central1/workflows/myFirstWorkflow/executions/f72bc6d4-5ea0-4dfb-bb14-2dae82303120
result: 'Hello there'
startTime: '2021-09-13T17:28:51.492864252Z'
state: SUCCEEDED

  5. מוודאים שערך publish_time שבו פורסמה ההודעה ב-Pub/Sub וערך startTime של הביצוע של תהליך העבודה תואמים.

מזל טוב, יצרתם אירוע בהצלחה באמצעות נושא Pub/Sub שהפעיל מקלט אירועים של Workflows באמצעות Eventarc.

הסרת המשאבים

  1. מחיקת תהליך העבודה שיצרתם: 
    gcloud workflows delete ${MY_WORKFLOW}
     כשמוצגת השאלה אם אתם רוצים להמשיך, מזינים y.
  2. מחיקת הטריגר שיצרתם: 
    gcloud eventarc triggers delete events-pubsub-trigger
  3. אפשר גם למחוק את הפרויקט Google Cloud כדי להימנע מחיובים. אם מוחקים את הפרויקט ב- Google Cloud , החיוב על כל המשאבים שנעשה בהם שימוש באותו פרויקט יופסק.

    כדי למחוק Google Cloud פרויקט:

    gcloud projects delete PROJECT_ID

המאמרים הבאים