הפעלת משימת Cloud Run לעיבוד נתוני אירועים שנשמרו ב-Cloud Storage

אתם יכולים להשתמש ב-Workflows כדי להריץ משימת Cloud Run כחלק מתהליך עבודה שמבצע עיבוד נתונים מורכב יותר או שמנהל מערכת של משימות קיימות.

במדריך הזה מוסבר איך להשתמש ב-Workflows כדי להריץ משימת Cloud Run לעיבוד נתוני אירועים שמאוחסנים בקטגוריה של Cloud Storage. אחסון מטען הייעודי של האירוע בדלי ב-Cloud Storage מאפשר להצפין את הנתונים באמצעות מפתחות הצפנה בניהול הלקוח. אי אפשר לעשות זאת אם מעבירים את נתוני האירוע כמשתני סביבה למשימת Cloud Run.

התרשים הבא מספק סקירה כללית:

מטרות

במדריך הזה תלמדו:

1. יצירת משימת Cloud Run לעיבוד נתוני אירועים שמאוחסנים בקטגוריה של Cloud Storage.
2. פורסים תהליך עבודה שמבצע את הפעולות הבאות:
   1. מקבל אירוע כארגומנט.
   2. הפונקציה כותבת את נתוני מטען הייעודי (payload) של האירוע לקטגוריה של Cloud Storage.
   3. משתמש במחבר Cloud Run Admin API כדי להריץ את העבודה ב-Cloud Run.
3. יוצרים נושא Pub/Sub כדי שתוכלו לפרסם בו הודעה. במדריך הזה נשתמש באירוע Pub/Sub כדוגמה לאופן ניתוב האירועים באמצעות Workflows, ונשמור את האירוע ב-Cloud Storage כדי שעבודת Cloud Run תוכל לעבד את נתוני האירוע.
4. יוצרים טריגר Eventarc שמריץ את תהליך העבודה כשנכתבת הודעה לנושא Pub/Sub.
5. מפעילים את תהליך העבודה על ידי כתיבת הודעה לנושא Pub/Sub.

עלויות

במסמך הזה משתמשים ברכיבים הבאים של Google Cloud, והשימוש בהם כרוך בתשלום:

• Artifact Registry
• Cloud Build
• Cloud Run
• Cloud Storage
• Eventarc
• Workflows

כדי להעריך את ההוצאות בהתאם לתחזית השימוש שלכם, אתם יכולים להיעזר במחשבון העלויות.

משתמשים חדשים של Google Cloud ? יכול להיות שאתם זכאים לתקופת ניסיון בחינם.

לפני שמתחילים

יכול להיות שהגבלות אבטחה שהוגדרו בארגון שלכם ימנעו מכם להשלים את השלבים הבאים. מידע לפתרון בעיות זמין במאמר פיתוח אפליקציות בסביבה מוגבלת. Google Cloud

לפני שמתחילים את המדריך הזה, צריך להפעיל ממשקי API ספציפיים וליצור חשבון שירות שמנוהל על ידי המשתמש. צריך להקצות לחשבון השירות את התפקידים וההרשאות הנדרשים כדי שתוכלו לנתב אירועים באמצעות טריגר של Eventarc ולהפעיל תהליך עבודה.

שימו לב: אם אתם משתמשים ב-Cloud Shell כדי לנסות את המדריך הזה, יכול להיות שתצטרכו להעניק תפקידים נוספים לחשבון השירות שמשמש כברירת מחדל של Compute Engine. פרטים נוספים זמינים בקטע יצירת משימת Cloud Run במאמר הזה.

המסוף

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Artifact Registry, Cloud Build, Cloud Run, Cloud Storage, Compute Engine, Eventarc, and Workflows APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator) and the Project IAM Admin role (roles/resourcemanager.projectIamAdmin). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the following roles to the service account: Cloud Run Admin, Eventarc Event Receiver, Logs Writer, Storage Object Creator, Workflows Invoker.

   To grant a role, find the Select a role list, then select the role.

   To grant additional roles, click Add another role and add each additional role.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
7. Click Continue.

8. Click Done to finish creating the service account.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Artifact Registry, Cloud Build, Cloud Run, Cloud Storage, Compute Engine, Eventarc, and Workflows APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator) and the Project IAM Admin role (roles/resourcemanager.projectIamAdmin). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the following roles to the service account: Cloud Run Admin, Eventarc Event Receiver, Logs Writer, Storage Object Creator, Workflows Invoker.

   To grant a role, find the Select a role list, then select the role.

   To grant additional roles, click Add another role and add each additional role.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
7. Click Continue.

8. Click Done to finish creating the service account.

1. אם הפעלתם את סוכן השירות של Cloud Pub/Sub ב-8 באפריל 2021 או לפני כן, כדי לתמוך בבקשות push מאומתות של Pub/Sub, צריך להקצות לסוכן השירות את התפקיד 'יצירת אסימונים בחשבון שירות' (roles/iam.serviceAccountTokenCreator). אחרת, התפקיד הזה מוענק כברירת מחדל:
   1. נכנסים לדף IAM במסוף Google Cloud .
      

      כניסה לדף IAM

   2. מסמנים את התיבה Include Google-provided role grants.
   3. בעמודה Name, מחפשים את Cloud Pub/Sub Service Account ולוחצים על Edit principal בשורה המתאימה.
   4. לוחצים על הוספת תפקיד או על הוספת תפקיד נוסף.
   5. ברשימה Select a role, מסננים לפי Service Account Token Creator ובוחרים את התפקיד.
   6. לוחצים על Save.

2. במסוף Google Cloud , מפעילים את Cloud Shell.

   הפעלת Cloud Shell

   בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

אפשר להשתמש ב-Cloud Shell כדי לבצע את השלבים בשורת הפקודה שמפורטים במדריך הזה.

gcloud

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
התקינו את ה-CLI של Google Cloud.
אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.
כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:
gcloud init
יוצרים או בוחרים Google Cloud פרויקט.
תפקידים שנדרשים כדי לבחור או ליצור פרויקט
• Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
• יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים
הערה: אם אתם לא מתכננים לשמור את המשאבים שתיצרו בתהליך הזה, תוכלו ליצור פרויקט חדש במקום לבחור באחד מהפרויקטים הקיימים. בסיום התהליך תוכלו למחוק את הפרויקט ולהסיר את כל המשאבים שמשויכים אליו.
• יוצרים Google Cloud פרויקט:

  gcloud projects create PROJECT_ID

  מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

• בוחרים את הפרויקט שיצרתם: Google Cloud

  gcloud config set project PROJECT_ID

  מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .
מוודאים שהחיוב מופעל בפרויקט Google Cloud .
מפעילים את ממשקי ה-API של Artifact Registry,‏ Cloud Build,‏ Cloud Run,‏ Cloud Storage,‏ Compute Engine,‏ Eventarc ו-Workflows:
תפקידים שנדרשים להפעלת ממשקי API
כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים
gcloud services enable artifactregistry.googleapis.com cloudbuild.googleapis.com compute.googleapis.com run.googleapis.com storage.googleapis.com eventarc.googleapis.com workflows.googleapis.com
מגדירים את האימות:
1. מוודאים שיש לכם את תפקיד ה-IAM ‏Create Service Accounts ‏(roles/iam.serviceAccountCreator) ואת תפקיד ה-IAM ‏Project Admin ‏(roles/resourcemanager.projectIamAdmin). איך מקצים תפקידים

2. יוצרים את חשבון השירות:

   gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

   מחליפים את הערך SERVICE_ACCOUNT_NAME בשם שרוצים לתת לחשבון השירות.

3. נותנים לחשבון השירות תפקידים. מריצים את הפקודה הבאה לכל אחד מהתפקידים הבאים ב-IAM:‏ roles/eventarc.eventReceiver, roles/logging.logWriter, roles/run.admin, roles/storage.objectCreator, roles/workflows.invoker :

   gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE

   מחליפים את מה שכתוב בשדות הבאים:

   • SERVICE_ACCOUNT_NAME: השם של חשבון השירות
   • PROJECT_ID: מזהה הפרויקט שבו יצרתם את חשבון השירות
   • ROLE: התפקיד שאתם רוצים לתת
   הערה: הדגל --role קובע לאילו משאבים בפרויקט לחשבון השירות תהיה גישה. אתם יכולים לבטל את התפקידים האלה או להוסיף עוד תפקידים מאוחר יותר.

התקינו את ה-CLI של Google Cloud.

אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

gcloud init

יוצרים או בוחרים Google Cloud פרויקט.

תפקידים שנדרשים כדי לבחור או ליצור פרויקט

• Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
• יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

הערה: אם אתם לא מתכננים לשמור את המשאבים שתיצרו בתהליך הזה, תוכלו ליצור פרויקט חדש במקום לבחור באחד מהפרויקטים הקיימים. בסיום התהליך תוכלו למחוק את הפרויקט ולהסיר את כל המשאבים שמשויכים אליו.

• יוצרים Google Cloud פרויקט:

  gcloud projects create PROJECT_ID

  מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

• בוחרים את הפרויקט שיצרתם: Google Cloud

  gcloud config set project PROJECT_ID

  מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

מוודאים שהחיוב מופעל בפרויקט Google Cloud .

מפעילים את ממשקי ה-API של Artifact Registry,‏ Cloud Build,‏ Cloud Run,‏ Cloud Storage,‏ Compute Engine,‏ Eventarc ו-Workflows:

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים

gcloud services enable artifactregistry.googleapis.com cloudbuild.googleapis.com compute.googleapis.com run.googleapis.com storage.googleapis.com eventarc.googleapis.com workflows.googleapis.com

מגדירים את האימות:

1. מוודאים שיש לכם את תפקיד ה-IAM ‏Create Service Accounts ‏(roles/iam.serviceAccountCreator) ואת תפקיד ה-IAM ‏Project Admin ‏(roles/resourcemanager.projectIamAdmin). איך מקצים תפקידים

2. יוצרים את חשבון השירות:

   gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

   מחליפים את הערך SERVICE_ACCOUNT_NAME בשם שרוצים לתת לחשבון השירות.

3. נותנים לחשבון השירות תפקידים. מריצים את הפקודה הבאה לכל אחד מהתפקידים הבאים ב-IAM:‏ roles/eventarc.eventReceiver, roles/logging.logWriter, roles/run.admin, roles/storage.objectCreator, roles/workflows.invoker :

   gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE

   מחליפים את מה שכתוב בשדות הבאים:

   • SERVICE_ACCOUNT_NAME: השם של חשבון השירות
   • PROJECT_ID: מזהה הפרויקט שבו יצרתם את חשבון השירות
   • ROLE: התפקיד שאתם רוצים לתת
   הערה: הדגל --role קובע לאילו משאבים בפרויקט לחשבון השירות תהיה גישה. אתם יכולים לבטל את התפקידים האלה או להוסיף עוד תפקידים מאוחר יותר.
1. אם הפעלתם את סוכן השירות של Cloud Pub/Sub ב-8 באפריל 2021 או לפני כן, כדי לתמוך בבקשות push מאומתות של Pub/Sub, צריך להקצות לסוכן השירות את התפקיד 'יצירת אסימונים בחשבון שירות' (roles/iam.serviceAccountTokenCreator). אחרת, התפקיד הזה מוענק כברירת מחדל:

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member=serviceAccount:[e-mail] \
       --role=roles/iam.serviceAccountTokenCreator

מחליפים את PROJECT_NUMBER במספר הפרויקט ב- Google Cloud. אפשר לראות את מספר הפרויקט בדף Welcome במסוף Google Cloud או על ידי הרצת הפקודה הבאה:

gcloud projects describe PROJECT_ID --format='value(projectNumber)'

יצירת משימת Cloud Run

במדריך הזה נעשה שימוש בקוד לדוגמה שזמין ב-GitHub. סקריפט הפריסה יוצר קובץ אימג' של קונטיינר כדי ליצור משימת Cloud Run בשם message-payload-job.

הסקריפט גם יוצר קטגוריה של Cloud Storage ומפיק מזהה ייחודי אוניברסלי (UUID) לשם שלה באמצעות uuidgen, כלי שבדרך כלל כבר מותקן ב-Linux, ב-macOS וב-Windows.

הג'וב של Cloud Run קורא את נתוני האירועים שמאוחסנים בקטגוריה של Cloud Storage ואז מדפיס את נתוני האירועים.

הערה: אם מופיעה ההודעה 'הקטגוריה כבר קיימת', חשוב לוודא שהבעלות על הקטגוריה וההרשאות שלה מוגדרות כמו שצריך לפני שממשיכים.

1. אם מריצים את סקריפט הפריסה ב-Cloud Shell, ולחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine אין תפקיד עריכה, צריך להעניק את התפקידים הבאים בפרויקט לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine. (אחרת, אפשר לדלג על השלב הזה ולהמשיך לשלב הבא, שבו משכפלים את מאגר האפליקציה לדוגמה).

   הערה: האילוץ iam.automaticIamGrantsForDefaultServiceAccounts במדיניות הארגון מונע מחשבונות שירות שמוגדרים כברירת מחדל לקבל את התפקיד 'עריכה' באופן אוטומטי. אם יצרתם את הארגון אחרי 3 במאי 2024, האילוץ הזה נאכף כברירת מחדל.

   1. הקצאת התפקיד 'כותב של Artifact Registry' (roles/artifactregistry.writer):

      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member=serviceAccount:[e-mail] \
          --role=roles/artifactregistry.writer

      מחליפים את PROJECT_NUMBER במספר הפרויקט ב- Google Cloud. אפשר לראות את מספר הפרויקט בדף Welcome במסוף Google Cloud או על ידי הרצת הפקודה הבאה:

      gcloud projects describe PROJECT_ID --format='value(projectNumber)'

   2. נותנים את התפקיד Storage Object User (roles/storage.objectUser):

      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member=serviceAccount:[e-mail] \
          --role=roles/storage.objectUser

   3. הקצאת התפקיד Logging Logs Writer (roles/logging.logWriter):

      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member=serviceAccount:[e-mail] \
          --role=roles/logging.logWriter

2. כדי לקבל את הקוד לדוגמה, משכפלים את מאגר האפליקציה לדוגמה למכונה המקומית:

   git clone https://github.com/GoogleCloudPlatform/workflows-demos.git

   אפשר גם להוריד את הדוגמה כקובץ ZIP.

3. עוברים לספרייה שמכילה את הקוד לדוגמה:

   cd workflows-demos/cloud-run-jobs-payload-gcs/message-payload-job

4. מריצים את סקריפט הפריסה כדי ליצור את משימת Cloud Run:

   ./deploy-job.sh

   הפלט אמור להיראות כך:

   STATUS: SUCCESS
   Creating input bucket message-payload-UNIQUE_ID
   ...
   Creating Cloud Run job [message-payload-job] in project [PROJECT_ID] region [us-central1]
   Creating job...
   Done.
   Job [message-payload-job] has successfully been created.
   

   שימו לב ל-UUID שנוצר לשם הקטגוריה של Cloud Storage. תצטרכו את המזהה הזה כשפריסת תהליך העבודה.

פריסת תהליך עבודה שמריץ את משימת Cloud Run

מגדירים ופורסים תהליך עבודה שמריץ את המשימה ב-Cloud Run שיצרתם. הגדרת תהליך עבודה מורכבת מסדרה של שלבים שמתוארים באמצעות התחביר של Workflows.

תהליך העבודה מקבל אירוע, שומר את נתוני האירוע בקטגוריה של Cloud Storage, ואז מריץ משימה של Cloud Run כדי לעבד את נתוני האירוע.

המסוף

1. במסוף Google Cloud , נכנסים לדף Workflows:

   כניסה לדף Workflows

2. לוחצים על יצירה.

3. מזינים שם לתהליך העבודה החדש, למשל message-payload-workflow.

4. בוחרים אזור מתאים, לדוגמה, us-central1.

5. בשדה Service account, בוחרים את חשבון השירות שיצרתם קודם.

   חשבון השירות משמש כזהות של תהליך העבודה. כבר הקציתם לחשבון השירות את התפקידים הבאים:

   • אדמין ב-Cloud Run: להפעלת משימות ב-Cloud Run
   • בעל הרשאת כתיבה של יומנים: כדי לכתוב רשומות ביומן
   • יצירת אובייקטים באחסון: כדי ליצור אובייקטים ב-Cloud Storage

6. לוחצים על הבא.

7. בעורך תהליכי העבודה, מזינים את ההגדרה הבאה לתהליך העבודה:

   main:
       params: [event]
       steps:
           - init:
               assign:
                   - project_id: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                   - event_bucket: message-payload-UNIQUE_ID
                   - event_file: ${event.id + ".data.json"}
                   - job_name: message-payload-job
                   - job_location: us-central1
           - log_event:
               call: sys.log
               args:
                   data: ${event}
           - write_payload_to_gcs:
               call: http.post
               args:
                   url: ${"https://storage.googleapis.com/upload/storage/v1/b/" + event_bucket + "/o"}
                   auth:
                       type: OAuth2
                   query:
                       name: ${event_file}
                   body:
                       ${event.data}
           - run_job_to_process_payload:
               call: googleapis.run.v1.namespaces.jobs.run
               args:
                   name: ${"namespaces/" + project_id + "/jobs/" + job_name}
                   location: ${job_location}
                   body:
                       overrides:
                           containerOverrides:
                               env:
                                   - name: INPUT_BUCKET
                                     value: ${event_bucket}
                                   - name: INPUT_FILE
                                     value: ${event_file}
               result: job_execution
           - finish:
               return: ${job_execution}

   מחליפים את UNIQUE_ID ב-UUID שנוצר לשם של קטגוריה של Cloud Storage ורשמתם קודם.

8. לוחצים על פריסה.

gcloud

1. יוצרים קובץ קוד מקור לתהליך העבודה:

   touch message-payload-workflow.yaml

2. מעתיקים את הגדרת תהליך העבודה הבאה אל message-payload-workflow.yaml:

   main:
       params: [event]
       steps:
           - init:
               assign:
                   - project_id: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                   - event_bucket: message-payload-UNIQUE_ID
                   - event_file: ${event.id + ".data.json"}
                   - job_name: message-payload-job
                   - job_location: us-central1
           - log_event:
               call: sys.log
               args:
                   data: ${event}
           - write_payload_to_gcs:
               call: http.post
               args:
                   url: ${"https://storage.googleapis.com/upload/storage/v1/b/" + event_bucket + "/o"}
                   auth:
                       type: OAuth2
                   query:
                       name: ${event_file}
                   body:
                       ${event.data}
           - run_job_to_process_payload:
               call: googleapis.run.v1.namespaces.jobs.run
               args:
                   name: ${"namespaces/" + project_id + "/jobs/" + job_name}
                   location: ${job_location}
                   body:
                       overrides:
                           containerOverrides:
                               env:
                                   - name: INPUT_BUCKET
                                     value: ${event_bucket}
                                   - name: INPUT_FILE
                                     value: ${event_file}
               result: job_execution
           - finish:
               return: ${job_execution}

   מחליפים את UNIQUE_ID ב-UUID שנוצר לשם של קטגוריה של Cloud Storage ורשמתם קודם.

3. מריצים את הפקודה הבאה כדי לפרוס את תהליך העבודה:

   gcloud workflows deploy message-payload-workflow \
       --location=us-central1 \
       --source=message-payload-workflow.yaml \
       --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫SERVICE_ACCOUNT_NAME: השם של חשבון השירות שיצרתם קודם
   • ‫PROJECT_ID: מזהה הפרויקט ב-Google Cloud

   חשבון השירות משמש כזהות של תהליך העבודה. כבר הקציתם לחשבון השירות את התפקידים הבאים:

   • ‫roles/logging.logWriter: כדי לכתוב רשומות ביומן
   • ‫roles/run.admin: להפעלת משימות ב-Cloud Run
   • ‫roles/storage.objectCreator: כדי ליצור אובייקטים ב-Cloud Storage

תהליך העבודה מבצע את הפעולות הבאות:

1. init step – מקבל אירוע כארגומנט ומגדיר את המשתנים הנדרשים.

2. שלב log_event – יוצר רשומה ביומן ב-Cloud Logging באמצעות הפונקציה sys.log.

3. שלב write_payload_to_gcs – שולח בקשת HTTP POST וכותב את נתוני מטען הייעודי של האירוע לקובץ בקטגוריה של Cloud Storage.

4. ‫run_job_to_process_payload step – משתמש בשיטה של Cloud Run Admin API connector,‏ googleapis.run.v1.namespaces.jobs.run, כדי להפעיל את העבודה. הקטגוריה של Cloud Storage ושם קובץ הנתונים מועברים כמשתני החלפה מתהליך העבודה למשימה.

5. שלב finish – מחזיר מידע על ביצוע המשימה כתוצאה של תהליך העבודה.

יוצרים נושא Pub/Sub

יוצרים נושא Pub/Sub כדי שתוכלו לפרסם בו הודעה. אירוע Pub/Sub משמש להדגמה של ניתוב אירוע באמצעות Workflows ושמירת האירוע ב-Cloud Storage, כדי שעבודת Cloud Run תוכל לעבד את נתוני האירוע.

המסוף

1. נכנסים לדף Topics במסוף Google Cloud .

   לדף Topics

2. לוחצים על Create topic.

3. בשדה Topic ID (מזהה הנושא), מזינים מזהה לנושא, כמו message-payload-topic.

4. משאירים את האפשרות הוספת מינוי שמוגדר כברירת מחדל.

5. לא בוחרים באפשרויות האחרות.

6. לוחצים על יצירה.

gcloud

כדי ליצור נושא עם המזהה message-payload-topic, מריצים את הפקודה gcloud pubsub topics create:

gcloud pubsub topics create message-payload-topic

יצירת טריגר Eventarc לניתוב אירועים לתהליך העבודה

כדי להפעיל אוטומטית את תהליך העבודה, ובתורו את משימת Cloud Run, צריך ליצור טריגר Eventarc שמגיב לאירועי Pub/Sub ומנתב את האירועים לתהליך העבודה. בכל פעם שנכתבת הודעה בנושא Pub/Sub, האירוע מפעיל את זרימת העבודה.

המסוף

1. במסוף Google Cloud , נכנסים לדף Workflows:

   כניסה לדף Workflows

2. לוחצים על השם של תהליך העבודה, למשל message-payload-workflow.

3. בדף פרטי תהליך העבודה, לוחצים על עריכה.

4. בדף Edit workflow (עריכת תהליך העבודה), בקטע Triggers (טריגרים), לוחצים על Add new trigger > Eventarc (הוספת טריגר חדש > Eventarc).

   החלונית Eventarc trigger תיפתח.

5. בשדה Trigger name, מזינים שם לטריגר, כמו message-payload-trigger.

6. ברשימה Event provider, בוחרים באפשרות Cloud Pub/Sub.

7. ברשימה Event (אירוע), בוחרים באפשרות google.cloud.pubsub.topic.v1.messagePublished.

8. ברשימה Select a Cloud Pub/Sub topic, בוחרים את נושא ה-Pub/Sub שיצרתם קודם.

9. בשדה Service account, בוחרים את חשבון השירות שיצרתם קודם.

   חשבון השירות משמש כזהות של הטריגר. כבר הקציתם לחשבון השירות את התפקידים הבאים:

   • ‫Eventarc Event Receiver: לקבלת אירועים
   • ‫Workflows Invoker: להפעלת תהליכי עבודה

10. לוחצים על Save trigger.

    הטריגר של Eventarc מופיע עכשיו בקטע Triggers (טריגרים) בדף Edit workflow (עריכת תהליך העבודה).

11. לוחצים על הבא.

12. לוחצים על פריסה.

gcloud

כדי ליצור טריגר Eventarc, מריצים את הפקודה הבאה:

gcloud eventarc triggers create message-payload-trigger \
    --location=us-central1 \
    --destination-workflow=message-payload-workflow \
    --destination-workflow-location=us-central1 \
    --event-filters="type=google.cloud.pubsub.topic.v1.messagePublished" \
    --transport-topic=projects/PROJECT_ID/topics/message-payload-topic \
    --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud
• ‫SERVICE_ACCOUNT_NAME: השם של חשבון השירות שיצרתם קודם.

חשבון השירות משמש כזהות של הטריגר. כבר הקציתם לחשבון השירות את התפקידים הבאים:

• ‫roles/eventarc.eventReceiver: לקבלת אירועים
• ‫roles/workflows.invoker: להפעלת תהליכי עבודה

הפעלת תהליך העבודה

בודקים את המערכת מקצה לקצה על ידי פרסום הודעה בנושא ב-Pub/Sub ויצירת אירוע. מידע נוסף זמין במאמר בנושא הפעלת תהליך עבודה באמצעות אירועים או הודעות Pub/Sub.

1. מפרסמים הודעה בנושא Pub/Sub כדי ליצור אירוע:

   gcloud pubsub topics publish message-payload-topic --message="Hello World"
   

   האירוע מנותב אל תהליך העבודה שמתעד את הודעת האירוע, שומר את נתוני האירוע בקטגוריה של Cloud Storage ומבצע את המשימה של Cloud Run כדי לעבד את הנתונים שנשמרו ב-Cloud Storage. הפעולה עשויה להימשך מספר דקות.

2. כדי לוודא שהמשימה ב-Cloud Run פעלה כמו שצריך, צופים בהרצות של המשימה:

   gcloud run jobs executions list --job=message-payload-job

   פלט חדש של ביצוע העבודה אמור להופיע.

3. כדי לוודא שהתוצאות הן כמו שציפיתם, אפשר לעיין בנתוני האירועים באובייקט של קטגוריית Cloud Storage.

   1. מאחזרים את שם הקטגוריה:

      gcloud storage ls

      הפלט אמור להיראות כך:

      gs://message-payload-UNIQUE_ID/

   2. הצגת רשימת האובייקטים בקטגוריה:

      gcloud storage ls gs://message-payload-UNIQUE_ID/** --recursive

      הפלט אמור להיראות כך:

      gs://message-payload-UNIQUE_ID/OBJECT_ID.data.json

      חשוב לשים לב לOBJECT_ID כדי להשתמש בו בשלב הבא.

   3. מורידים את האובייקט בקטגוריה כקובץ:

      gcloud storage cp gs://message-payload-UNIQUE_ID/OBJECT_ID.data.json message-event.txt

      מחליפים את OBJECT_ID במזהה שהוחזר בשלב הקודם.

   4. פותחים את הקובץ message-event.txt בכלי לעריכת טקסט. גוף האירוע שנכתב בקובץ צריך להיות דומה לזה:

      {
        "message": {
          "data": "SGVsbG8gV29ybGQ=",
          "messageId": "8254002311197919",
          "publishTime": "2023-09-20T16:54:29.312Z"
        },
        "subscription": "projects/MY_PROJECT/subscriptions/eventarc-us-central1-message-payload-trigger-sub-741"
      }
      

      שימו לב שאם מפענחים את ערך הנתונים SGVsbG8gV29ybGQ= מהפורמט Base64 שלו, מוחזר הערך Hello World.

הסרת המשאבים

אם יצרתם פרויקט חדש בשביל המדריך הזה, תמחקו את הפרויקט. אם השתמשתם בפרויקט קיים ואתם רוצים לשמור אותו בלי השינויים שנוספו במדריך הזה, תצטרכו למחוק את המשאבים שנוצרו לצורך המדריך.

מחיקת הפרויקט

הדרך הקלה ביותר לבטל את החיוב היא למחוק את הפרויקט שיצרתם בשביל המדריך הזה.

כדי למחוק את הפרויקט:

זהירות: כשמוחקים פרויקט:

• התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המשימות במדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
• מאבדים את מזהה הפרויקט בהתאמה אישית. כשיצרתם את הפרויקט, יכולתם לבחור לו מזהה פרויקט בהתאמה אישית כדי להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו.

אם אתם מתכננים להיעזר בכמה ארכיטקטורות, מדריכים או מדריכים למתחילים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

1. במסוף Google Cloud , נכנסים לדף Manage resources.

   כניסה לדף Manage resources

2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

מחיקת משאבי הדרכה

מוחקים את המשאבים שיצרתם במדריך הזה:

1. מחיקת נושא Pub/Sub

2. מחיקת טריגר Eventarc

3. מחיקת תהליך העבודה Workflows.

4. מחיקת משימת Cloud Run

5. מחיקת הקטגוריה של Cloud Storage.

המאמרים הבאים

• מידע נוסף על משימות Cloud Run
• מידע נוסף על מחברים של Workflows
• מידע נוסף על Workflows