הפעלת Workflows באמצעות אירועים ישירים מ-Cloud Storage‏ (ה-CLI של gcloud)

במדריך למתחילים הזה נסביר איך להריץ תהליך עבודה באמצעות טריגר Eventarc שמקבל אירועים מ-Cloud Storage.

הטריגר מפעיל את זרימת העבודה על ידי האזנה לאירוע יצירת אובייקט בקטגוריה של Cloud Storage, ומעביר את האירוע כארגומנט של זמן ריצה לזרימת עבודה של יעד.

במדריך למתחילים הזה:

  1. יצירת קטגוריה של Cloud Storage כמקור אירועים.

  2. שימוש ב-Workflows כדי ליצור ולפרוס תהליך עבודה שמחלץ ומחזיר את השם של קטגוריית האחסון ואת השם של קובץ שהועלה.

  3. יוצרים טריגר Eventarc שמקשר את הקטגוריה של Cloud Storage למקבל האירועים של Workflows.

  4. יוצרים אירוע על ידי העלאת קובץ טקסט לקטגוריה ב-Cloud Storage. האירוע הזה מועבר כארגומנט של זמן ריצה אל זרימת העבודה של היעד.

  5. אפשר לראות את שם הקטגוריה ואת שם קובץ הטקסט כתוצאה מהרצת תהליך העבודה.


לחצו על תראו לי איך כדי לקרוא הסבר מפורט על המשימה ישירות במסוף Google Cloud :

תראו לי איך


לפני שמתחילים

יכול להיות שהגבלות אבטחה שהוגדרו בארגון שלכם ימנעו מכם להשלים את השלבים הבאים. מידע לפתרון בעיות זמין במאמר פיתוח אפליקציות בסביבה מוגבלת. Google Cloud

  1. נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
  2. התקינו את ה-CLI של Google Cloud.

  3. אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

  4. כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

    gcloud init
  5. יוצרים או בוחרים Google Cloud פרויקט.

    תפקידים שנדרשים כדי לבחור או ליצור פרויקט

    • Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
    • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים
    • יוצרים Google Cloud פרויקט:

      gcloud projects create PROJECT_ID

      מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

    • בוחרים את הפרויקט שיצרתם: Google Cloud

      gcloud config set project PROJECT_ID

      מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

  6. מוודאים שהחיוב מופעל בפרויקט Google Cloud .

  7. התקינו את ה-CLI של Google Cloud.

  8. אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

  9. כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

    gcloud init
  10. יוצרים או בוחרים Google Cloud פרויקט.

    תפקידים שנדרשים כדי לבחור או ליצור פרויקט

    • Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
    • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים
    • יוצרים Google Cloud פרויקט:

      gcloud projects create PROJECT_ID

      מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

    • בוחרים את הפרויקט שיצרתם: Google Cloud

      gcloud config set project PROJECT_ID

      מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

  11. מוודאים שהחיוב מופעל בפרויקט Google Cloud .

  12. מפעילים את ממשקי ה-API של Compute Engine,‏ Eventarc,‏ Pub/Sub ו-Workflows.

    gcloud services enable \
    compute.googleapis.com \
    eventarc.googleapis.com \
    pubsub.googleapis.com \
    workflows.googleapis.com \
    workflowexecutions.googleapis.com

  13. עדכון רכיבים של gcloud:
    gcloud components update
  14. נכנסים באמצעות החשבון:
    gcloud auth login

הגדרת משתני הסביבה

מגדירים את משתני הסביבה שמשמשים במדריך למתחילים הזה.

export PROJECT_ID=PROJECT_ID
export WORKFLOW_LOCATION=us-central1
export TRIGGER_LOCATION=us-central1
gcloud config set project ${PROJECT_ID}
gcloud config set workflows/location ${WORKFLOW_LOCATION}
gcloud config set eventarc/location ${TRIGGER_LOCATION}

מזהה הפרויקט מופיע בדף Welcome במסוף Google Cloud .

הגדרת חשבונות השירות

נותנים את ההרשאות הנדרשות לחשבונות השירות שבהם משתמשים במדריך הזה.

  1. אם אתם יוצרי הפרויקט, מוקצה לכם תפקיד הבעלים הבסיסי (roles/owner). כברירת מחדל, תפקיד ניהול הזהויות והרשאות הגישה (IAM) הזה כולל את ההרשאות שנדרשות לגישה מלאה לרוב המשאבים Google Cloud, ואפשר לדלג על השלב הזה.

    אם אתם לא יוצרי הפרויקט, צריך להעניק את ההרשאות הנדרשות בחשבון המשתמש המתאים בפרויקט. לדוגמה, חשבון משתמש יכול להיות חשבון Google (למשתמשי קצה) או חשבון שירות (לאפליקציות ולעומסי עבודה ממוחשבים). מידע נוסף זמין בדף תפקידים והרשאות של יעד האירוע.

    ההרשאות הנדרשות

    כדי לקבל את ההרשאות שדרושות לביצוע ההפעלה המהירה הזו, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

    להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

    יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

  2. חשוב לשים לב לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, כי תצטרכו לצרף אותו לטריגר של Eventarc כדי לייצג את הזהות של הטריגר למטרות בדיקה. חשבון השירות הזה נוצר באופן אוטומטי אחרי שמפעילים או משתמשים בשירות Google Cloud שמשתמש ב-Compute Engine, והוא בפורמט האימייל הבא:

    PROJECT_NUMBER-compute@developer.gserviceaccount.com

    מחליפים את PROJECT_NUMBER במספר הפרויקט ב- Google Cloud. אפשר לראות את מספר הפרויקט בדף Welcome במסוף Google Cloud או על ידי הרצת הפקודה הבאה:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    בסביבות ייצור, מומלץ מאוד ליצור חשבון שירות חדש ולהקצות לו תפקיד IAM אחד או יותר שמכילים את ההרשאות המינימליות הנדרשות, ולפעול לפי העיקרון של הרשאות מינימליות.

  3. מקצים את התפקיד 'מקבל אירועים ב-Eventarc' (roles/eventarc.eventReceiver) בפרויקט לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, כדי שהטריגר של Eventarc יוכל לקבל אירועים מספקי אירועים.
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
        --role=roles/eventarc.eventReceiver
  4. מעניקים את התפקיד 'הפעלת Workflows' (roles/workflows.invoker) בפרויקט לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, כדי שלחשבון תהיה הרשאה להפעיל את זרימת העבודה.
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
        --role=roles/workflows.invoker
  5. מעניקים את התפקיד 'כותב יומנים' (roles/logging.logWriter) בפרויקט לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, כדי שתהליך העבודה יוכל לשלוח יומנים ל-Cloud Logging.
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
        --role=roles/logging.logWriter
  6. לפני שיוצרים טריגר לאירועים ישירים מ-Cloud Storage, צריך להעניק לסוכן השירות של Cloud Storage את התפקיד Pub/Sub Publisher (roles/pubsub.publisher):

    SERVICE_ACCOUNT="$(gcloud storage service-agent --project=PROJECT_ID)"
    
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member="serviceAccount:${SERVICE_ACCOUNT}" \
        --role='roles/pubsub.publisher'
  7. אם הפעלתם את סוכן השירות של Cloud Pub/Sub ב-8 באפריל 2021 או לפני כן, כדי לתמוך בבקשות push מאומתות של Pub/Sub, צריך להקצות לסוכן השירות את התפקיד 'יצירת אסימונים בחשבון שירות' (roles/iam.serviceAccountTokenCreator). אחרת, התפקיד הזה מוענק כברירת מחדל:
    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
        --role=roles/iam.serviceAccountTokenCreator

יצירת קטגוריה של Cloud Storage

יוצרים קטגוריה של Cloud Storage לשימוש כמקור האירועים:

  gcloud storage buckets create gs://${PROJECT_ID}-bucket --location=us-central1

יצירה ופריסה של תהליך עבודה

יצירה ופריסה של תהליך עבודה שמופעל כשנוצר אובייקט בקטגוריה של Cloud Storage ומפעיל תהליך עבודה עם בקשת HTTP.

  1. בספריית הבית, יוצרים קובץ חדש בשם myEventWorkflow.yaml או myEventWorkflow.json.

  2. מעתיקים את הקוד הבא ומדביקים אותו בקובץ החדש, ואז שומרים את הקובץ:

    YAML

      main:
        params: [event]
        steps:
            - log_event:
                call: sys.log
                args:
                    text: ${event}
                    severity: INFO
            - extract_bucket_object:
                assign:
                - bucket: ${event.data.bucket}
                - object: ${event.data.name}
            - return_bucket_object:
                    return:
                        bucket: ${bucket}
                        object: ${object}
      

    JSON

    {
    "main": {
    "params": [
      "event"
    ],
    "steps": [
      {
        "log_event": {
          "call": "sys.log",
          "args": {
            "text": "${event}",
            "severity": "INFO"
          }
        }
      },
      {
        "extract_bucket_object": {
          "assign": [
            {
              "bucket": "${event.data.bucket}"
            },
            {
              "object": "${event.data.name}"
            }
          ]
        }
      },
      {
        "return_bucket_object": {
          "return": {
            "bucket": "${bucket}",
            "object": "${object}"
          }
        }
      }
    ]
    }
    }
  3. פריסת תהליך העבודה:

    export MY_WORKFLOW=myEventWorkflow
    gcloud workflows deploy ${MY_WORKFLOW} --source=myEventWorkflow.yaml
    

    מחליפים את .yaml ב-.json אם העתקתם את גרסת ה-JSON של תהליך העבודה לדוגמה.

יצירת טריגר Eventarc

הטריגר של Eventarc שולח אירועים מהקטגוריה של Cloud Storage ליעד של Workflows.

  1. יוצרים טריגר שמסנן אירועים של Cloud Storage:

    gcloud eventarc triggers create storage-events-trigger \
        --destination-workflow=${MY_WORKFLOW} \
        --event-filters="type=google.cloud.storage.object.v1.finalized" \
        --event-filters="bucket=${PROJECT_ID}-bucket" \
        --service-account="PROJECT_NUMBER-compute@developer.gserviceaccount.com"
    

    הפעולה הזו יוצרת טריגר בשם storage-events-trigger.

    שימו לב: כשיוצרים טריגר Eventarc בפעם הראשונה בפרויקט Google Cloud , יכול להיות שיהיה עיכוב בהקצאת סוכן השירות של Eventarc. בדרך כלל אפשר לפתור את הבעיה הזו על ידי ניסיון ליצור את הטריגר מחדש. מידע נוסף זמין במאמר בנושא שגיאות שקשורות לסירוב הרשאה.

  2. כדי לוודא ש-storage-events-trigger נוצר בהצלחה, מריצים את הפקודה:

    gcloud eventarc triggers describe storage-events-trigger --location=${TRIGGER_LOCATION}
    

    הפלט אמור להיראות כך, עם ציון שעת היצירה ומיקום הטריגר:

    createTime: '2021-10-14T15:15:43.872360951Z'
    [...]
    name: projects/PROJECT_ID/locations/us-central1/triggers/storage-events-trigger
    

יצירה והצגה של אירוע

  1. כדי ליצור אירוע, מעלים קובץ טקסט ל-Cloud Storage:

    echo "Hello World" > random.txt
    gcloud storage cp random.txt gs://${PROJECT_ID}-bucket/random.txt
    

    ההעלאה יוצרת אירוע שמועבר כארגומנט בזמן ריצה לתהליך העבודה, שמחזיר את השמות של קטגוריית האחסון והקובץ שהועלה.

  2. כדי לוודא שהפעלת תהליך העבודה הופעלה, מציגים את חמש ההפעלות האחרונות:

    gcloud workflows executions list ${MY_WORKFLOW} --limit=5
    

    הפלט אמור להיראות כך, עם רשימה של NAME ו-STATE ששווים ל-SUCCEEDED לכל הרצת תהליך עבודה:

    NAME: projects/606789101455/locations/us-central1/workflows/myFirstWorkflow/executions/8c02b8f1-8836-4a6d-99d9-fc321eb9668f
    STATE: SUCCEEDED
    START_TIME: 2021-10-13T03:38:03.019148617Z
    END_TIME: 2021-10-13T03:38:03.249705805Z
    NAME: projects/606789101455/locations/us-central1/workflows/myFirstWorkflow/executions/a6319d9d-36a6-4117-904e-3d1118bdc90a
    STATE: SUCCEEDED
    START_TIME: 2021-10-13T17:28:51.492864252Z
    END_TIME: 2021-10-13T17:28:52.227212414Z
    

    שימו לב שבשדה NAME בדוגמה שלמעלה, a6319d9d-36a6-4117-904e-3d1118bdc90a הוא המזהה של הרצת תהליך העבודה. מעתיקים את מזהה ההפעלה כי תצטרכו אותו בשלב הבא.

  3. כדי לראות את סטטוס ההפעלה, מריצים את הפקודה הבאה:

    gcloud workflows executions describe WORKFLOW_EXECUTION_ID --workflow=${MY_WORKFLOW}
    

    מחליפים את WORKFLOW_EXECUTION_ID במזהה של הפעלת תהליך העבודה שמתאים לזמן שבו הקובץ הועלה לקטגוריה.

    הפלט אמור להיראות כך:

    argument: [...]
    name: projects/218898424763/locations/us-central1/workflows/myEventWorkflow/executions/86d2567b-0f1e-49b3-8b10-cdac5d0f6239
    result: '{"bucket":"PROJECT_ID-bucket","object":"random.txt"}'
    startTime: '2021-10-13T03:38:03.019148617Z'
    state: SUCCEEDED
    
  4. מוודאים שהשעה,"timeCreated": "2021-10-13T03:38" שבה עודכנה קטגוריית Cloud Storage, והשעה startTime של הפעלת תהליך העבודה תואמות זו לזו.

מזל טוב, יצרתם בהצלחה אירוע Cloud Storage שהפעיל מקלט אירועים של Workflows באמצעות Eventarc.

הסרת המשאבים

כדי לא לצבור חיובים בחשבון על המשאבים שבהם השתמשתם בדף הזה, אתם צריכים למחוק את הפרויקט יחד עם המשאבים. Google Cloud Google Cloud

  1. מחיקת תהליך העבודה שיצרתם:

    gcloud workflows delete ${MY_WORKFLOW}
    

    כשמוצגת השאלה אם אתם רוצים להמשיך, מקישים על y.

  2. מחיקת קטגוריית האחסון:

    gcloud storage rm gs://${PROJECT_ID}-bucket/ --recursive
    
  3. מוחקים את הטריגר שנוצר במדריך הזה:

    gcloud eventarc triggers delete storage-events-trigger
    
  4. אפשר גם למחוק את הפרויקט Google Cloud כדי להימנע מחיובים. אם מוחקים את הפרויקט ב- Google Cloud , החיוב על כל המשאבים שנעשה בהם שימוש באותו פרויקט יופסק.

    כדי למחוק Google Cloud פרויקט:

    gcloud projects delete PROJECT_ID

המאמרים הבאים