הפעלת Workflows באמצעות יומני ביקורת של Cloud ‏ (ה-CLI של gcloud)

במדריך למתחילים הזה נסביר איך להפעיל תהליך עבודה באמצעות טריגר Eventarc שמקבל אירועים מיומני ביקורת ב-Cloud מ-BigQuery. ב-BigQuery מתארחים מערכי נתונים ציבוריים שאפשר לגשת אליהם ולשלב אותם באפליקציות שלכם. הטריגר מפעיל את זרימת העבודה על ידי האזנה למשימת BigQuery שמריצה שאילתה על מערך נתונים ציבורי. לאחר מכן, הוא מעביר את האירועים כארגומנטים של זמן ריצה אל זרימת העבודה של היעד.

אפשר להשלים את המדריך למתחילים הזה באמצעות Google Cloud CLI.

  1. אפשר להשתמש בתכונה 'תהליכי עבודה' כדי ליצור ולפרוס תהליך עבודה שמחלץ נתונים מאירוע ומחזיר אותם.
  2. יצירת טריגר Eventarc שמקשר בין משימת BigQuery לבין מקלט אירועים של Workflows.
  3. מפיקים אירוע על ידי הרצת משימת BigQuery באמצעות כלי שורת הפקודה של BigQuery. האירוע הזה מועבר כארגומנט של זמן ריצה לתהליך העבודה של היעד.
  4. צפייה בנתוני האירועים בפלט של הפעלת תהליך העבודה.

לפני שמתחילים

יכול להיות שהגבלות אבטחה שהוגדרו בארגון שלכם ימנעו מכם להשלים את השלבים הבאים. מידע לפתרון בעיות זמין במאמר פיתוח אפליקציות בסביבה מוגבלת. Google Cloud

  1. נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

  2. התקינו את ה-CLI של Google Cloud.

  3. אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

  4. כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה: 

    gcloud init

  5. יוצרים או בוחרים Google Cloud פרויקט.

    תפקידים שנדרשים כדי לבחור או ליצור פרויקט

    • Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
    • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

    • יוצרים Google Cloud פרויקט:

      gcloud projects create PROJECT_ID

      מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

    • בוחרים את הפרויקט שיצרתם: Google Cloud 

      gcloud config set project PROJECT_ID

      מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

  6. מוודאים שהחיוב מופעל בפרויקט Google Cloud .

  7. התקינו את ה-CLI של Google Cloud.

  8. אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

  9. כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה: 

    gcloud init

  10. יוצרים או בוחרים Google Cloud פרויקט.

    תפקידים שנדרשים כדי לבחור או ליצור פרויקט

    • Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
    • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

    • יוצרים Google Cloud פרויקט:

      gcloud projects create PROJECT_ID

      מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

    • בוחרים את הפרויקט שיצרתם: Google Cloud 

      gcloud config set project PROJECT_ID

      מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

  11. מוודאים שהחיוב מופעל בפרויקט Google Cloud .

  12. עדכון רכיבים של gcloud: 
    gcloud components update

  13. נכנסים באמצעות החשבון: 
    gcloud auth login

  14. מפעילים את ממשקי ה-API של Compute Engine,‏ Eventarc,‏ Pub/Sub ו-Workflows.

    gcloud services enable \
compute.googleapis.com \
eventarc.googleapis.com \
pubsub.googleapis.com \
workflows.googleapis.com \
workflowexecutions.googleapis.com
  15. מגדירים את משתני ההגדרה שמשמשים במדריך הזה: 
    export WORKFLOW_LOCATION=us-central1
export TRIGGER_LOCATION=us-central1
export PROJECT_ID=PROJECT_ID
gcloud config set project ${PROJECT_ID}
gcloud config set workflows/location ${WORKFLOW_LOCATION}
gcloud config set eventarc/location ${TRIGGER_LOCATION}

  16. אם אתם יוצרי הפרויקט, מוקצה לכם תפקיד הבעלים הבסיסי (roles/owner). כברירת מחדל, תפקיד ניהול הזהויות והרשאות הגישה (IAM) הזה כולל את ההרשאות שנדרשות לגישה מלאה לרוב המשאבים Google Cloud, ואפשר לדלג על השלב הזה.

    אם אתם לא יוצרי הפרויקט, צריך להעניק את ההרשאות הנדרשות בחשבון המשתמש המתאים בפרויקט. לדוגמה, חשבון משתמש יכול להיות חשבון Google (למשתמשי קצה) או חשבון שירות (לאפליקציות ולעומסי עבודה ממוחשבים). מידע נוסף זמין בדף תפקידים והרשאות של יעד האירוע.

    ההרשאות הנדרשות

    כדי לקבל את ההרשאות שדרושות לביצוע ההפעלה המהירה הזו, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

    להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

    יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

  17. חשוב לשים לב לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, כי תצטרכו לצרף אותו לטריגר של Eventarc כדי לייצג את הזהות של הטריגר למטרות בדיקה. חשבון השירות הזה נוצר באופן אוטומטי אחרי שמפעילים או משתמשים בשירות Google Cloud שמשתמש ב-Compute Engine, והוא בפורמט האימייל הבא:

    PROJECT_NUMBER-compute@developer.gserviceaccount.com

    מחליפים את PROJECT_NUMBER במספר הפרויקט ב- Google Cloud. אפשר לראות את מספר הפרויקט בדף Welcome במסוף Google Cloud או על ידי הרצת הפקודה הבאה:

    gcloud projects describe PROJECT_ID --format='value(projectNumber)'

    בסביבות ייצור, מומלץ מאוד ליצור חשבון שירות חדש ולהקצות לו תפקיד IAM אחד או יותר שמכילים את ההרשאות המינימליות הנדרשות, ולפעול לפי העיקרון של הרשאות מינימליות.

  18. מקצים את התפקיד 'מקבל אירועים ב-Eventarc' (roles/eventarc.eventReceiver) בפרויקט לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, כדי שהטריגר של Eventarc יוכל לקבל אירועים מספקי אירועים. 
    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/eventarc.eventReceiver
  19. מעניקים את התפקיד 'הפעלת Workflows' (roles/workflows.invoker) בפרויקט לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, כדי שלחשבון תהיה הרשאה להפעיל את זרימת העבודה. 
    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/workflows.invoker
  20. מעניקים את התפקיד 'כותב יומנים' (roles/logging.logWriter) בפרויקט לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, כדי שתהליך העבודה יוכל לשלוח יומנים ל-Cloud Logging. 
    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/logging.logWriter
  21. אם הפעלתם את סוכן השירות של Cloud Pub/Sub ב-8 באפריל 2021 או לפני כן, כדי לתמוך בבקשות push מאומתות של Pub/Sub, צריך להקצות לסוכן השירות את התפקיד 'יצירת אסימונים בחשבון שירות' (roles/iam.serviceAccountTokenCreator). אחרת, התפקיד הזה מוענק כברירת מחדל: 
    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
    --role=roles/iam.serviceAccountTokenCreator

יצירה ופריסה של תהליך עבודה

יצירה ופריסה של תהליך עבודה שמופעל כשמשימה ב-BigQuery מסתיימת ושולחת בקשת HTTP לתהליך העבודה.

  1. פותחים טרמינל או Cloud Shell.
  2. בספריית הבית, יוצרים קובץ חדש בשם myFirstWorkflow.yaml או myFirstWorkflow.json.
  3. מעתיקים את הקוד הבא ומדביקים אותו בקובץ החדש, ואז שומרים את הקובץ:

    YAML

    main:
  params: [event]
  steps:
      - log_event:
          call: sys.log
          args:
              text: ${event}
              severity: INFO
      - extract_data:
          assign:
          - data: ${event.data.protoPayload}
      - return_data:
              return:
                  data: ${data}

    JSON

    {
  "main": {
    "params": [
      "event"
    ],
    "steps": [
      {
        "log_event": {
          "call": "sys.log",
          "args": {
            "text": "${event}",
            "severity": "INFO"
          }
        }
      },
      {
        "extract_data": {
          "assign": [
            {
              "data": "${event.data.protoPayload}"
            }
          ]
        }
      },
      {
        "return_data": {
          "return": {
            "data": "${data}"
          }
        }
      }
    ]
  }
}
  4. פריסת תהליך העבודה: 
    export MY_WORKFLOW=myFirstWorkflow
gcloud workflows deploy ${MY_WORKFLOW} --source=myFirstWorkflow.yaml

    מחליפים את .yaml ב-.json אם העתקתם את גרסת ה-JSON של תהליך העבודה לדוגמה.

יצירת טריגר Eventarc

כדי ליצור טריגר Eventarc שמנתב אירועים מ-BigQuery ליעד Workflows, מריצים את הפקודה gcloud eventarc triggers create.

  1. יוצרים טריגר שמסנן אירועים ב-BigQuery:

    gcloud eventarc triggers create events-cal-trigger \
    --destination-workflow=${MY_WORKFLOW} \
    --destination-workflow-location=${WORKFLOW_LOCATION} \
    --event-filters="type=google.cloud.audit.log.v1.written" \
    --event-filters="serviceName=bigquery.googleapis.com" \
    --event-filters="methodName=google.cloud.bigquery.v2.JobService.InsertJob" \
    --service-account="PROJECT_NUMBER-compute@developer.gserviceaccount.com"

    הפעולה הזו יוצרת טריגר בשם events-cal-trigger.

    שימו לב: כשיוצרים טריגר Eventarc בפעם הראשונה בפרויקט Google Cloud , יכול להיות שיהיה עיכוב בהקצאת סוכן השירות של Eventarc. בדרך כלל אפשר לפתור את הבעיה הזו על ידי ניסיון ליצור את הטריגר מחדש. מידע נוסף זמין במאמר בנושא שגיאות שקשורות לסירוב הרשאה.

  2. כדי לוודא ש-events-cal-trigger נוצר בהצלחה, מריצים את הפקודה:

    gcloud eventarc triggers describe events-cal-trigger --location=${TRIGGER_LOCATION}

    הפלט מציג את שעת היצירה והמיקום של הטריגר, והוא אמור להיות דומה לזה:

    createTime: '2021-10-14T15:15:43.872360951Z'
[...]
name: projects/PROJECT_ID/locations/us-central1/triggers/events-cal-trigger

יצירה והצגה של אירוע

מריצים משימת BigQuery באמצעות כלי שורת הפקודה של BigQuery כדי ליצור אירועים ולהפעיל את תהליך העבודה.

  1. כדי להפעיל את תהליך העבודה, מריצים משימת BigQuery שמאפשרת גישה למערך נתונים ציבורי ושליפת מידע ממנו:

    bq query --nouse_legacy_sql \
'SELECT
COUNT(*)
FROM
`bigquery-public-data`.samples.shakespeare'

    האירועים שנוצרו מועברים כארגומנטים של זמן ריצה לתהליך העבודה, שמחזיר את נתוני המטען הייעודי כתוצאה מהרצת תהליך העבודה.

  2. כדי לוודא שהפעלתם את תהליך העבודה, מציגים את שתי ההרצות האחרונות שלו:

    gcloud workflows executions list ${MY_WORKFLOW} --limit=2

    שתי הרצות של זרימת העבודה מופעלות על ידי משימת BigQuery. (אירוע אחד מסמן את שינוי התפקיד, והשני את הוספת התפקיד עצמו). הפלט מציג NAME ו-STATE ששווים ל-SUCCEEDED לכל אחת מההרצות, והוא אמור להיראות כך:

    NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2
STATE: SUCCEEDED
START_TIME: 2024-02-06T14:16:14.390549813Z
END_TIME: 2024-02-06T14:16:14.870102511Z
NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/35d7c730-7ba5-4055-afee-c04ed706b179
STATE: SUCCEEDED
START_TIME: 2024-02-06T14:16:14.389882601Z
END_TIME: 2024-02-06T14:16:14.829942525Z

    שימו לב שבפלט, a073ad6a-c76b-4437-8d39-2ab3ade289d2 מהשדה NAME הוא המזהה של הרצת תהליך העבודה. מעתיקים את מזהה ההפעלה כדי להשתמש בו בשלב הבא.

  3. כדי לראות את סטטוס ההפעלה, מריצים את הפקודה הבאה:

    gcloud workflows executions describe WORKFLOW_EXECUTION_ID --workflow=${MY_WORKFLOW}

    מחליפים את WORKFLOW_EXECUTION_ID במזהה של הרצת זרימת העבודה שתואמת לזמן שבו הסתיימה העבודה ב-BigQuery.

    הפלט אמור להיראות כך:

    argument: [...]
duration: 0.277917625s
endTime: '2024-02-06T14:16:14.870102511Z'
name: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2
result: '{"data": [...]}'
startTime: '2024-02-06T14:16:14.390549813Z'
state: SUCCEEDED

  4. מוודאים שstartTime שבו משימת BigQuery הסתיימה וSTART_TIME של הפעלת תהליך העבודה תואמים.

יצרתם בהצלחה אירוע ב-BigQuery שהפעיל מקלט אירועים ב-Workflows באמצעות Eventarc.

הסרת המשאבים

  1. מחיקת תהליך העבודה שיצרתם: 
    gcloud workflows delete ${MY_WORKFLOW}
     כשמוצגת השאלה אם אתם רוצים להמשיך, מזינים y.
  2. מחיקת הטריגר שיצרתם: 
    gcloud eventarc triggers delete events-cal-trigger
  3. אפשר גם למחוק את הפרויקט Google Cloud כדי להימנע מחיובים. אם מוחקים את הפרויקט ב- Google Cloud , החיוב על כל המשאבים שנעשה בהם שימוש באותו פרויקט יופסק.

    כדי למחוק Google Cloud פרויקט:

    gcloud projects delete PROJECT_ID

המאמרים הבאים