שימוש ב-Eventarc כדי לקבל אירועים מ-Cloud Storage

במדריך הזה נסביר איך לפרוס אפליקציה מבוססת-קונטיינר באמצעות שירות מאומת של Cloud Run שמקבל אירועים דרך Eventarc.

כשמציינים מסננים לטריגר של Eventarc, אפשר להגדיר את הניתוב של האירועים, כולל מקור האירוע ויעד האירוע. במקרה הזה, עדכון של קטגוריה של Cloud Storage מפעיל את האירוע, ונשלחת בקשה לשירות Cloud Run בצורה של בקשת HTTP.

מטרות

במדריך הזה תלמדו:

  1. יוצרים קטגוריה של Cloud Storage שתשמש כמקור האירועים.

  2. פריסת שירות לקבלת אירועים ב-Cloud Run שדורש הפעלות מאומתות.

  3. יוצרים טריגר של Eventarc שמנתב אירועים מהקטגוריה של Cloud Storage לשירות Cloud Run.

  4. יוצרים אירוע על ידי העלאת קובץ לקטגוריה של Cloud Storage וצופים באירוע ביומנים של Cloud Run.

עלויות

במסמך הזה משתמשים ברכיבים הבאים של Google Cloud, והשימוש בהם כרוך בתשלום:

בעזרת מחשבון העלויות אתם יכולים להעריך את העלויות בהתאם לשימוש הצפוי.

משתמשים חדשים של Google Cloud ? יכול להיות שאתם זכאים לתקופת ניסיון בחינם.

לפני שמתחילים

יכול להיות שהגבלות אבטחה שהוגדרו בארגון שלכם ימנעו מכם להשלים את השלבים הבאים. למידע על פתרון בעיות, קראו את המאמר פיתוח אפליקציות בסביבה מוגבלת של Google Cloud .

  1. נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
  2. התקינו את ה-CLI של Google Cloud.

  3. אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

  4. כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

    gcloud init
  5. יוצרים או בוחרים Google Cloud פרויקט.

    תפקידים שנדרשים כדי לבחור או ליצור פרויקט

    • Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
    • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד "יצירת פרויקטים" (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים?
    • יוצרים Google Cloud פרויקט:

      gcloud projects create PROJECT_ID

      מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

    • בוחרים את הפרויקט שיצרתם: Google Cloud

      gcloud config set project PROJECT_ID

      מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

  6. מוודאים שהחיוב מופעל בפרויקט Google Cloud .

  7. התקינו את ה-CLI של Google Cloud.

  8. אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

  9. כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

    gcloud init
  10. יוצרים או בוחרים Google Cloud פרויקט.

    תפקידים שנדרשים כדי לבחור או ליצור פרויקט

    • Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
    • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד "יצירת פרויקטים" (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים?
    • יוצרים Google Cloud פרויקט:

      gcloud projects create PROJECT_ID

      מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

    • בוחרים את הפרויקט שיצרתם: Google Cloud

      gcloud config set project PROJECT_ID

      מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

  11. מוודאים שהחיוב מופעל בפרויקט Google Cloud .

  12. אם אתם לא משתמשים ב-Cloud Shell, אתם צריכים לעדכן את הרכיבים של Google Cloud CLI ולהיכנס באמצעות החשבון שלכם:
    gcloud components update
    gcloud auth login
  13. מפעילים את ממשקי ה-API:
    gcloud services enable artifactregistry.googleapis.com \
        cloudbuild.googleapis.com \
        eventarc.googleapis.com \
        run.googleapis.com \
        storage.googleapis.com
  14. מגדירים את משתני ההגדרה שמשמשים במדריך הזה:
    export REGION=us-central1
    gcloud config set run/region ${REGION}
    gcloud config set run/platform managed
    gcloud config set eventarc/location ${REGION}
  15. אתם או האדמין שלכם צריכים להקצות את תפקידי ה-IAM הבאים לחשבון הפריסה, לזהות של הטריגר, ובאופן אופציונלי, לסוכן השירות של Pub/Sub.

    התפקידים הנדרשים בחשבון הפריסה

    1. אם אתם יוצרי הפרויקט, מוקצה לכם תפקיד הבעלים הבסיסי (roles/owner). כברירת מחדל, תפקיד ניהול הזהויות והרשאות הגישה (IAM) הזה כולל את ההרשאות שנדרשות לגישה מלאה לרוב המשאבים Google Cloud, ואפשר לדלג על השלב הזה.

      אם אתם לא יוצרי הפרויקט, צריך להעניק את ההרשאות הנדרשות בחשבון המשתמש המתאים בפרויקט. לדוגמה, חשבון משתמש יכול להיות חשבון Google (למשתמשי קצה) או חשבון שירות (לאפליקציות ולעומסי עבודה ממוחשבים). מידע נוסף זמין בדף תפקידים והרשאות של יעד האירוע.

      כדי לקבל את ההרשאות שדרושות להשלמת המדריך הזה, צריך לבקש מהאדמין להקצות לכם בפרויקט את תפקידי ה-IAM הבאים:

      להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

      יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

      שימו לב: כברירת מחדל, ההרשאות של Cloud Build כוללות הרשאות להעלאה ולהורדה של ארטיפקטים של Artifact Registry.

    התפקידים הנדרשים לזהות של הטריגר

    1. חשוב לשים לב לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, כי תצטרכו לצרף אותו לטריגר של Eventarc כדי לייצג את הזהות של הטריגר למטרות בדיקה. חשבון השירות הזה נוצר באופן אוטומטי אחרי שמפעילים שירות של Google Cloud שמשתמש ב-Compute Engine, או משתמשים בשירות כזה. כתובת האימייל שלו היא בפורמט הבא:

      PROJECT_NUMBER-compute@developer.gserviceaccount.com

      מחליפים את PROJECT_NUMBER במספר הפרויקט ב- Google Cloud. אפשר לראות את מספר הפרויקט בדף Welcome במסוף Google Cloud או על ידי הרצת הפקודה הבאה:

      gcloud projects describe PROJECT_ID --format='value(projectNumber)'

      בסביבות ייצור, מומלץ מאוד ליצור חשבון שירות חדש ולהקצות לו תפקיד IAM אחד או יותר שמכילים את ההרשאות המינימליות הנדרשות, ולפעול לפי העיקרון של הרשאות מינימליות.

    2. כברירת מחדל, רק בעלי פרויקטים, עורכי פרויקטים ואדמינים ומפעילים של Cloud Run יכולים להתקשר לשירותי Cloud Run. אתם יכולים לשלוט בגישה לכל שירות בנפרד, אבל למטרות בדיקה, כדאי לתת לחשבון השירות של Compute Engine את התפקיד "מפעיל Cloud Run" (run.invoker) בפרויקט Google Cloud . כך מקצים את התפקיד בכל השירותים והמשימות של Cloud Run בפרויקט.
      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
          --role=roles/run.invoker

      שימו לב: אם יוצרים טריגר לשירות מאומת ב-Cloud Run בלי להעניק את התפקיד Cloud Run Invoker (הפעלת Cloud Run), הטריגר נוצר בהצלחה והוא פעיל. עם זאת, הטריגר לא יפעל כמצופה ותופיע הודעה דומה לזו שמופיעה ביומנים:

      The request was not authenticated. Either allow public access or set the proper Authorization header.
    3. מקצים את התפקיד "מקבל אירועים ב-Eventarc" (roles/eventarc.eventReceiver) בפרויקט לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, כדי שהטריגר של Eventarc יוכל לקבל אירועים מספקי אירועים.
      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
          --role=roles/eventarc.eventReceiver

    תפקיד אופציונלי לסוכן השירות של Pub/Sub

    • אם הפעלתם את סוכן השירות של Cloud Pub/Sub ב-8 באפריל 2021 או לפני כן, כדי לתמוך בבקשות דחיפה מאומתות של Pub/Sub, צריך להקצות לסוכן השירות את התפקיד "יצירת אסימונים בחשבון שירות" (roles/iam.serviceAccountTokenCreator). אחרת, התפקיד הזה מוענק כברירת מחדל:
      gcloud projects add-iam-policy-binding PROJECT_ID \
          --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
          --role=roles/iam.serviceAccountTokenCreator

יצירת מאגר רגיל ב-Artifact Registry

יוצרים מאגר רגיל של Artifact Registry לאחסון קובץ האימג' של הקונטיינר:

gcloud artifacts repositories create REPOSITORY \
    --repository-format=docker \
    --location=$REGION

מחליפים את REPOSITORY בשם ייחודי למאגר.

יצירת קטגוריה של Cloud Storage

יוצרים קטגוריה של Cloud Storage שתשמש כמקור האירועים:

‫
gcloud storage buckets create gs://PROJECT_ID-bucket/ --location=us-central1
‫

אחרי שיוצרים את מקור האירוע, אפשר לפרוס את שירות מקבל האירועים ב-Cloud Run.

פריסת מקלט אירועים ב-Cloud Run

פריסת שירות Cloud Run שמקבל אירועים ומתעד אותם ביומן.

  1. משכפלים את המאגר ב-GitHub:

    Node.js

    git clone https://github.com/GoogleCloudPlatform/nodejs-docs-samples.git

    אפשר גם להוריד את הדוגמה כקובץ ZIP ולחלץ אותו.

    Python

    git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git

    אפשרות נוספת היא להוריד את קובץ הדוגמה כקובץ ZIP ולחלץ אותו.

    המשך

    git clone https://github.com/GoogleCloudPlatform/golang-samples.git

    אפשרות נוספת היא להוריד את קובץ הדוגמה כקובץ ZIP ולחלץ אותו.

    Java

    git clone https://github.com/GoogleCloudPlatform/java-docs-samples.git

    אפשר גם להוריד את הדוגמה כקובץ ZIP ולחלץ אותו.

    C#‎

    git clone https://github.com/GoogleCloudPlatform/dotnet-docs-samples.git

    אפשר גם להוריד את הדוגמה כקובץ ZIP ולחלץ אותו.

  2. עוברים לספרייה שמכילה את הקוד לדוגמה של Cloud Run:

    Node.js

    cd nodejs-docs-samples/eventarc/audit-storage/

    Python

    cd python-docs-samples/eventarc/audit-storage/

    Go

    cd golang-samples/eventarc/audit_storage/

    Java

    cd java-docs-samples/eventarc/audit-storage/

    C#‎

    cd dotnet-docs-samples/eventarc/audit-storage/
  3. יוצרים את הקונטיינר לשירות Cloud Run:

    export PROJECT_ID=$(gcloud config get-value project)
    export SERVICE_NAME=helloworld-events
    gcloud builds submit --tag $REGION-docker.pkg.dev/${PROJECT_ID}/REPOSITORY/${SERVICE_NAME}:v1
  4. פורסים את קובץ האימג' של הקונטיינר ב-Cloud Run:

    gcloud run deploy ${SERVICE_NAME} \
        --image $REGION-docker.pkg.dev/${PROJECT_ID}/REPOSITORY/${SERVICE_NAME}:v1
  5. בהנחיה Allow public access to helloworld-events (y/N)?‎ (האם לאפשר גישה ציבורית אל helloworld-events (תשובה: כן/לא)?), משיבים n כדי לבחור באפשרות 'לא'.

כשכתובת ה-URL של שירות Cloud Run מופיעה, הפריסה הושלמה.

יצירת טריגר Eventarc

הטריגר של Eventarc שולח אירועים מהקטגוריה של Cloud Storage לשירות helloworld-eventsCloud Run. השירות דורש אימות, והאירוע צריך להיות מופעל על ידי מבצע קריאה שיש לו חשבון שירות עם ההרשאות והתפקידים הנדרשים ב-IAM לשימוש במשאב.

  1. יוצרים טריגר שמסנן אירועים של Cloud Storage:

    gcloud eventarc triggers create ${SERVICE_NAME} \
        --destination-run-service=${SERVICE_NAME} \
        --destination-run-region=${REGION} \
        --location=${REGION} \
        --event-filters="type=google.cloud.storage.object.v1.finalized" \
        --event-filters="bucket=PROJECT_ID-bucket" \
        --service-account=PROJECT_NUMBER-compute@developer.gserviceaccount.com

    כך יוצרים טריגר בשם helloworld-events.

    שימו לב: כשיוצרים טריגר Eventarc בפעם הראשונה בפרויקט Google Cloud , יכול להיות שיהיה עיכוב בהקצאת סוכן השירות של Eventarc. בדרך כלל אפשר לפתור את הבעיה הזו על ידי ניסיון ליצור את הטריגר מחדש. מידע נוסף זמין במאמר בנושא שגיאות שקשורות לסירוב הרשאה.

  2. מוודאים שהטריגר נוצר בהצלחה. שימו לב: למרות שהטריגר נוצר באופן מיידי, יכול להיות שיעברו עד שתי דקות עד שהוא יפעל באופן מלא.

    gcloud eventarc triggers list --location=${REGION}

    הפלט אמור להיראות כך:

    NAME: helloworld-events
    TYPE: google.cloud.storage.object.v1.finalized
    DESTINATION: Cloud Run service: helloworld-events
    ACTIVE: Yes
    

יצירה וצפייה באירוע

מעלים קובץ טקסט לקטגוריה של Cloud Storage כדי ליצור אירוע שמועבר לשירות Cloud Run. האירוע מתועד ביומני השירות של Cloud Run.

  1. כדי ליצור אירוע:

    העלאת קובץ טקסט ל-Cloud Storage:

     echo "Hello World" > random.txt
     gcloud storage cp random.txt gs://PROJECT_ID-bucket/random.txt
    

    ההעלאה יוצרת אירוע, והשירות של Cloud Run מתעד את ההודעה של האירוע.

  2. כדי לראות את הרשומה ביומן:

    1. מסננים את רשומות היומן ומחזירים את הפלט בפורמט JSON:

      gcloud logging read "resource.labels.service_name=helloworld-events AND textPayload:random.txt" --format=json
      
    2. מחפשים רשומה ביומן שדומה ל:

      "textPayload": "Detected change in Cloud Storage bucket: objects/random.txt"
      

יכול להיות שייקח ליומנים כמה דקות להופיע. אם הם לא מופיעים מיד, כדאי לבדוק שוב אחרי דקה.

הסרת המשאבים

אם יצרתם פרויקט חדש בשביל המדריך הזה, מחקו את הפרויקט. אם השתמשתם בפרויקט קיים ואתם רוצים לשמור אותו בלי השינויים שנוספו במדריך הזה, תצטרכו למחוק את המשאבים שנוצרו לצורך המדריך.

מחיקת הפרויקט

הדרך הקלה ביותר לבטל את החיוב היא למחוק את הפרויקט שיצרתם בשביל המדריך הזה.

כדי למחוק את הפרויקט:

  1. במסוף Google Cloud , נכנסים לדף Manage resources.

    כניסה לדף Manage resources

  2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
  3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

מחיקת משאבים של מדריכים

  1. מוחקים את שירות Cloud Run שפרסתם במדריך הזה:

    gcloud run services delete SERVICE_NAME

    כאשר SERVICE_NAME הוא שם השירות שבחרתם.

    אפשר גם למחוק שירותים של Cloud Run מGoogle Cloud המסוף.

  2. מסירים את כל הגדרות ברירת המחדל של ה-CLI של gcloud שהוספתם במהלך ההגדרה של המדריך.

    לדוגמה:

    gcloud config unset run/region

    או

    gcloud config unset project

  3. מוחקים משאבים אחרים של Google Cloud שנוצרו במדריך הזה:

    • מוחקים את הטריגר של Eventarc:
      ‫
      gcloud eventarc triggers delete TRIGGER_NAME
      
      מחליפים את TRIGGER_NAME בשם הטריגר.

המאמרים הבאים