קבלת אירועים באמצעות יומני ביקורת של Cloud ‏ (ה-CLI של gcloud)

קבלת אירועים באמצעות יומני ביקורת של Cloud ‏ (ה-CLI של gcloud)

רגילה

במדריך למתחילים הזה נסביר איך לקבל אירועים מ-Cloud Storage בשירות Cloud Run לא מאומת באמצעות Eventarc.

הערה: כל השירותים של Cloud Run נפרסים באופן פרטי כברירת מחדל, כלומר אי אפשר לגשת אליהם בלי לספק פרטי כניסה לאימות בבקשה. בפרויקטים עם מדיניות ארגונית של שיתוף מוגבל לדומיין, צריך להשתמש בשירות יעד מאומת של Cloud Run ולא בשירות שמאפשר גישה ציבורית.

אפשר להשלים את המדריך למתחילים הזה באמצעות Google Cloud CLI. הוראות לשימוש במסוף מפורטות במאמר יצירת טריגר באמצעות מסוף Google Cloud .

במדריך למתחילים הזה:

1. יוצרים קטגוריה של Cloud Storage שתשמש כמקור האירועים.

2. פריסת שירות לקבלת אירועים ב-Cloud Run.

3. יוצרים טריגר לאירוע.

4. יוצרים אירוע על ידי העלאת קובץ לקטגוריה של Cloud Storage, ומציגים אותו ביומנים של Cloud Run.

לפני שמתחילים

יכול להיות שהגבלות אבטחה שהוגדרו בארגון שלכם ימנעו מכם להשלים את השלבים הבאים. מידע לפתרון בעיות זמין במאמר פיתוח אפליקציות בסביבה מוגבלת. Google Cloud

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

התקינו את ה-CLI של Google Cloud.

אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

gcloud init

יוצרים או בוחרים Google Cloud פרויקט.

תפקידים שנדרשים כדי לבחור או ליצור פרויקט

• Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
• יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

הערה: אם אתם לא מתכננים לשמור את המשאבים שתיצרו בתהליך הזה, תוכלו ליצור פרויקט חדש במקום לבחור באחד מהפרויקטים הקיימים. בסיום התהליך תוכלו למחוק את הפרויקט ולהסיר את כל המשאבים שמשויכים אליו.

• יוצרים Google Cloud פרויקט:

  gcloud projects create PROJECT_ID

  מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

• בוחרים את הפרויקט שיצרתם: Google Cloud

  gcloud config set project PROJECT_ID

  מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

מוודאים שהחיוב מופעל בפרויקט Google Cloud .

מפעילים את ממשקי ה-API של Artifact Registry,‏ Cloud Build,‏ Cloud Run,‏ Eventarc ו-Pub/Sub:

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

gcloud services enable artifactregistry.googleapis.com cloudbuild.googleapis.com run.googleapis.com eventarc.googleapis.com pubsub.googleapis.com

התקינו את ה-CLI של Google Cloud.

אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

gcloud init

יוצרים או בוחרים Google Cloud פרויקט.

תפקידים שנדרשים כדי לבחור או ליצור פרויקט

• Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
• יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

הערה: אם אתם לא מתכננים לשמור את המשאבים שתיצרו בתהליך הזה, תוכלו ליצור פרויקט חדש במקום לבחור באחד מהפרויקטים הקיימים. בסיום התהליך תוכלו למחוק את הפרויקט ולהסיר את כל המשאבים שמשויכים אליו.

• יוצרים Google Cloud פרויקט:

  gcloud projects create PROJECT_ID

  מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

• בוחרים את הפרויקט שיצרתם: Google Cloud

  gcloud config set project PROJECT_ID

  מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

מוודאים שהחיוב מופעל בפרויקט Google Cloud .

מפעילים את ממשקי ה-API של Artifact Registry,‏ Cloud Build,‏ Cloud Run,‏ Eventarc ו-Pub/Sub:

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

gcloud services enable artifactregistry.googleapis.com cloudbuild.googleapis.com run.googleapis.com eventarc.googleapis.com pubsub.googleapis.com

1. עדכון רכיבים של gcloud:

   gcloud components update

2. נכנסים באמצעות החשבון:

   gcloud auth login

3. מגדירים את משתני ההגדרה שבהם נעשה שימוש במדריך הזה להתחלה מהירה:

   export REGION=us-central1
   gcloud config set run/region ${REGION}
   gcloud config set run/platform managed
   gcloud config set eventarc/location ${REGION}

4. אם אתם יוצרי הפרויקט, מוקצה לכם תפקיד הבעלים הבסיסי (roles/owner). כברירת מחדל, תפקיד ניהול הזהויות והרשאות הגישה (IAM) הזה כולל את ההרשאות שנדרשות לגישה מלאה לרוב המשאבים Google Cloud, ואפשר לדלג על השלב הזה.

   אם אתם לא יוצרי הפרויקט, צריך להעניק את ההרשאות הנדרשות בחשבון המשתמש המתאים בפרויקט. לדוגמה, חשבון משתמש יכול להיות חשבון Google (למשתמשי קצה) או חשבון שירות (לאפליקציות ולעומסי עבודה ממוחשבים). מידע נוסף זמין בדף תפקידים והרשאות של יעד האירוע.

   שימו לב: כברירת מחדל, ההרשאות של Cloud Build כוללות הרשאות להעלאה ולהורדה של ארטיפקטים של Artifact Registry.

   ההרשאות הנדרשות

   כדי לקבל את ההרשאות שדרושות להשלמת המדריך הזה, צריך לבקש מהאדמין להקצות לכם בפרויקט את תפקידי ה-IAM הבאים:

   • עריכה ב-Cloud Build (roles/cloudbuild.builds.editor)
   • אדמין ב-Cloud Run (roles/run.admin)
   • אדמין ב-Eventarc (roles/eventarc.admin)
   • בעל הרשאת גישה לתצוגת יומנים (roles/logging.viewAccessor)
   • אדמין IAM בפרויקט (roles/resourcemanager.projectIamAdmin)
   • אדמין בחשבון שירות (roles/iam.serviceAccountAdmin)
   • משתמש בחשבון שירות (roles/iam.serviceAccountUser)
   • אדמין Service Usage (roles/serviceusage.serviceUsageAdmin)
   • אדמין באחסון (roles/storage.admin)

   להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

   יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

5. מפעילים את סוגי היומנים Admin Read,‏ Data Read ו-Data Write ב-Google Cloud Storage.

   שימו לב: ברמת הפרויקט, צריך את התפקיד roles/ownerבממשק לניהול הזהויות והרשאות הגישה (IAM) Google Cloudכדי להגדיר יומני ביקורת של גישה לנתונים עבור המשאבים.

   1. קוראים את מדיניות ה-IAM של הפרויקט ושומרים אותה בקובץ:

      gcloud projects get-iam-policy PROJECT_ID > /tmp/policy.yaml

   2. עורכים את המדיניות ב/tmp/policy.yaml, ומוסיפים או משנים רק את ההגדרה של יומני הביקורת Data Access.
      זהירות: חובה לשמור את הקטעים bindings: ו-etag: ללא שינויים. אם לא תעשו זאת, יכול להיות שלא תוכלו להשתמש בפרויקט.

      auditConfigs:
      - auditLogConfigs:
      - logType: ADMIN_READ
      - logType: DATA_WRITE
      - logType: DATA_READ
      service: storage.googleapis.com

   3. כותבים את מדיניות ה-IAM החדשה:

      gcloud projects set-iam-policy PROJECT_ID /tmp/policy.yaml

      אם הפקודה הקודמת מדווחת על התנגשות עם שינוי אחר, צריך לחזור על השלבים האלה, החל מקריאת מדיניות ה-IAM של הפרויקט.

6. חשוב לשים לב לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, כי תצטרכו לצרף אותו לטריגר של Eventarc כדי לייצג את הזהות של הטריגר למטרות בדיקה. חשבון השירות הזה נוצר באופן אוטומטי אחרי שמפעילים או משתמשים בשירות Google Cloud שמשתמש ב-Compute Engine, והוא בפורמט האימייל הבא:

   [e-mail]

   מחליפים את PROJECT_NUMBER במספר הפרויקט ב- Google Cloud. אפשר לראות את מספר הפרויקט בדף Welcome במסוף Google Cloud או על ידי הרצת הפקודה הבאה:

   gcloud projects describe PROJECT_ID --format='value(projectNumber)'

   בסביבות ייצור, מומלץ מאוד ליצור חשבון שירות חדש ולהקצות לו תפקיד IAM אחד או יותר שמכילים את ההרשאות המינימליות הנדרשות, ולפעול לפי העיקרון של הרשאות מינימליות.

   הערה:

   iam.automaticIamGrantsForDefaultServiceAccounts אילוץ מדיניות הארגון iam.automaticIamGrantsForDefaultServiceAccounts מונע מחשבונות שירות שמוגדרים כברירת מחדל לקבל את התפקיד 'עריכה' באופן אוטומטי. אם יצרתם את הארגון אחרי 3 במאי 2024, האילוץ הזה נאכף כברירת מחדל.

   אנחנו ממליצים מאוד לאכוף את האילוץ הזה כדי להשבית את הענקת התפקיד האוטומטית. אם משביתים את הענקת התפקיד האוטומטית, צריך לקבוע אילו תפקידים להעניק לחשבונות השירות שמוגדרים כברירת מחדל, ואז להעניק את התפקידים האלה בעצמכם.

   אם לחשבון השירות שמוגדר כברירת מחדל כבר יש את התפקיד 'עריכה', מומלץ להחליף את התפקיד הזה בתפקידים עם פחות הרשאות.כדי לשנות את התפקידים בחשבון השירות בצורה בטוחה, כדאי להשתמש בסימולטור המדיניות כדי לראות את ההשפעה של השינוי, ואז לתת ולבטל את התפקידים המתאימים.

7. מקצים את התפקיד 'מקבל אירועים ב-Eventarc' (roles/eventarc.eventReceiver) בפרויקט לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, כדי שהטריגר של Eventarc יוכל לקבל אירועים מספקי אירועים.

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member=serviceAccount:[e-mail] \
       --role=roles/eventarc.eventReceiver

8. אם הפעלתם את סוכן השירות של Cloud Pub/Sub ב-8 באפריל 2021 או לפני כן, כדי לתמוך בבקשות push מאומתות של Pub/Sub, צריך להקצות לסוכן השירות את התפקיד 'יצירת אסימונים בחשבון שירות' (roles/iam.serviceAccountTokenCreator). אחרת, התפקיד הזה מוענק כברירת מחדל:

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member=serviceAccount:[e-mail] \
       --role=roles/iam.serviceAccountTokenCreator

9. מורידים ומתקינים את כלי הניהול של קוד המקור Git.

יצירת מאגר רגיל ב-Artifact Registry

יוצרים מאגר רגיל ב-Artifact Registry לאחסון קובץ האימג' של הקונטיינר:

gcloud artifacts repositories create REPOSITORY \
    --repository-format=docker \
    --location=$REGION

מחליפים את REPOSITORY בשם ייחודי למאגר.

יצירת קטגוריה של Cloud Storage

במדריך למתחילים הזה נעשה שימוש ב-Cloud Storage כמקור האירועים. כדי ליצור קטגוריית אחסון:

gcloud storage buckets create gs://events-quickstart-PROJECT_ID/ --location=${REGION}

אחרי שיוצרים את מקור האירועים, אפשר לפרוס את שירות מקבל האירועים ב-Cloud Run.

פריסת שירות לקבלת אירועים ב-Cloud Run

פריסת שירות Cloud Run שמקבל אירועים ומתעד אותם ביומן. כדי לפרוס את שירות קבלת האירועים לדוגמה:

1. משכפלים את המאגר מ-GitHub:

   המשך

   git clone https://github.com/GoogleCloudPlatform/golang-samples.git
   cd golang-samples/eventarc/audit_storage
   

   Java

   git clone https://github.com/GoogleCloudPlatform/java-docs-samples.git
   cd java-docs-samples/eventarc/audit-storage
   

   ‎.NET

   git clone https://github.com/GoogleCloudPlatform/dotnet-docs-samples.git
   cd dotnet-docs-samples/eventarc/audit-storage
   

   Node.js

   git clone https://github.com/GoogleCloudPlatform/nodejs-docs-samples.git
   cd nodejs-docs-samples/eventarc/audit-storage
   

   Python

   git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git
   cd python-docs-samples/eventarc/audit-storage
   

2. יוצרים את הקונטיינר ומעלים אותו ל-Cloud Build:

   gcloud builds submit --tag $REGION-docker.pkg.dev/PROJECT_ID/REPOSITORY/helloworld-events:v1

3. פורסים את קובץ האימג' של הקונטיינר ב-Cloud Run:

   gcloud run deploy helloworld-events \
       --image $REGION-docker.pkg.dev/PROJECT_ID/REPOSITORY/helloworld-events:v1 \
       --allow-unauthenticated

   אם הפריסה מצליחה, כתובת ה-URL של השירות מוצגת בשורת הפקודה.

   אחרי שפרסתם את שירות מקבל האירועים שנקרא helloworld-events ב-Cloud Run, אתם יכולים להגדיר את הטריגר.

יצירת טריגר Eventarc

הטריגר של Eventarc ישלח אירועים ממאגר Cloud Storage לשירות helloworld-events Cloud Run.

1. יוצרים טריגר שמסנן אירועים ב-Cloud Storage ומשתמש בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine של הפרויקט: Google Cloud

   gcloud eventarc triggers create events-quickstart-trigger \
       --destination-run-service=helloworld-events \
       --destination-run-region=${REGION} \
       --event-filters="type=google.cloud.audit.log.v1.written" \
       --event-filters="serviceName=storage.googleapis.com" \
       --event-filters="methodName=storage.objects.create" \
       --service-account=[e-mail]

   הפעולה הזו יוצרת טריגר בשם events-quickstart-trigger.

   שימו לב: כשיוצרים טריגר Eventarc בפעם הראשונה בפרויקט Google Cloud , יכול להיות שיהיה עיכוב בהקצאת סוכן השירות של Eventarc. בדרך כלל אפשר לפתור את הבעיה הזו על ידי ניסיון ליצור את הטריגר מחדש. מידע נוסף זמין במאמר בנושא שגיאות שקשורות לסירוב הרשאה.

2. כדי לוודא ש-events-quickstart-trigger נוצר בהצלחה, מריצים את הפקודה:

   gcloud eventarc triggers list --location=${REGION}

   ה-events-quickstart-trigger מופיע עם יעד שהוא שירות Cloud Run, ‏ helloworld-events.

הערה: הטריגר נוצר באופן מיידי, אבל יכולות לעבור עד שתי דקות עד שהטריגר יפעל באופן מלא.

יצירה והצגה של אירוע

1. כדי ליצור אירוע, מעלים קובץ טקסט ל-Cloud Storage:

    echo "Hello World" > random.txt
    gcloud storage cp random.txt gs://events-quickstart-PROJECT_ID/random.txt
   

   ההעלאה יוצרת אירוע, ושירות Cloud Run רושם ביומן את ההודעה של האירוע.

2. כדי לראות את הרשומות ביומן שקשורות לאירוע שנוצר על ידי השירות, מריצים את הפקודה הבאה:

   gcloud logging read 'textPayload: "Detected change in Cloud Storage bucket"'
   

3. מחפשים רשומה ביומן שדומה ל:

   Detected change in Cloud Storage bucket: storage.googleapis.com/projects/_/buckets/BUCKET_NAME/objects/random.txt
   

   כאשר BUCKET_NAME הוא שם הקטגוריה ב-Cloud Storage.

   הערה: אם לא מופיע רשומה ביומן, צריך להמתין כמה דקות ולנסות שוב את הפקודה gcloud logging read. יכולות לעבור עד שתי דקות מרגע היצירה של הטריגר ועד שהוא יתחיל לסנן אירועים.

הצלחתם לפרוס שירות לקבלת אירועים ב-Cloud Run, ליצור טריגר Eventarc, ליצור אירוע מ-Cloud Storage ולצפות בו ביומנים של Cloud Run.

הסרת המשאבים

ב-Cloud Run לא מחייבים כשלא משתמשים בשירות, אבל יכול להיות שעדיין תחויבו על אחסון קובץ האימג' של הקונטיינר ב-Artifact Registry, על אחסון קבצים בקטגוריה של Cloud Storage ועל משאבי Eventarc.

אתם יכולים:

1. מחיקת קובץ אימג' של קונטיינר.

2. מחיקת קטגוריית האחסון.

3. מחיקת טריגר Eventarc

אפשר גם למחוק את הפרויקט Google Cloud כדי למנוע חיובים. כשמוחקים פרויקט ב- Google Cloud , החיוב על כל המשאבים שנעשה בהם שימוש באותו פרויקט מופסק.

זהירות: כשמוחקים פרויקט:

• התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המשימות במדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
• מאבדים את מזהה הפרויקט בהתאמה אישית. כשיצרתם את הפרויקט, יכולתם לבחור לו מזהה פרויקט בהתאמה אישית כדי להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו.

כדי למחוק פרויקט Google Cloud :

gcloud projects delete PROJECT_ID

המאמרים הבאים

• קבלת אירוע ביומני הביקורת של Cloud עבור עומסי עבודה בסביבת ייצור
• פיתוח קונטיינרים
• קביעת מסנני אירועים ליומני ביקורת של Cloud
• פיתוח שירותים ב-Cloud Run