הגדרת התראות ב-BigQuery

Cloud Build יכול לשלוח לכם התראות על עדכוני build בערוצים ספציפיים, כמו Slack או שרת SMTP. בדף הזה מוסבר איך להגדיר התראות באמצעות BigQuery notifier.

הכלי BigQuery notifier מאפשר לציין מסננים לבנייה שרוצים לאחסן במסד הנתונים. לדוגמה, אפשר לקבץ את הגרסאות לפי מזהה הטריגר, התגים או ערכי ההחלפה. הכלי BigQuery notifier גם כותב נתונים ל-BigQuery בפורמט סטנדרטי שכולל שדות מחושבים שלא נגישים באופן מיידי באובייקט Build, כמו גודל התמונה או משך הביצוע. אם אתם רוצים ללמוד איך לייצא רשומות ביומן ל-BigQuery או ליעד אחר, תוכלו לעיין במאמר ייצוא יומנים באמצעות מסוף Google Cloud .

לפני שמתחילים

  • מפעילים את Cloud Build API,‏ Cloud Run API,‏ Pub/Sub API ו-BigQuery API.

    תפקידים שנדרשים להפעלת ממשקי API

    כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים

    הפעלת ממשקי ה-API

הגדרת התראות ב-BigQuery

בקטע הבא מוסבר איך להגדיר ידנית התראות HTTP באמצעות BigQuery notifier. אם רוצים להפוך את ההגדרה לאוטומטית, אפשר לעיין במאמר בנושא הגדרת התראות אוטומטית.

כדי להגדיר התראות ב-BigQuery:

  1. נותנים לחשבון השירות של Cloud Run הרשאה ליצור ולכתוב טבלאות BigQuery, הרשאה לאחזר נתונים מ-Artifact Registry שקשורים ל-build, וגישת קריאה וכתיבה לקטגוריות של Cloud Storage:

    1. נכנסים לדף IAM במסוף Google Cloud :

      פתיחת הדף IAM

    2. מאתרים את חשבון השירות של Compute Engine שמוגדר כברירת מחדל שמשויך לפרויקט:

      חשבון השירות של Compute Engine שמוגדר כברירת מחדל ייראה בערך כך:

      project-number-compute@developer.gserviceaccount.com

    3. לוחצים על סמל העיפרון בשורה שמכילה את חשבון השירות של Compute Engine שמוגדר כברירת מחדל. תוצג הכרטיסייה גישת עריכה.

    4. לוחצים על הוספת תפקיד נוסף.

    5. מוסיפים את התפקידים הבאים:

      • קורא של Artifact Registry
      • עריכה של נתוני BigQuery
      • צפייה באובייקט אחסון

      התפקיד Artifact Registry Reader מאפשר לאחזר נתונים של התמונות. עורך הנתונים של BigQuery מאפשר לכם לקרוא ולכתוב את הנתונים. התפקיד צפייה באובייקט אחסון מעניק גישת קריאה לאובייקטים של Cloud Storage.

    6. לוחצים על Save.

  2. כותבים קובץ תצורה של כלי ההתראות כדי להגדיר את כלי ההתראות של BigQuery ולסנן אירועי בנייה:

    בדוגמה הבאה של קובץ תצורה של כלי להודעות, השדה filter משתמש בCommon Expression Language עם המשתנה build כדי לסנן אירועי build עם מזהה טריגר ספציפי:

    apiVersion: cloud-build-notifiers/v1
kind: BigQueryNotifier
metadata:
  name: example-bigquery-notifier
spec:
  notification:
    filter: build.build_trigger_id == "123e4567-e89b-12d3-a456-426614174000"
    params:
      buildStatus: $(build.status)
    delivery:
      table: projects/project-id/datasets/dataset-name/tables/table-name
    template:
      type: golang
      uri: gs://bucket_name/bq.json

    כאשר:

    • ‫buildStatus הוא פרמטר מותאם אישית. הפרמטר הזה מקבל את הערך של ${build.status}, הסטטוס של ה-build.
    • ‫bucket-name הוא שם הקטגוריה.
    • ‫project-id הוא מזהה הפרויקט. Google Cloud
    • ‫dataset-name הוא השם שרוצים לתת למערך הנתונים.
    • ‫table-name הוא השם שרוצים לתת לטבלה.

    • השדה uri מפנה לקובץ bq.json. הקובץ הזה מפנה לתבנית JSON שמתארחת ב-Cloud Storage ומייצג את המידע שצריך להוסיף לטבלה ב-BigQuery.

    דוגמה לקובץ תבנית מופיעה בקובץ bq.json במאגר cloud-build-notifiers.

    הערך table-name בקובץ ההגדרות של כלי ההתראות יכול להתייחס ל:

    • טבלה שלא קיימת
    • טבלה ריקה ללא סכימה

    • טבלה קיימת עם סכימה שתואמת למפרטי הסכימה בכלי להודעות ב-BigQuery

    מומלץ לציין את מזהה טריגר לפיתוח גרסת Build כמסנן, כי ציון מזהה טריגר לפיתוח גרסת Build מאפשר לכם לקשר בין נתוני בנייה לטריגרים. אפשר גם לציין כמה מזהי טריגרים ברשימה: build.build_trigger_id in ["example-id-123", "example-id-456"].

    כדי לקבל את מזהה הטריגר, מריצים את הפקודה הבאה, שבה trigger-name הוא שם הטריגר:

    gcloud builds triggers describe trigger-name

    הפקודה תציג רשימה של שדות שמשויכים לטריגר, כולל מזהה הטריגר.

    כדי לראות את הדוגמה, אפשר לעיין בקובץ ההגדרות של כלי ההתראות עבור כלי ההתראות של BigQuery.

    במאמר בנושא משאבי Build מפורטים שדות נוספים שאפשר לסנן לפיהם. דוגמאות נוספות לסינון זמינות במאמר שימוש ב-CEL לסינון אירועי בנייה.

  3. מעלים את קובץ התצורה של כלי ההתראות לקטגוריה של Cloud Storage:

    1. אם אין לכם קטגוריה של Cloud Storage, מריצים את הפקודה הבאה כדי ליצור קטגוריה, כאשר bucket-name הוא השם שרוצים לתת לקטגוריה, בכפוף לדרישות למתן שמות.

      gcloud storage buckets create gs://bucket-name/

    2. מעלים את קובץ ההגדרות של כלי ההתראה לקטגוריה:

      gcloud storage cp config-file-name gs://bucket-name/config-file-name

      כאשר:

      • ‫bucket-name הוא שם הקטגוריה.
      • ‫config-file-name הוא השם של קובץ ההגדרות של כלי ההתראות.

  4. פורסים את כלי ההתראה ב-Cloud Run:

     gcloud run deploy service-name \
   --image=us-east1-docker.pkg.dev/gcb-release/cloud-build-notifiers/bigquery:latest \
   --no-allow-unauthenticated \
   --update-env-vars=CONFIG_PATH=config-path,PROJECT_ID=project-id

    כאשר:

    • ‫service-name הוא השם של שירות Cloud Run שבו פורסים את האימג'.
    • ‫config-path הוא הנתיב לקובץ ההגדרות של כלי ההתראה של BigQuery, ‏ gs://bucket-name/config-file-name.
    • ‫project-id הוא מזהה הפרויקט. Google Cloud

    הפקודה gcloud run deploy שולפת את הגרסה העדכנית של התמונה המתארחת מ-Artifact Registry שבבעלות Cloud Build. ‫Cloud Build תומך בתמונות של כלי התראה למשך תשעה חודשים. אחרי תשעה חודשים, Cloud Build מוחק את גרסת התמונה. אם רוצים להשתמש בגרסה קודמת של תמונה, צריך לציין את הגרסה הסמנטית המלאה של תג התמונה במאפיין image של הפקודה gcloud run deploy. גרסאות קודמות של תמונות ותגים אפשר למצוא ב-Artifact Registry.

  5. נותנים הרשאות Pub/Sub ליצירת טוקנים לאימות ב Google Cloud פרויקט:

     gcloud projects add-iam-policy-binding project-id \
   --member=serviceAccount:service-project-number@gcp-sa-pubsub.iam.gserviceaccount.com \
   --role=roles/iam.serviceAccountTokenCreator

    כאשר:

    • ‫project-id הוא מזהה הפרויקט. Google Cloud
    • ‫project-number הוא מספר הפרויקט שלכם ב- Google Cloud .

  6. יוצרים חשבון שירות שייצג את הזהות של המינוי ל-Pub/Sub:

    gcloud iam service-accounts create cloud-run-pubsub-invoker \
  --display-name "Cloud Run Pub/Sub Invoker"

    אפשר להשתמש ב-cloud-run-pubsub-invoker או בשם ייחודי בתוך הפרויקט Google Cloud .

  7. נותנים לחשבון השירות cloud-run-pubsub-invoker את ההרשאה Invoker של Cloud Run:

    gcloud run services add-iam-policy-binding service-name \
   --member=serviceAccount:cloud-run-pubsub-invoker@project-id.iam.gserviceaccount.com \
   --role=roles/run.invoker

    כאשר:

    • ‫service-name הוא השם של שירות Cloud Run שבו פורסים את האימג'.

    • ‫project-id הוא מזהה הפרויקט. Google Cloud

  8. יוצרים את הנושא cloud-builds כדי לקבל הודעות עדכון לגבי הגרסה של כלי ההתראות:

    gcloud pubsub topics create cloud-builds

    אפשר גם להגדיר שם נושא מותאם אישית בקובץ תצורת ה-build כדי שההודעות יישלחו לנושא המותאם אישית במקום זאת. במקרה כזה, יוצרים נושא עם אותו שם נושא מותאם אישית:

    gcloud pubsub topics create topic-name

    מידע נוסף זמין במאמר בנושא נושאי Pub/Sub להתראות על בנייה.

  9. יוצרים מנוי Pub/Sub מסוג push עבור כלי ההתראה:

     gcloud pubsub subscriptions create subscriber-id \
   --topic=cloud-builds \
   --push-endpoint=service-url \
   --push-auth-service-account=cloud-run-pubsub-invoker@project-id.iam.gserviceaccount.com

    כאשר:

    • ‫subscriber-id הוא השם שרוצים לתת למינוי.
    • ‫service-url היא כתובת ה-URL שנוצרה על ידי Cloud Run לשירות החדש.
    • ‫project-id הוא מזהה הפרויקט. Google Cloud

ההתראות על הפרויקט שלכם ב-Cloud Build מוגדרות עכשיו.

בפעם הבאה שתפעילו בנייה, הטבלה תתעדכן בנתונים האחרונים שתואמים למסנן שהגדרתם עבור כלי ההתראה של BigQuery.

הצגת נתוני בנייה

כדי לראות את נתוני הבנייה ב-BigQuery:

  1. פותחים את הדף במסוף BigQuery:

    פתיחת הדף של BigQuery

  2. בקטע משאבים, לוחצים על מזהה הפרויקט שבו משתמשים כדי להגדיר את כלי ההתראה של BigQuery.

  3. לוחצים על השם של מערך הנתונים.

  4. לוחצים על שם הטבלה.

עכשיו אפשר לראות מידע שקשור לטבלה, כולל הסכימה שלה ותצוגה מקדימה של נתוני הבנייה שמופיעים בטבלה.

גישה לנתוני בנייה

אפשר להריץ שאילתות על הנתונים בטבלה באמצעות כלי שורת הפקודה bq או מסוף BigQuery.

CLI

כדי לשלוח שאילתה לנתונים בטבלה באמצעות כלי שורת הפקודה bq, מריצים את הפקודה הבאה בטרמינל, כאשר sql-query היא השאילתה:

bq query sql-query

אם אתם מתכננים להשתמש בדוגמאות לשאילתות שמופיעות בדף הזה, הקפידו לציין את הדגל --nouse_legacy_sql בפקודה. בכלי שורת הפקודה bq נעשה שימוש ב-SQL מדור קודם, אבל בשאילתות לדוגמה לא. כדי להריץ שאילתות על נתונים בלי להשתמש ב-SQL מדור קודם, מריצים את הפקודה הבאה במסוף:

bq query sql-query --nouse_legacy_sql

המסוף

כדי להריץ שאילתה על הנתונים בטבלה באמצעות מסוף BigQuery:

  1. פותחים את הדף במסוף BigQuery:

    פתיחת הדף של BigQuery

  2. בקטע משאבים, לוחצים על שם הטבלה שרוצים לשלוח אליה שאילתה.

  3. כותבים את שאילתת ה-SQL בעורך השאילתות.

שימוש בשאילתות כדי לגשת לנתוני בנייה

בדוגמאות הבאות לשאילתות אפשר לראות איך ניגשים לנתוני בנייה של אירוע בנייה אחרי שמגדירים את כלי ההתראה של BigQuery:

היסטוריית הבנייה הכוללת

SELECT * FROM `projectID.datasetName.tableName`

יצירת ספירות של קמפיינים לפי סטטוס

SELECT STATUS, COUNT(*)
FROM `projectID.datasetName.tableName`
GROUP BY STATUS

תדירות הפריסה היומית בשבוע הנוכחי

SELECT DAY, COUNT(STATUS) AS Deployments
FROM (SELECT DATETIME_TRUNC(CreateTime, WEEK) AS WEEK,
      DATETIME_TRUNC(CreateTime, DAY) AS DAY,
      STATUS
      FROM `projectID.datasetName.tableName`
      WHERE STATUS="SUCCESS")
WHERE WEEK = DATETIME_TRUNC(CURRENT_DATETIME(), WEEK)
GROUP BY DAY

דוגמאות נוספות לשאילתות מופיעות בקובץ Cloud Build BigQuery Notifier README במאגר cloud-build-notifiers ב-GitHub. במאמר שליחת שאילתות לנתונים וצפייה בהם מוסבר איך לשלוח שאילתות לנתונים באמצעות BigQuery.

שימוש ב-CEL לסינון אירועים של בנייה

‫Cloud Build משתמש ב-CEL עם המשתנה build בשדות שמופיעים במשאב Build כדי לגשת לשדות שמשויכים לאירוע הבנייה, כמו מזהה הטריגר, רשימת התמונות או ערכי ההחלפה. אפשר להשתמש במחרוזת filter כדי לסנן אירועי בנייה בקובץ ההגדרות של הבנייה באמצעות כל שדה שמופיע במשאב Build. כדי למצוא את התחביר המדויק שמשויך לשדה, אפשר לעיין בקובץ cloudbuild.proto.

סינון לפי מזהה טריגר

כדי לסנן לפי מזהה טריגר, מציינים את ערך מזהה הטריגר בשדה filter באמצעות build.build_trigger_id, כאשר trigger-id הוא מזהה הטריגר כמחרוזת:

filter: build.build_trigger_id == trigger-id

סינון לפי סטטוס

כדי לסנן לפי סטטוס, מציינים את סטטוס הבנייה שרוצים לסנן לפיו בשדה filter באמצעות build.status.

בדוגמה הבאה אפשר לראות איך מסננים אירועי בנייה עם סטטוס SUCCESS באמצעות השדה filter:

filter: build.status == Build.Status.SUCCESS

אפשר גם לסנן את הגרסאות עם סטטוסים שונים. בדוגמה הבאה מוצג סינון של אירועי בנייה עם סטטוס SUCCESS, FAILURE או TIMEOUT באמצעות השדה filter:

filter: build.status in [Build.Status.SUCCESS, Build.Status.FAILURE, Build.Status.TIMEOUT]

כדי לראות ערכי סטטוס נוספים שאפשר לסנן לפיהם, אפשר לעיין בסטטוס בקטע 'הפניה למשאבי Build'.

סינון לפי תג

כדי לסנן לפי תג, מציינים את הערך של התג בשדה filter באמצעות build.tags, כאשר tag-name הוא השם של התג:

filter: tag-name in build.tags

אפשר לסנן לפי מספר התגים שצוינו באירוע ה-Build באמצעות size. בדוגמה הבאה, השדה filter מסנן אירועי build שיש להם בדיוק שני תגים, כאשר אחד מהתגים הוא v1:

filter: size(build.tags) == 2 && "v1" in build.tags

סינון לפי תמונות

כדי לסנן לפי תמונות, מציינים את הערך של התמונה בשדה filter באמצעות build.images, כאשר image-name הוא השם המלא של התמונה כפי שמופיע ב-Artifact Registry, למשל us-east1-docker.pkg.dev/my-project/docker-repo/image-one:

filter: image-name in build.images

בדוגמה הבאה, המסנן filter פועל על אירועי בנייה שבהם us-east1-docker.pkg.dev/my-project/docker-repo/image-one או us-east1-docker.pkg.dev/my-project/docker-repo/image-two מצוינים כשמות תמונות:

filter: "us-east1-docker.pkg.dev/my-project/docker-repo/image-one" in build.images || "us-east1-docker.pkg.dev/my-project/docker-repo/image-one" in build.images

סינון לפי שעה

אפשר לסנן אירועים של בנייה לפי זמן היצירה, זמן ההתחלה או זמן הסיום של הבנייה. כדי לעשות זאת, צריך לציין אחת מהאפשרויות הבאות בשדה filter: build.create_time,‏ build.start_time או build.finish_time.

בדוגמה הבאה, השדה filter משתמש ב-timestamp כדי לסנן אירועי בנייה עם זמן בקשה ליצירת הבנייה ב-20 ביולי 2020 בשעה 6:00 בבוקר:

filter: build.create_time == timestamp("2020-07-20:T06:00:00Z")

אפשר גם לסנן אירועי בנייה לפי השוואות בין תקופות. בדוגמה הבאה, השדה filter משתמש ב-timestamp כדי לסנן אירועי בנייה עם שעת התחלה בין 20 ביולי 2020 בשעה 6:00 לבין 30 ביולי 2020 בשעה 6:00.

filter: timestamp("2020-07-20:T06:00:00Z") >= build.start_time && build.start_time <= timestamp("2020-07-30:T06:00:00Z")

מידע נוסף על האופן שבו אזורי זמן מבוטאים ב-CEL זמין בהגדרת השפה של אזורי זמן.

כדי לסנן לפי משך בנייה, אפשר להשתמש ב-duration כדי להשוות בין חותמות זמן. בדוגמה הבאה, השדה filter משתמש ב-duration כדי לסנן אירועי בנייה עם בנייה שפועלת לפחות חמש דקות:

‫
filter: build.finish_time - build.start_time >= duration("5m")

סינון לפי החלפה

כדי לסנן לפי החלפה, מציינים את משתנה ההחלפה בשדה filter באמצעות build.substitutions. בדוגמה הבאה, השדה filter מפרט את הגרסאות שמכילות את משתנה ההחלפה substitution-variable, ובודק אם substitution-variable תואם ל-substitution-value שצוין:

filter: build.substitutions[substitution-variable] == substitution-value

כאשר:

  • ‫substitution-variable הוא השם של משתנה ההחלפה.
  • ‫substitution-value הוא השם של ערך ההחלפה.

אפשר גם לסנן לפי ערכי ברירת מחדל של משתני החלפה. בדוגמה הבאה, בשדה filter מופיעים build-ים עם שם הענף master ו-build-ים עם שם המאגר github.com/user/my-example-repo. משתני ההחלפה שמוגדרים כברירת מחדל, BRANCH_NAME ו-REPO_NAME, מועברים כמפתחות אל build.substitutions:

filter: build.substitutions["BRANCH_NAME"] == "master" && build.substitutions["REPO_NAME"] == "github.com/user/my-example-repo"

אם רוצים לסנן מחרוזות באמצעות ביטויים רגולריים, אפשר להשתמש בפונקציה המובנית matches. בדוגמה שלמטה, השדה filter מסנן גרסאות build עם סטטוס FAILURE או TIMEOUT, וגם גרסאות build עם משתנה החלפה TAG_NAME עם ערך שתואם לביטוי הרגולרי v{DIGIT}.{DIGIT}.{3 DIGITS}).

filter: build.status in [Build.Status.FAILURE, Build.Status.TIMEOUT] && build.substitutions["TAG_NAME"].matches("^v\\d{1}\\.\\d{1}\\.\\d{3}$")

רשימה של ערכי החלפה שמוגדרים כברירת מחדל מופיעה במאמר שימוש בהחלפות שמוגדרות כברירת מחדל.

המאמרים הבאים