מעקב אחרי השימוש ב-Data Boost

בדף הזה מוסבר איך משתמשים ב-Cloud Monitoring וביומני הביקורת של Spanner כדי לעקוב אחרי השימוש ב-Spanner Data Boost ולנתח אותו.

באמצעות Cloud Monitoring אתם יכולים לעקוב אחרי השימוש הכולל לאורך זמן, ולחלק את השימוש לפי משתמש. יומני הביקורת של Spanner מאפשרים ניתוח גמיש יותר של השימוש, כולל הצגת מדדים לפי משתמש או לפי מזהה משימה ב-BigQuery.

שימוש ב-Monitoring כדי לעקוב אחרי השימוש ב-Data Boost

כדי לעקוב אחרי השימוש הכולל ב-Data Boost:

  1. במסוף Google Cloud , נכנסים לדף Monitoring.
    למעבר אל Monitoring
  2. אם האפשרות Metrics Explorer מופיעה בתפריט הניווט, לוחצים עליה. אחרת, לוחצים על Resources ובוחרים באפשרות Metrics Explorer.
  3. בחלק העליון של הדף, בוחרים מרווח זמן.
  4. ברשימה הנפתחת Metric, בשדה Filter by resource or metric name, מזינים spanner ולוחצים על Enter כדי לצמצם את החיפוש.

  5. ברשימה Metric, בוחרים באפשרות Cloud Spanner Instance > Instance > Processing unit second ולוחצים על Apply.

    כך נוצר תרשים קו של השימוש המצטבר ב-Data Boost בכל המכונות של Spanner.

  6. כדי לראות את השימוש במכונה מסוימת:

    1. משתמשים בשדה Filter כדי להוסיף מסננים, כמו מזהה המכונה.
    2. לוחצים על + כדי להוסיף עוד מאפיינים.

  7. כדי לראות פירוט של השימוש בכל המכונות:

    1. כדי לנקות את המסננים, לוחצים על הסמל X לצד שדות הסינון.
    2. ברשימה הנפתחת של האופרטור Aggregation, בוחרים באפשרות Sum ואז בוחרים לפי instance_id.

  8. כדי לפצל את השימוש לפי חשבון משתמש, בתפריט הנפתח של האופרטור Aggregation בוחרים באפשרות Sum ואז באפשרות credential_id.

שימוש ביומני ביקורת כדי לנתח את השימוש ב-Data Boost

יומני הביקורת של Spanner מאפשרים ניתוח גמיש יותר של השימוש ב-Data Boost. בנוסף ליכולת לנתח את השימוש לאורך זמן לפי מכונה או חשבון משתמש, כמו ב-Monitoring, יומני הביקורת של Spanner (אם הם מופעלים וזמינים) מאפשרים לנתח את השימוש לאורך זמן לפי מסד נתונים או מזהה משימה ב-BigQuery.

הפעלת יומני ביקורת יכולה לגרום לחיובים נוספים. למידע על התמחור של Cloud Logging, ראו התמחור של Google Cloud Observability: ‏Logging.

הפעלת יומני ביקורת על השימוש ב-Data Boost

כדי לאסוף נתוני שימוש ב-Data Boost, צריך להפעיל את יומני הביקורת של הגישה לנתונים ב-Spanner. כדי לעשות את זה:

  1. פועלים לפי ההוראות במאמר הגדרת יומני ביקורת של גישה לנתונים באמצעות מסוף Google Cloud .
  2. מפעילים את סוג היומן קריאת נתונים בשירות Spanner API.
  3. כדי לקבל את השימוש ב-Data Boost לפי טקסט SQL של משימת BigQuery, ודאו שגם יומני הביקורת של BigQuery מופעלים.

הצגת השימוש לפי חשבון משתמש

כדי לשלוח שאילתה ליומני הביקורת ולראות את השימוש ב-Data Boost לפי משתמש:

  1. נכנסים לדף Logs Explorer במסוף Google Cloud .

    כניסה לדף Logs Explorer

  2. בתפריט הניווט, לוחצים על ניתוח נתוני יומן.

  3. כדי להציג את השימוש לפי משתמש ומסד נתונים ב-7 הימים האחרונים, מריצים את השאילתה הבאה. כדי לשנות את טווח הזמן של השימוש שמוצג, משנים את הביטוי timestamp בסעיף WHERE.

    SELECT
  SUM(CAST(JSON_VALUE(labels.data_boost_usage) AS INT64)) AS usage,
  REGEXP_EXTRACT(
    proto_payload.audit_log.resource_name,
    'projects/[^/]+/instances/[^/]+/databases/[^/]+') AS database,
  proto_payload.audit_log.authentication_info.principal_email AS principal_email
FROM `PROJECT_NAME.global._Default._AllLogs`
WHERE
  timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND resource.type = 'spanner_instance' AND operation.last IS NULL
  AND JSON_VALUE(labels.data_boost_usage) != ''
GROUP BY database, principal_email;

    מחליפים את PROJECT_NAME בשם הפרויקט.

בדוגמה הבאה מוצג השימוש ביחידות עיבוד של 4 חשבונות משתמשים.

השימוש ב-Data Boost לפי משתמש מיומני הביקורת

הצגת השימוש לפי מזהה משימה ב-BigQuery

כדי לשלוח שאילתה ליומני הביקורת כדי לראות את השימוש ב-Data Boost בחלוקה לפי מסד נתונים, משתמש ומזהה משימה ב-BigQuery, פועלים לפי השלבים הבאים:

  1. נכנסים לדף Logs Explorer במסוף Google Cloud .

    כניסה לדף Logs Explorer

  2. בתפריט הניווט, לוחצים על ניתוח נתוני יומן.

  3. מריצים את השאילתה הבאה:

    SELECT
  SUM(CAST(JSON_VALUE(labels.data_boost_usage) AS INT64)) AS usage,
  REGEXP_EXTRACT(
    proto_payload.audit_log.resource_name,
    'projects/[^/]+/instances/[^/]+/databases/[^/]+') AS database,
  proto_payload.audit_log.authentication_info.principal_email AS principal_email,
  IFNULL(JSON_VALUE(labels.data_boost_workload_id), 'not from BigQuery') AS job_id
FROM `PROJECT_NAME.global._Default._AllLogs`
WHERE
  timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND resource.type = 'spanner_instance' AND operation.last IS NULL
  AND JSON_VALUE(labels.data_boost_usage) != ''
GROUP BY database, principal_email, job_id;

    מחליפים את PROJECT_NAME בשם הפרויקט.

בדוגמה הבאה מוצג השימוש לפי מזהה משימה ב-BigQuery.

השימוש ב-Data Boost לפי מזהה משימה

הצגת השימוש לפי טקסט SQL ב-BigQuery

כדי לראות את השימוש ב-Data Boost בכמה משימות ב-BigQuery, לפי טקסט ה-SQL של המשימות האלה:

  1. נכנסים לדף Logs Explorer במסוף Google Cloud .

    כניסה לדף Logs Explorer

  2. בתפריט הניווט, לוחצים על ניתוח נתוני יומן.

  3. מריצים את השאילתה הבאה:

    SELECT
  SUM(
    CAST(
      JSON_VALUE(db.labels.data_boost_usage)
      AS INT64)) AS usage,
  JSON_VALUE(
    bq.proto_payload.audit_log.metadata.jobInsertion.job.jobConfig.queryConfig.query)
    AS bq_query
FROM
  `PROJECT_NAME.global._Default._AllLogs` db,
  `PROJECT_NAME.global._Default._AllLogs` bq
WHERE
  db.timestamp > TIMESTAMP_SUB(
    CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND db.resource.type = 'spanner_instance'
  AND JSON_VALUE(db.labels.data_boost_usage) != ''
  AND db.operation.last IS NULL
  AND bq.timestamp > TIMESTAMP_SUB(
    CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND bq.proto_payload.audit_log.method_name
    = 'google.cloud.bigquery.v2.JobService.InsertJob'
  AND bq.resource.type = 'bigquery_project'
  AND JSON_VALUE(
    bq.proto_payload.audit_log.metadata.jobInsertion.job.jobConfig.queryConfig.query)
    IS NOT NULL
  AND JSON_VALUE(db.labels.data_boost_workload_id)
    = REGEXP_EXTRACT(bq.proto_payload.audit_log.resource_name, '[^/]*$')
GROUP BY bq_query
ORDER BY usage DESC

    מחליפים את PROJECT_NAME בשם הפרויקט.

בדוגמה הבאה מוצג השימוש ב-Data Boost לפי טקסט SQL.

שימוש ב-Data Boost לפי טקסט SQL

יצירת התראה על Data Boost

כדי ליצור התראה שמופיעה כשהשימוש ב-Data Boost חורג מסף שהוגדר מראש, קראו את המאמר הגדרת התראה על שימוש ב-Data Boost.

המאמרים הבאים