ניתוח הפעילות בפיד באמצעות Cloud Logging

נתמך ב:

המדריך הזה עוזר למהנדסי אבטחה ולאדמינים לנטר, לנפות באגים ולפתור בעיות בצינורות להעברת נתונים ובפידים ב-Google SecOps SIEM. לסקירה כללית רחבה יותר של הטמעת נתונים ב-Monitoring, ראו בדיקת תקינות הטמעת הנתונים ופתרון בעיות בהטמעת נתונים. במדריך הזה מוסבר איך לשלוח, להציג ולשאול שאילתות לגבי יומני פעילות של הטמעה ופידים ב-Cloud Logging. באמצעות Cloud Logging, אתם יכולים לאבחן בעיות שקשורות למסירת יומנים – כמו יומנים חסרים, יומנים שמתקבלים באיחור או יומנים שנכשלים – ולקצר את הזמן שנדרש לפתרון אנומליות בהטמעה. היכולת לראות את מנגנוני ההטמעה מבוססי הדחיפה והמשיכה מאפשרת לכם גם להשתמש ב-Gemini Cloud Assist כדי לבדוק את הטלמטריה של הרישום ביומן ואת המדדים.

לפני שמתחילים

  • כדי לקבל את ההרשאות שנדרשות לצפייה ביומנים, צריך לבקש מהאדמין להקצות לכם את אחד מתפקידי ניהול הזהויות והרשאות הגישה (IAM) הבאים בפרויקט:

    • צפייה ביומנים (roles/logging.viewer)
    • צפייה ביומנים פרטיים (roles/logging.privateLogViewer)

    אפשר לקרוא מידע נוסף על הקצאת תפקידים במאמר ניהול הגישה.

  • הבנת ההשלכות על העלויות. ‫Cloud Logging הוא שירות בתשלום. תוכנית חינמית זמינה כחלק מ Google Cloud Free Program. מידע נוסף זמין במאמר Google Cloud תמחור של Observability.

מונחים חשובים

  • ‫chronicle-siem: תווית מרחב השמות של יומנים שמשויכים למערכת האקולוגית של Google SecOps.
  • ‫chronicle.googleapis.com/ingestion_activity: מזהה היומן של זרם היומן שקשור ספציפית לצינורות להעברת נתונים ב-Google SecOps.
  • ‫storage_transfer_job: סוג המשאב של יומנים מפידים סטטיים שמשתמשים ב-Storage Transfer Service (STS).
  • ‫storagetransfer.googleapis.com/transfer_activity: מזהה היומן של יומני הפעילות של STS.

סקירה כללית על ניתוח פעילות בפיד

ניתוח פעילות הפיד ב-Cloud Logging כולל כמה שלבים חשובים:

  1. גישה ל-Logs Explorer: עוברים אל Logs Explorer במסוף Google Cloud ובוחרים את הפרויקט הנכון Google Cloud . מידע נוסף זמין במאמר בנושא הממשק של Logs Explorer.
  2. שאילתות ביומנים: אפשר ליצור שאילתות כדי לסנן יומנים לפי פרמטרים שונים, כמו טווחי זמן, מרחבי שמות, מזהי יומנים, מנגנוני הטמעה, מזהי פידים או מזהי אוספים. כללי התחביר מפורטים במאמר שפת השאילתות של רישום ביומן. במדריך הזה אנחנו מספקים דוגמאות לתרחישי סינון נפוצים.
  3. בדיקת סוגים ספציפיים של פידים: כאן מוסבר איך לשלוח שאילתות ליומנים לגבי פידים באמצעות שיטות שונות להעברת נתונים, כולל שיטות שמשתמשות ב-Storage Transfer Service ‏ (STS), שיש להן פורמטים ייחודיים של יומנים.
  4. שימוש בכלים של המסוף: כדי לייעל את תהליך הניתוח וניפוי הבאגים, אפשר להשתמש בתכונות המובנות של מסוף Google SecOps, כמו ניפוי באגים באמצעות יומנים ו-Gemini Cloud Assist.
  5. הסבר על סכימת היומן: כדאי לעיין בהפניה לסכימה כדי להבין את השדות ואת סוגי הנתונים במטעני הייעודי (payload) של היומן, וכך לבצע ניתוח מעמיק יותר ולפתור בעיות.

בקטעים הבאים מפורט מידע שיעזור לכם לעקוב ביעילות אחרי תקינות פייפליינים של הטמעת נתונים, לנפות באגים ולפתור שגיאות.

צפייה ביומני פעילות של פידים והרצת שאילתות עליהם

כדי להציג את יומני הפעילות של הפיד ולשלוח עליהם שאילתות:

  1. נכנסים לדף Logs Explorer במסוף Google Cloud .
  2. בוחרים את Google Cloud הפרויקט שמשויך למופע Google SecOps.
  3. מזינים ביטוי שאילתה בחלונית שאילתה כדי לסנן את היומנים.
  4. לוחצים על Run query.

בקטעים הבאים מוצגות שאילתות לדוגמה לתרחישים נפוצים.

סינון לפי מרחב שמות של Google SecOps

כדי לאחזר את כל היומנים שמשויכים למערכת האקולוגית של Google SecOps, משתמשים בשאילתה הבאה:

labels.namespace="chronicle-siem"

סינון לפי סטרימינג של יומן פעילות ההטמעה

כדי לבודד יומנים שקשורים ספציפית לצינורות להעברת נתונים, משתמשים בשאילתה הבאה:

log_id("chronicle.googleapis.com/ingestion_activity")

סינון לפי מנגנון ההטמעה

כדי לטרגט יומנים למנגנון הטמעה ספציפי, כמו ממשקי API של צד שלישי, משתמשים בשדה labels.ingestion_mechanism בשאילתה:

labels.ingestion_mechanism="Third Party API"

סינון לפי מזהה פיד או מזהה אוסף

כדי להציג יומנים של פיד אוסף או של פיד הטמעה ספציפיים, משתמשים בשדה labels.feed_id או labels.collector_id. מידע על הגדרת פידים זמין במאמרים ניהול פידים של נתונים וסקירה כללית בנושא פידים של נתונים. לגבי כלי איסוף, אפשר לעיין במאמר הטמעה וניתוח של יומנים:

labels.feed_id="FEED_ID"

מחליפים את FEED_ID במזהה הייחודי של הפיד.

labels.collector_id="COLLECTOR_ID"

מחליפים את COLLECTOR_ID במזהה הייחודי של האוסף.

צפייה ביומנים של Storage Transfer Service

יומנים של פידים סטטיים שמשתמשים בשירות העברת נתונים (STS) מנותבים מסביבת הדייר לפרויקט Google Cloud שלכם, ומשתמשים בסוג משאב ובשם יומן שונים. מידע כללי על STS זמין במסמכי העזרה של Storage Transfer Service.

  • מטרה: הצגת פעילות ביומן STS.
    פעולה: מריצים את השאילתה הבאה: none resource.type="storage_transfer_job" AND log_id("storagetransfer.googleapis.com/transfer_activity")

  • כשל צפוי: חיפוש באמצעות log_id("chronicle.googleapis.com/ingestion_activity") לא יציג יומנים עבור הפידים הסטטיים האלה.

  • פעולת תיקון: משתמשים ב-resource.type="storage_transfer_job" וב-STS הספציפי log_id.

שימוש בכלים של המסוף לניפוי באגים בפידים

ב-Google SecOps יש שילובים של מסוף שמאפשרים גישה ליומני פעילות:

  • שואלים את Gemini Cloud Assist: בדף פידים, בוחרים באפשרות שואלים את Gemini Cloud Assist כדי לפתוח את חלונית הצ'אט. אתם יכולים לשאול שאלות לגבי נפחי הפיד והשגיאות. מידע נוסף זמין במאמר סקירה כללית על Gemini ב-Google SecOps.
  • ניפוי באגים באמצעות יומנים: בדף ניהול פידים, פותחים את תפריט הפעולות של פיד ספציפי ובוחרים באפשרות ניפוי באגים באמצעות יומנים. האפשרות הזו זמינה גם בדף View feed (הצגת הפיד). Logs Explorer ייפתח בכרטיסייה חדשה, עם סינון מראש לפי מזהה הפיד שנבחר.

הפניה לסכימת היומן

יומני הפעילות של הפידים משתמשים במבנה מאוחד של מטען ייעודי (payload) בפורמט JSON.

שדות ביומן הפעילות של ההטמעה

שדה סוג נתונים תיאור
request_start_time string חותמת זמן (RFC 3339) שבה הפעילות התחילה.
activity_duration string משך הזמן הכולל שחלף במהלך הפעילות (למשל, ‎1.500s).
transfer_id string מזהה ייחודי של קובץ ספציפי או של פעולת העברת נתונים.
feed_id string מזהה ייחודי של פיד ההטמעה של Google SecOps.
collector_id string המזהה הייחודי של הכלי לאיסוף נתונים שמבצע את ההעברה.
log_type string הפורמט של היומנים שמועברים (לדוגמה, DUO,‏ OFFICE_365). רשימה של מחרוזות פורמט זמינה במאמר בנושא מנתחי ברירת מחדל נתמכים.
file string שם הקובץ או מאגר ה-Blob שעברו עיבוד (במקורות שמבוססים על קובץ).
request_urls array of strings כתובות URL לטירגוט שמשמשות לשליפה או להעברה של נתונים (למקורות מבוססי-API).
http_status_code integer קוד הסטטוס של HTTP שהתקבל מפעולות אחזור של API.
bytes_transferred integer מספר הבייטים הגולמיים שהועברו בהצלחה במהלך הפעילות.
record_count integer מספר הרשומות ביומן שמעובדות, נשלפות או מנותחות.
activity string שם המשימה שמופעלת (לדוגמה, File Processing, ‏ File Transfer).
details string מטא-נתונים או פרטים נוספים לגבי פעילות ההטמעה.
error_details object מידע מפורט על השגיאה אם הפעילות נכשלה. פירוט השדות של פרטי השגיאה

שדות של פרטי שגיאה

שדה סוג נתונים תיאור
error_message string הסבר על השגיאה שכתוב בצורה קריאה לאנשים.
error_code string קוד או מזהה שגיאה (תמיכה בקודים מספריים ובקודים של מחרוזות תיאוריות).
error_type string סיווג או קטגוריה של השגיאה.
is_retriable boolean מציין אם אפשר לנסות שוב לבצע את הפעולה שגרמה לשגיאה.

דוגמאות למטענים ייעודיים (payloads) של יומנים

דוגמה ליומן פעילות של הטמעה מוצלחת

{
  "request_start_time": "2026-06-30T19:00:00Z",
  "activity_duration": "0.500s",
  "transfer_id": "transfer-12345",
  "feed_id": "feed-998877",
  "collector_id": "collector-abcd",
  "log_type": "WORKDAY_AUDIT",
  "file": "audit_log_2026_06_30.json",
  "request_urls": [
    "https://api.workday.com/ccx/v1/tenant/logs"
  ],
  "http_status_code": 200,
  "bytes_transferred": 4512000,
  "record_count": 12500,
  "activity": "File Processing",
  "details": "Successfully processed and validated 12500 records from Workday."
}

דוגמה ליומן פעילות של הטמעה שנכשלה

{
  "request_start_time": "2026-06-30T19:05:00Z",
  "activity_duration": "1.200s",
  "transfer_id": "transfer-12346",
  "feed_id": "feed-998877",
  "collector_id": "collector-abcd",
  "log_type": "WORKDAY_AUDIT",
  "request_urls": [
    "https://api.workday.com/ccx/v1/tenant/logs"
  ],
  "http_status_code": 401,
  "bytes_transferred": 0,
  "record_count": 0,
  "activity": "File Transfer",
  "details": "Authorization failure during API request.",
  "error_details": {
    "error_message": "Invalid API token or credential expired.",
    "error_code": "401",
    "error_type": "AUTHORIZATION_ERROR",
    "is_retriable": true
  }
}

פתרון בעיות

בקטע הזה מפורטות מגבלות ובעיות נפוצות.

מגבלות

  • שדות של Storage Transfer Service‏ (STS): יומנים של פידים סטטיים שמועברים מ-STS משתמשים בסוג המשאב storage_transfer_job ובשם היומן storagetransfer.googleapis.com/transfer_activity במקום chronicle.googleapis.com/ingestion_activity.
  • קורלציה של טלמטריה: שדות בעלי עוצמה (cardinality) גבוהה, כמו feed_id, נכללים כתוויות מטא-נתונים ביומנים ולא כתוויות משאבים בהגדרת המשאב במעקב. יכולות ההצלבה של Gemini Cloud Assist באמצעות תוויות מטא נתונים נמצאות בתהליך הערכה מתמשך.

תיקון שגיאות

תיאור הבעיה תיקון
חסרים יומנים של פידים סטטיים בשאילתות רגילות חשוב לוודא שאתם שולחים שאילתה באמצעות סוג המשאב הספציפי ל-STS‏ storage_transfer_job ומזהה היומן storagetransfer.googleapis.com/transfer_activity. איך צופים ביומנים של Storage Transfer Service

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.