איסוף יומנים של Sentry
במאמר הזה מוסבר איך להטמיע יומנים של Sentry ב-Google Security Operations באמצעות Google Cloud Storage. Sentry מייצרת נתונים תפעוליים בצורה של אירועים, בעיות, נתוני מעקב אחר ביצועים ומידע על מעקב אחר שגיאות. השילוב הזה מאפשר לכם לשלוח את היומנים האלה ל-Google SecOps לצורך ניתוח ומעקב, וכך לקבל תובנות לגבי שגיאות באפליקציות, בעיות בביצועים ואינטראקציות של משתמשים באפליקציות שבמעקב Sentry.
לפני שמתחילים
חשוב לוודא שמתקיימות דרישות הסף הבאות:
- מופע של Google SecOps
- פרויקט ב-GCP עם Cloud Storage API מופעל
- הרשאות ליצירה ולניהול של קטגוריות GCS
- הרשאות לניהול מדיניות IAM בקטגוריות GCS
- הרשאות ליצירת פונקציות Cloud Run, נושאי Pub/Sub ומשימות Cloud Scheduler
- גישה עם הרשאות ל-tenant של Sentry (אסימון אימות עם היקפי הרשאות של API)
איסוף הדרישות המוקדמות של Sentry (מזהים, מפתחות API, מזהי ארגון, אסימונים)
- נכנסים ל-Sentry.
- כדי למצוא את הסלאג של הארגון:
- עוברים אל הגדרות > ארגון > הגדרות > מזהה הארגון (הסלאג מופיע לצד שם הארגון).
- יוצרים אסימון אימות:
- עוברים אל הגדרות > הגדרות למפתחים > טוקנים אישיים.
- לוחצים על יצירת טוקן חדש.
- היקפים (מינימום):
org:read, project:read, event:read. - לוחצים על יצירת טוקן.
- מעתיקים את ערך הטוקן (מוצג רק פעם אחת). השימוש בערך הזה הוא:
Authorization: Bearer <token>.
(אם יש לכם אירוח עצמי): רושמים את כתובת ה-URL הבסיסית (לדוגמה,
https://<your-domain>). אחרת, משתמשים ב-https://sentry.io.
יצירת קטגוריה של Google Cloud Storage
- נכנסים אל מסוף Google Cloud.
- בוחרים פרויקט או יוצרים פרויקט חדש.
- בתפריט הניווט, עוברים אל Cloud Storage > Buckets.
- לוחצים על Create bucket.
מזינים את פרטי ההגדרה הבאים:
הגדרה ערך Name your bucket (שם הקטגוריה) מזינים שם ייחודי גלובלית (לדוגמה, sentry-logs)סוג מיקום בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים) Location בוחרים את המיקום (לדוגמה, us-central1).סוג אחסון (storage class) רגיל (מומלץ ליומנים שמתבצעת אליהם גישה לעיתים קרובות) בקרת גישה אחיד (מומלץ) כלים להגנה אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים לוחצים על יצירה.
יצירת חשבון שירות לפונקציית Cloud Run
פונקציית Cloud Run צריכה חשבון שירות עם הרשאות כתיבה לקטגוריית GCS והרשאה להפעלה על ידי Pub/Sub.
יצירת חשבון שירות
- במסוף GCP, נכנסים אל IAM & Admin > Service Accounts.
- לוחצים על יצירת חשבון שירות.
- מספקים את פרטי ההגדרה הבאים:
- שם חשבון השירות: מזינים
sentry-logs-collector-sa. - תיאור חשבון השירות: מזינים
Service account for Cloud Run function to collect Sentry logs.
- שם חשבון השירות: מזינים
- לוחצים על יצירה והמשך.
- בקטע Grant this service account access to project (מתן גישה של חשבון השירות הזה לפרויקט), מוסיפים את התפקידים הבאים:
- לוחצים על בחירת תפקיד.
- מחפשים את Storage Object Admin ובוחרים בו.
- לוחצים על + הוספת תפקיד נוסף.
- מחפשים את התפקיד Cloud Run Invoker (הפעלת שירותים ב-Cloud Run) ולוחצים עליו.
- לוחצים על + הוספת תפקיד נוסף.
- מחפשים את האפשרות Cloud Functions Invoker (הפעלת פונקציות של Cloud Functions) ולוחצים עליה.
- לוחצים על Continue.
- לוחצים על סיום.
התפקידים האלה נדרשים כדי:
- אדמין של אובייקט אחסון: כתיבת יומנים לקטגוריית GCS וניהול קובצי מצב
- Cloud Run Invoker: מתן הרשאה ל-Pub/Sub להפעיל את הפונקציה
- Cloud Functions Invoker: מאפשר הפעלה של פונקציות
מתן הרשאות IAM בקטגוריית GCS
נותנים לחשבון השירות הרשאות כתיבה בקטגוריית GCS:
- נכנסים אל Cloud Storage > Buckets (קטגוריות).
- לוחצים על שם הקטגוריה.
- עוברים לכרטיסייה Permissions.
- לוחצים על הענקת גישה.
- מספקים את פרטי ההגדרה הבאים:
- Add principals (הוספת ישויות מורשות): מזינים את כתובת האימייל בחשבון השירות (לדוגמה,
sentry-logs-collector-sa@PROJECT_ID.iam.gserviceaccount.com). - הקצאת תפקידים: בוחרים באפשרות אדמין של אובייקטים באחסון.
- Add principals (הוספת ישויות מורשות): מזינים את כתובת האימייל בחשבון השירות (לדוגמה,
- לוחצים על Save.
יצירת נושא Pub/Sub
יוצרים נושא Pub/Sub ש-Cloud Scheduler יפרסם בו ופונקציית Cloud Run תירשם אליו.
- במסוף GCP, עוברים אל Pub/Sub > Topics.
- לוחצים על יצירת נושא.
- מספקים את פרטי ההגדרה הבאים:
- מזהה הנושא: מזינים
sentry-logs-trigger. - משאירים את שאר ההגדרות כברירת מחדל.
- מזהה הנושא: מזינים
- לוחצים על יצירה.
יצירת פונקציית Cloud Run לאיסוף יומנים
הפונקציה של Cloud Run מופעלת על ידי הודעות Pub/Sub מ-Cloud Scheduler כדי לאחזר יומנים מ-Sentry API ולכתוב אותם ב-GCS.
- במסוף GCP, עוברים אל Cloud Run.
- לוחצים על יצירת שירות.
- בוחרים באפשרות Function (שימוש בעורך מוטבע ליצירת פונקציה).
בקטע Configure (הגדרה), מזינים את פרטי ההגדרה הבאים:
הגדרה ערך שם השירות sentry-logs-collectorאזור בוחרים אזור שתואם ל-GCS Bucket (לדוגמה, us-central1)זמן ריצה בוחרים באפשרות Python 3.12 ואילך בקטע Trigger (optional) (טריגר (אופציונלי)):
- לוחצים על + הוספת טריגר.
- בוחרים באפשרות Cloud Pub/Sub.
- בקטע Select a Cloud Pub/Sub topic, בוחרים את הנושא (
sentry-logs-trigger). - לוחצים על Save.
בקטע אימות:
- לוחצים על דרישת אימות.
- בודקים את ניהול זהויות והרשאות גישה (IAM).
גוללים למטה ומרחיבים את Containers, Networking, Security (מאגרי נתונים, רשתות, אבטחה).
עוברים לכרטיסייה אבטחה:
- חשבון שירות: בוחרים את חשבון השירות (
sentry-logs-collector-sa).
- חשבון שירות: בוחרים את חשבון השירות (
עוברים לכרטיסייה מאגרי תגים:
- לוחצים על Variables & Secrets (משתנים וסודות).
- לוחצים על + הוספת משתנה לכל משתנה סביבתי:
שם המשתנה ערך לדוגמה תיאור GCS_BUCKETsentry-logsשם קטגוריית GCS שבה הנתונים יישמרו. GCS_PREFIXsentry/events/קידומת GCS אופציונלית (תיקיית משנה) לאובייקטים. STATE_KEYsentry/events/state.jsonמפתח אופציונלי של קובץ מצב או נקודת ביקורת. SENTRY_ORGyour-org-slugהסלאג של הארגון ב-Sentry. SENTRY_AUTH_TOKENsntrys_************************Sentry Auth Token with org:read, project:read, event:read. SENTRY_API_BASEhttps://sentry.ioכתובת בסיסית של Sentry API (באירוח עצמי: https://<your-domain>).MAX_PROJECTS100מספר הפרויקטים המקסימלי לעיבוד. MAX_PAGES_PER_PROJECT5מספר הדפים המקסימלי לכל פרויקט בכל הפעלה. גוללים למטה בכרטיסייה Variables & Secrets (משתנים וסודות) אל Requests (בקשות):
- זמן קצוב לתפוגת בקשה: מזינים
600שניות (10 דקות).
- זמן קצוב לתפוגת בקשה: מזינים
עוברים לכרטיסייה הגדרות במאגרי תגים:
- בקטע מקורות מידע:
- זיכרון: בוחרים באפשרות 512 MiB או יותר.
- מעבד: בוחרים באפשרות 1.
- לוחצים על סיום.
- בקטע מקורות מידע:
גוללים אל סביבת הפעלה:
- בוחרים באפשרות ברירת מחדל (מומלץ).
בקטע Revision scaling:
- מספר מינימלי של מופעים: מזינים
0. - מספר מקסימלי של מופעים: מזינים
100(או משנים בהתאם לעומס הצפוי).
- מספר מינימלי של מופעים: מזינים
לוחצים על יצירה.
מחכים עד שהשירות ייווצר (דקה או שתיים).
אחרי שיוצרים את השירות, עורך הקוד המוטבע נפתח באופן אוטומטי.
הוספת קוד פונקציה
- מזינים main בFunction entry point (נקודת הכניסה לפונקציה).
בעורך הקוד המוטבע, יוצרים שני קבצים:
- הקובץ הראשון: main.py:
import functions_framework from google.cloud import storage import json import os import urllib3 from datetime import datetime, timezone import time # Initialize HTTP client http = urllib3.PoolManager() # Initialize Storage client storage_client = storage.Client() @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function triggered by Pub/Sub to fetch Sentry events and write to GCS. Args: cloud_event: CloudEvent object containing Pub/Sub message """ # Get environment variables bucket_name = os.environ.get('GCS_BUCKET') prefix = os.environ.get('GCS_PREFIX', 'sentry/events/') state_key = os.environ.get('STATE_KEY', 'sentry/events/state.json') org = os.environ.get('SENTRY_ORG', '').strip() token = os.environ.get('SENTRY_AUTH_TOKEN', '').strip() api_base = os.environ.get('SENTRY_API_BASE', 'https://sentry.io').rstrip('/') max_projects = int(os.environ.get('MAX_PROJECTS', '100')) max_pages_per_project = int(os.environ.get('MAX_PAGES_PER_PROJECT', '5')) if not all([bucket_name, org, token]): print('Error: Missing required environment variables') return try: # Get GCS bucket bucket = storage_client.bucket(bucket_name) # Load state state = load_state(bucket, state_key) state.setdefault('projects', {}) # Get list of projects projects = list_projects(api_base, org, token, max_projects) print(f'Found {len(projects)} projects') summary = [] # Process each project for slug in projects: start_prev = state['projects'].get(slug, {}).get('prev_cursor') res = fetch_project_events( api_base, org, token, slug, start_prev, max_pages_per_project, bucket, prefix ) if res.get('store_prev_cursor'): state['projects'][slug] = {'prev_cursor': res['store_prev_cursor']} summary.append(res) # Save state save_state(bucket, state_key, state) print(f'Successfully processed {len(projects)} projects') print(f'Summary: {json.dumps(summary)}') except Exception as e: print(f'Error processing logs: {str(e)}') raise def load_state(bucket, key): """Load state from GCS.""" try: blob = bucket.blob(key) if blob.exists(): state_data = blob.download_as_text() return json.loads(state_data) if state_data else {'projects': {}} except Exception as e: print(f'Warning: Could not load state: {str(e)}') return {'projects': {}} def save_state(bucket, key, state): """Save state to GCS.""" try: blob = bucket.blob(key) blob.upload_from_string( json.dumps(state, separators=(',', ':')), content_type='application/json' ) except Exception as e: print(f'Warning: Could not save state: {str(e)}') def sentry_request(api_base, token, path, params=None): """Make request to Sentry API.""" url = f"{api_base}{path}" if params: url = f"{url}?{urllib3.request.urlencode(params)}" headers = { 'Authorization': f'Bearer {token}', 'Accept': 'application/json', 'User-Agent': 'chronicle-gcs-sentry-function/1.0' } response = http.request('GET', url, headers=headers, timeout=60.0) data = json.loads(response.data.decode('utf-8')) link = response.headers.get('Link') return data, link def parse_link_header(link_header): """Parse Link header to extract cursors.""" if not link_header: return None, False, None, False prev_cursor, next_cursor = None, None prev_more, next_more = False, False parts = [p.strip() for p in link_header.split(',')] for p in parts: if '<' not in p or '>' not in p: continue url = p.split('<', 1)[1].split('>', 1)[0] rel = 'previous' if 'rel="previous"' in p else ('next' if 'rel="next"' in p else None) has_more = 'results="true"' in p try: from urllib.parse import urlparse, parse_qs q = urlparse(url).query cur = parse_qs(q).get('cursor', [None])[0] except Exception: cur = None if rel == 'previous': prev_cursor, prev_more = cur, has_more elif rel == 'next': next_cursor, next_more = cur, has_more return prev_cursor, prev_more, next_cursor, next_more def write_page(bucket, prefix, project_slug, payload, page_idx): """Write page of events to GCS.""" ts = time.gmtime() key = f"{prefix.rstrip('/')}/{time.strftime('%Y/%m/%d', ts)}/sentry-{project_slug}-{page_idx:05d}.json" blob = bucket.blob(key) blob.upload_from_string( json.dumps(payload, separators=(',', ':')), content_type='application/json' ) return key def list_projects(api_base, org, token, max_projects): """List Sentry projects.""" projects, cursor = [], None while len(projects) < max_projects: params = {'cursor': cursor} if cursor else {} data, link = sentry_request(api_base, token, f'/api/0/organizations/{org}/projects/', params) for p in data: slug = p.get('slug') if slug: projects.append(slug) if len(projects) >= max_projects: break _, _, next_cursor, next_more = parse_link_header(link) cursor = next_cursor if next_more else None if not next_more: break return projects def fetch_project_events(api_base, org, token, project_slug, start_prev_cursor, max_pages, bucket, prefix): """Fetch events for a project.""" pages = 0 total = 0 latest_prev_cursor_to_store = None def fetch_one(cursor): nonlocal pages, total, latest_prev_cursor_to_store params = {'cursor': cursor} if cursor else {} data, link = sentry_request(api_base, token, f'/api/0/projects/{org}/{project_slug}/events/', params) write_page(bucket, prefix, project_slug, data, pages) total += len(data) if isinstance(data, list) else 0 prev_c, prev_more, next_c, next_more = parse_link_header(link) latest_prev_cursor_to_store = prev_c or latest_prev_cursor_to_store pages += 1 return prev_c, prev_more, next_c, next_more if start_prev_cursor: # Poll new pages toward "previous" until no more cur = start_prev_cursor while pages < max_pages: prev_c, prev_more, _, _ = fetch_one(cur) if not prev_more: break cur = prev_c else: # First run: start at newest, then backfill older pages prev_c, _, next_c, next_more = fetch_one(None) cur = next_c while next_more and pages < max_pages: _, _, next_c, next_more = fetch_one(cur) cur = next_c return { 'project': project_slug, 'pages': pages, 'written': total, 'store_prev_cursor': latest_prev_cursor_to_store } ``` * Second file: **requirements.txt:**functions-framework3.* google-cloud-storage2.* urllib3>=2.0.0 ```
לוחצים על Deploy (פריסה) כדי לשמור ולפרוס את הפונקציה.
ממתינים עד שהפריסה תושלם (2-3 דקות).
יצירת משימה ב-Cloud Scheduler
Cloud Scheduler מפרסם הודעות בנושא Pub/Sub במרווחי זמן קבועים, וכך מפעיל את פונקציית Cloud Run.
- במסוף GCP, עוברים אל Cloud Scheduler.
- לוחצים על יצירת משימה.
מזינים את פרטי ההגדרה הבאים:
הגדרה ערך שם sentry-logs-collector-hourlyאזור בחירה באותו אזור כמו פונקציית Cloud Run תדירות 0 * * * *(כל שעה, בדיוק בשעה)אזור זמן בחירת אזור זמן (מומלץ להשתמש ב-UTC) סוג הטירגוט Pub/Sub נושא בוחרים את הנושא ( sentry-logs-trigger)גוף ההודעה {}(אובייקט JSON ריק)לוחצים על יצירה.
אפשרויות לתדירות התזמון
בחירת התדירות בהתאם לנפח היומן ולדרישות זמן האחזור:
תדירות ביטוי Cron תרחיש לדוגמה כל 5 דקות */5 * * * *נפח גבוה, זמן אחזור נמוך כל 15 דקות */15 * * * *נפח חיפושים בינוני כל שעה 0 * * * *רגיל (מומלץ) כל 6 שעות 0 */6 * * *נפח נמוך, עיבוד באצווה יומי 0 0 * * *איסוף נתונים היסטוריים
בדיקת משימת המתזמן
- במסוף Cloud Scheduler, מאתרים את העבודה.
- לוחצים על הפעלה מאולצת כדי להפעיל את הטריגר באופן ידני.
- מחכים כמה שניות ועוברים אל Cloud Run > Services > sentry-logs-collector > Logs.
- מוודאים שהפונקציה בוצעה בהצלחה.
- בודקים את דלי ה-GCS כדי לוודא שהיומנים נכתבו.
אחזור חשבון השירות של Google SecOps
Google SecOps משתמש בחשבון שירות ייחודי כדי לקרוא נתונים ממאגר GCS שלכם. צריך להעניק לחשבון השירות הזה גישה לדלי.
קבלת כתובת האימייל בחשבון השירות
- עוברים אל SIEM Settings > Feeds (הגדרות SIEM > פידים).
- לוחצים על הוספת פיד חדש.
- לוחצים על הגדרת פיד יחיד.
- בשדה שם הפיד, מזינים שם לפיד (לדוגמה,
Sentry Logs). - בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
- בוחרים באפשרות Sentry בתור סוג היומן.
לוחצים על Get Service Account (קבלת חשבון שירות). מוצגת כתובת אימייל ייחודית של חשבון השירות, לדוגמה:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comמעתיקים את כתובת האימייל הזו לשימוש בשלב הבא.
הענקת הרשאות IAM לחשבון השירות של Google SecOps
לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של GCS.
- נכנסים אל Cloud Storage > Buckets (קטגוריות).
- לוחצים על שם הקטגוריה.
- עוברים לכרטיסייה Permissions.
- לוחצים על הענקת גישה.
- מספקים את פרטי ההגדרה הבאים:
- Add principals (הוספת ישויות מורשות): מדביקים את כתובת האימייל בחשבון של חשבון השירות של Google SecOps.
- הקצאת תפקידים: בוחרים באפשרות צפייה באובייקט אחסון.
לוחצים על Save.
הגדרת פיד ב-Google SecOps להטמעה של יומני Sentry
- עוברים אל SIEM Settings > Feeds (הגדרות SIEM > פידים).
- לוחצים על הוספת פיד חדש.
- לוחצים על הגדרת פיד יחיד.
- בשדה שם הפיד, מזינים שם לפיד (לדוגמה,
Sentry Logs). - בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
- בוחרים באפשרות Sentry בתור סוג היומן.
- לוחצים על הבא.
מציינים ערכים לפרמטרים הבאים של הקלט:
כתובת ה-URL של קטגוריית האחסון: מזינים את ה-URI של קטגוריית GCS עם נתיב הקידומת:
gs://sentry-logs/sentry/events/מחליפים את:
-
sentry-logs: שם קטגוריית ה-GCS. -
sentry/events/: קידומת אופציונלית או נתיב תיקייה שבהם מאוחסנים היומנים (משאירים ריק בשביל תיקיית הבסיס).
-
לדוגמה:
- קטגוריית הבסיס:
gs://company-logs/ - עם קידומת:
gs://company-logs/sentry-logs/ - עם תיקיית משנה:
gs://company-logs/sentry/events/
- קטגוריית הבסיס:
אפשרות למחיקת המקור: בוחרים את אפשרות המחיקה לפי ההעדפה שלכם:
- אף פעם: לא נמחקים קבצים אחרי ההעברה (מומלץ לבדיקות).
- מחיקת קבצים שהועברו: הקבצים נמחקים אחרי שההעברה מסתיימת בהצלחה.
מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת בהצלחה.
הגיל המקסימלי של הקובץ: כולל קבצים שעברו שינוי במספר הימים האחרון. ברירת המחדל היא 180 ימים.
מרחב השמות של הנכס: מרחב השמות של הנכס.
תוויות להוספה: התווית שתתווסף לאירועים מהפיד הזה.
לוחצים על הבא.
בודקים את ההגדרות של הפיד החדש במסך סיום ולוחצים על שליחה.
טבלת מיפוי UDM
| שדה ביומן | מיפוי UDM | לוגיקה |
|---|---|---|
environment_label |
additional.fields |
ממוזג |
exception_type_label |
additional.fields |
ממוזג |
exception_value_label |
additional.fields |
ממוזג |
type_label |
additional.fields |
ממוזג |
msg |
metadata.description |
מיפוי ישיר |
timestamp |
metadata.event_timestamp |
הניתוח הוא ISO8601 |
has_principal |
metadata.event_type |
מיפוי: true ← NETWORK_CONNECTION, true ← STATUS_UPDATE |
has_target_user |
metadata.event_type |
מיפוי: true ← USER_UNCATEGORIZED |
event_id |
metadata.product_log_id |
מיפוי ישיר |
application_protocol |
network.application_protocol |
מיפוי ישיר |
response_code |
network.http.response_code |
מיפוי ישיר |
host |
principal.asset.ip |
ממוזג |
host |
principal.ip |
ממוזג |
host_label |
principal.resource.attribute.labels |
ממוזג |
release_label |
principal.resource.attribute.labels |
ממוזג |
source_type_label |
principal.resource.attribute.labels |
ממוזג |
splunk_index_label |
principal.resource.attribute.labels |
ממוזג |
splunk_source_label |
principal.resource.attribute.labels |
ממוזג |
issue_id |
principal.resource.product_object_id |
מיפוי ישיר |
tag_label |
security_result.detection_fields |
ממוזג |
transaction_label |
security_result.detection_fields |
ממוזג |
project_id |
target.asset.attribute.cloud.project.id |
מיפוי ישיר |
user_ip_trunc |
target.asset.ip |
ממוזג |
user_ip_trunc |
target.ip |
ממוזג |
user_id |
target.user.userid |
מיפוי ישיר |
| לא רלוונטי | metadata.event_type |
קבוע: NETWORK_CONNECTION |
שנה רישום
צפייה ביומן השינויים של כלי הניתוח הזה
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.