איסוף יומנים של Smartsheet

נתמך ב:

במאמר הזה מוסבר איך להטמיע יומני Smartsheet ב-Google Security Operations באמצעות Google Cloud Storage.

‫Smartsheet היא פלטפורמה לניהול עבודה שיתופית שמספקת לצוותים ארגוניים ניהול פרויקטים, טבלה לחלוקת משימות ואוטומציה של תהליכי עבודה, בדומה לגיליון אלקטרוני. ‫Event Reporting API מספק יומני ביקורת שכוללים יותר מ-100 סוגי אירועים, כולל פעולות של משתמשים, גישה לנתונים, שינויים בשיתוף ופעולות ניהוליות בארגון ב-Smartsheet.

לפני שמתחילים

חשוב לוודא שיש לכם את הדברים הבאים:

  • מכונה של Google SecOps
  • פרויקט ב-GCP שבו מופעל Cloud Storage API
  • הרשאות ליצירה ולניהול של קטגוריות ב-GCS
  • הרשאות לניהול מדיניות IAM בקטגוריות של GCS
  • הרשאות ליצירת פונקציות Cloud Run, נושאי Pub/Sub ומשימות Cloud Scheduler
  • תוכנית Smartsheet Enterprise עם תוסף דוח אירועים מופעל
  • חשבון אדמין מערכת ב-Smartsheet עם גישה ל-API

איסוף פרטי הכניסה ל-API של Smartsheet

יצירת אסימון גישה ל-API

  1. נכנסים לחשבון Smartsheet באמצעות חשבון אדמין מערכת.
  2. בתחתית סרגל הניווט הימני, לוחצים על Account (תמונת הפרופיל) ואז על Personal Settings.
  3. עוברים לכרטיסייה גישה ל-API.
  4. לוחצים על יצירת טוקן גישה חדש.
  5. מזינים שם לטוקן (לדוגמה, SecOps SIEM Integration).
  6. לוחצים על OK.
  7. מעתיקים ושומרים את טוקן הגישה באופן מאובטח.

אימות ההרשאות

כדי לוודא שלחשבון יש את ההרשאות הנדרשות:

  1. נכנסים לחשבון Smartsheet.
  2. עוברים אל Account (תמונת הפרופיל) > Personal Settings > API Access.
  3. אם אתם יכולים לראות את הדף ניהול טוקני גישה ל-API וליצור טוקנים, יש לכם את ההרשאות הנדרשות.
  4. אם אין לכם גישה לאפשרויות האלה, פנו לאדמין שלכם ב-Smartsheet כדי לקבל גישה ל-API.

בדיקת הגישה ל-API

  • לפני שממשיכים בתהליך השילוב, בודקים את פרטי הכניסה:

    # Replace with your actual access token
    SMARTSHEET_TOKEN="<your-access-token>"
    
    # Test Event Reporting API access
    curl -v -H "Authorization: Bearer ${SMARTSHEET_TOKEN}" \
      "https://api.smartsheet.com/2.0/events?since=$(date -u -d '1 hour ago' +%Y-%m-%dT%H:%M:%SZ)&maxCount=10"
    

אם השגיאות האלה מופיעות:

  • ‫HTTP 401: מוודאים שטוקן הגישה נכון.
  • ‫HTTP 403: צריך לוודא שלחשבון יש הרשאות אדמין מערכת ושהתוסף "דוח אירועים" מופעל בתוכנית שלכם.

יצירת קטגוריה של Google Cloud Storage

  1. נכנסים למסוף Google Cloud.
  2. בוחרים את הפרויקט או יוצרים פרויקט חדש.
  3. בתפריט הניווט, נכנסים ל-Cloud Storage > Buckets.
  4. לוחצים על Create bucket.
  5. ממלאים את פרטי ההגדרה הבאים:

    הגדרה ערך
    Name your bucket מזינים שם ייחודי ברמה גלובלית (לדוגמה, smartsheet-audit-logs)
    סוג המיקום בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים)
    Location בוחרים את המיקום (לדוגמה, us-central1)
    סוג אחסון (storage class) רגיל (מומלץ ליומנים שהגישה אליהם תכופה)
    בקרת גישה אחידה (מומלץ)
    כלי הגנה אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים
  6. לוחצים על יצירה.

יצירת חשבון שירות לפונקציית Cloud Run

לפונקציית Cloud Run נדרש חשבון שירות עם הרשאות כתיבה בקטגוריית GCS, וצריך להפעיל אותה באמצעות Pub/Sub.

יצירת חשבון השירות

  1. במסוף GCP, נכנסים לדף IAM & Admin > Service Accounts.
  2. לוחצים על Create Service Account.
  3. מזינים את פרטי ההגדרה הבאים:
    • שם חשבון השירות: מזינים smartsheet-logs-sa.
    • Service account description: מזינים Service account for Cloud Run function to collect Smartsheet audit logs.
  4. לוחצים על יצירה והמשך.
  5. בקטע Grant this service account access to project, מוסיפים את התפקידים הבאים:
    1. לוחצים על בחירת תפקיד.
    2. מחפשים את התפקיד Storage Object Admin ובוחרים אותו.
    3. לוחצים על + הוספת תפקיד.
    4. מחפשים את התפקיד Cloud Run Invoker ובוחרים בו.
    5. לוחצים על + הוספת תפקיד.
    6. מחפשים את התפקיד Cloud Functions Invoker ובוחרים אותו.
  6. לוחצים על Continue.
  7. לוחצים על סיום.

התפקידים האלה נדרשים כדי:

  • אדמין של אובייקט אחסון: כתיבת יומנים לקטגוריית GCS וניהול קובצי תמונת מצב
  • Cloud Run Invoker: מאפשר ל-Pub/Sub להפעיל את הפונקציה
  • מפעיל פונקציות של Cloud Functions: מאפשר להפעיל פונקציות

הענקת הרשאות IAM בקטגוריית GCS

נותנים לחשבון השירות הרשאות כתיבה בקטגוריה של GCS:

  1. נכנסים לדף Cloud Storage > Buckets.
  2. לוחצים על שם הקטגוריה (לדוגמה, smartsheet-audit-logs).
  3. עוברים לכרטיסייה Permissions.
  4. לוחצים על הענקת גישה.
  5. מזינים את פרטי ההגדרה הבאים:
    • הוספת חשבונות משתמשים: מזינים את כתובת האימייל של חשבון השירות (לדוגמה, smartsheet-logs-sa@PROJECT_ID.iam.gserviceaccount.com).
    • הקצאת תפקידים: בוחרים באפשרות אדמין של אובייקטים באחסון.
  6. לוחצים על Save.

יוצרים נושא Pub/Sub

יוצרים נושא Pub/Sub ש-Cloud Scheduler יפרסם בו ופונקציית Cloud Run תירשם אליו.

  1. במסוף GCP, נכנסים לדף Pub/Sub > Topics.
  2. לוחצים על Create topic.
  3. מזינים את פרטי ההגדרה הבאים:
    • מזהה הנושא: מזינים את הערך smartsheet-logs-trigger.
    • משאירים את ההגדרות האחרות כברירת מחדל.
  4. לוחצים על יצירה.

יצירת פונקציית Cloud Run לאיסוף יומנים

פונקציית Cloud Run תופעל על ידי הודעות Pub/Sub מ-Cloud Scheduler כדי לאחזר יומנים מ-Smartsheet Event Reporting API ולכתוב אותם ב-GCS.

  1. במסוף GCP, נכנסים ל-Cloud Run.
  2. לוחצים על Create service.
  3. בוחרים באפשרות Function (שימוש בעורך ישיר כדי ליצור פונקציה).
  4. בקטע Configure, מזינים את פרטי ההגדרה הבאים:

    הגדרה ערך
    שם השירות smartsheet-logs-to-gcs
    אזור בוחרים את האזור שתואם לקטגוריית ה-GCS (לדוגמה, us-central1)
    זמן ריצה בוחרים באפשרות Python 3.12 או גרסה עדכנית יותר.
  5. בקטע טריגר (אופציונלי):

    1. לוחצים על + הוספת טריגר.
    2. בוחרים באפשרות Cloud Pub/Sub.
    3. בקטע Select a Cloud Pub/Sub topic, בוחרים את smartsheet-logs-trigger.
    4. לוחצים על Save.
  6. בקטע אימות:

    1. לוחצים על דרישת אימות.
    2. בודקים את ניהול הזהויות והרשאות הגישה (IAM).
  7. גוללים למטה ומרחיבים את הקטע Containers, Networking, Security.

  8. עוברים לכרטיסייה אבטחה:

    • חשבון שירות: בוחרים באפשרות smartsheet-logs-sa.
  9. עוברים לכרטיסייה מאגרי תגים:

    1. לוחצים על Variables & Secrets.
    2. לוחצים על ‎+ Add variable לכל משתנה סביבה:
    שם משתנה ערך לדוגמה
    GCS_BUCKET smartsheet-audit-logs
    GCS_PREFIX smartsheet/events/
    STATE_KEY smartsheet/events/state.json
    SMARTSHEET_TOKEN <your-smartsheet-access-token>
    MAX_COUNT 1000
    TIMEOUT 30
  10. בקטע Variables & Secrets, גוללים למטה אל Requests:

    • ‫Request timeout: מזינים 600 שניות (10 דקות).
  11. עוברים לכרטיסייה הגדרות:

    • בקטע Resources:
      • זיכרון: בוחרים באפשרות ‎512 MiB או יותר.
      • מעבד (CPU): בוחרים באפשרות 1.
  12. בקטע Revision scaling:

    • מספר מינימלי של מכונות: מזינים 0.
    • Maximum number of instances: מזינים 100 (או משנים בהתאם לעומס הצפוי).
  13. לוחצים על יצירה.

  14. ממתינים ליצירת השירות (דקה או שתיים).

  15. אחרי שיוצרים את השירות, עורך הקוד המוטבע נפתח באופן אוטומטי.

הוספת קוד הפונקציה

  1. מזינים main בשדה Function entry point.
  2. בעורך הקוד, יוצרים שני קבצים:

    • הקובץ הראשון: main.py:

      import functions_framework
      from google.cloud import storage
      import json
      import os
      import urllib3
      from datetime import datetime, timezone
      import uuid
      import gzip
      import io
      
      # Initialize HTTP client with timeouts
      http = urllib3.PoolManager(
        timeout=urllib3.Timeout(connect=5.0, read=30.0),
        retries=False,
      )
      
      # Initialize Storage client
      storage_client = storage.Client()
      
      # Environment variables
      GCS_BUCKET = os.environ.get('GCS_BUCKET')
      GCS_PREFIX = os.environ.get('GCS_PREFIX', 'smartsheet/events/')
      STATE_KEY = os.environ.get('STATE_KEY', 'smartsheet/events/state.json')
      SMARTSHEET_TOKEN = os.environ.get('SMARTSHEET_TOKEN')
      MAX_COUNT = int(os.environ.get('MAX_COUNT', '1000'))
      TIMEOUT = int(os.environ.get('TIMEOUT', '30'))
      
      EVENTS_URL = "https://api.smartsheet.com/2.0/events"
      
      @functions_framework.cloud_event
      def main(cloud_event):
        """
        Cloud Run function triggered by Pub/Sub to fetch Smartsheet
        Event Reporting audit logs and write to GCS.
      
        Args:
          cloud_event: CloudEvent object containing Pub/Sub message
        """
      
        if not all([GCS_BUCKET, SMARTSHEET_TOKEN]):
          print('Error: Missing required environment variables')
          return
      
        try:
          bucket = storage_client.bucket(GCS_BUCKET)
      
          # Load state
          state = load_state(bucket, STATE_KEY)
          stream_position = state.get('stream_position')
      
          print(f'Fetching events from stream position: {stream_position or "latest"}')
      
          # Fetch events
          total_written = 0
          has_more = True
      
          while has_more:
            events, new_position, more = fetch_events(stream_position)
      
            if events:
              write_chunk(bucket, events, datetime.now(timezone.utc))
              total_written += len(events)
      
            if new_position:
              stream_position = new_position
      
            has_more = more and total_written < 50000
      
          # Save state
          state['stream_position'] = stream_position
          save_state(bucket, STATE_KEY, state)
      
          print(f'Successfully processed {total_written} events')
      
        except Exception as e:
          print(f'Error processing logs: {str(e)}')
          raise
      
      def load_state(bucket, key):
        """Load state from GCS."""
        try:
          blob = bucket.blob(key)
          if blob.exists():
            state_data = blob.download_as_text()
            return json.loads(state_data)
        except Exception as e:
          print(f'Warning: Could not load state: {str(e)}')
      
        return {}
      
      def save_state(bucket, key, state):
        """Save state to GCS."""
        try:
          state['updated_at'] = datetime.now(timezone.utc).isoformat()
          blob = bucket.blob(key)
          blob.upload_from_string(
            json.dumps(state),
            content_type='application/json'
          )
        except Exception as e:
          print(f'Warning: Could not save state: {str(e)}')
      
      def write_chunk(bucket, items, ts):
        """Write log chunk to GCS as compressed NDJSON."""
        key = f"{GCS_PREFIX}{ts:%Y/%m/%d}/smartsheet-events-{uuid.uuid4()}.json.gz"
      
        buf = io.BytesIO()
        with gzip.GzipFile(fileobj=buf, mode='w') as gz:
          for rec in items:
            gz.write((json.dumps(rec) + '\n').encode('utf-8'))
      
        buf.seek(0)
        blob = bucket.blob(key)
        blob.upload_from_file(buf, content_type='application/gzip')
      
        print(f'Wrote {len(items)} events to {key}')
        return key
      
      def fetch_events(stream_position):
        """
        Fetch events from Smartsheet Event Reporting API.
      
        The API uses a streaming model with streamPosition for pagination.
        On first call (no streamPosition), it returns the current position
        without events. Subsequent calls return events since the position.
      
        Returns:
          Tuple of (events list, new stream position, has more data)
        """
        headers = {
          'Authorization': f'Bearer {SMARTSHEET_TOKEN}',
          'Accept': 'application/json'
        }
      
        params = [f'maxCount={MAX_COUNT}']
        if stream_position:
          params.append(f'streamPosition={stream_position}')
      
        url = f"{EVENTS_URL}?{'&'.join(params)}"
      
        response = http.request(
          'GET',
          url,
          headers=headers,
          timeout=TIMEOUT
        )
      
        if response.status == 429:
          retry_after = int(response.headers.get('Retry-After', '60'))
          print(f'Rate limited (429). Retry-After: {retry_after}s')
          import time
          time.sleep(min(retry_after, 120))
          return fetch_events(stream_position)
      
        if response.status != 200:
          print(f'API request failed: {response.status}')
          response_text = response.data.decode('utf-8')
          print(f'Response body: {response_text}')
          raise Exception(f'Failed to fetch events: {response.status}')
      
        data = json.loads(response.data.decode('utf-8'))
      
        events = data.get('data', []) or []
        new_position = data.get('nextStreamPosition')
        more_available = data.get('moreEventsAvailable', False)
      
        if events:
          print(f'Retrieved {len(events)} events')
      
        return events, new_position, more_available
      
    • הקובץ השני: requirements.txt:

      functions-framework==3.*
      google-cloud-storage==2.*
      urllib3>=2.0.0
      
  3. לוחצים על Deploy כדי לשמור ולפרוס את הפונקציה.

  4. מחכים שהפריסה תסתיים (2-3 דקות).

יצירת משימה ב-Cloud Scheduler

‫Cloud Scheduler יפרסם הודעות בנושא Pub/Sub במרווחי זמן קבועים, ויפעיל את פונקציית Cloud Run.

  1. במסוף GCP, נכנסים ל-Cloud Scheduler.
  2. לוחצים על Create Job.
  3. ממלאים את פרטי ההגדרה הבאים:

    הגדרה ערך
    שם smartsheet-logs-schedule-15min
    אזור בוחרים את אותו אזור כמו של פונקציית Cloud Run.
    תדירות */15 * * * * (כל 15 דקות)
    אזור זמן בחירת אזור זמן (מומלץ לבחור ב-UTC)
    סוג היעד Pub/Sub
    נושא בחירת smartsheet-logs-trigger
    גוף ההודעה ‫{} (אובייקט JSON ריק)
  4. לוחצים על יצירה.

אפשרויות לתדירות התזמון

בוחרים את התדירות בהתאם לנפח היומן ולדרישות לגבי זמן האחזור:

תדירות ביטוי Cron תרחיש לדוגמה
כל 5 דקות */5 * * * * נפח גבוה, זמן אחזור נמוך
כל 15 דקות */15 * * * * רגיל (מומלץ)
כל שעה 0 * * * * עוצמת הקול חלשה
כל 6 שעות 0 */6 * * * עיבוד באצווה (batch processing)

בדיקת השילוב

  1. במסוף Cloud Scheduler, מחפשים את המשימה (לדוגמה, smartsheet-logs-schedule-15min).
  2. לוחצים על Force run כדי להפעיל את המשימה באופן ידני.
  3. מחכים כמה שניות.
  4. נכנסים לדף Cloud Run > Services.
  5. לוחצים על שם הפונקציה (smartsheet-logs-to-gcs).
  6. לוחצים על הכרטיסייה Logs.
  7. מוודאים שהפונקציה בוצעה בהצלחה. חפשו את:

    Fetching events from stream position: <position>
    Retrieved X events
    Wrote X events to smartsheet/events/YYYY/MM/DD/smartsheet-events-UUID.json.gz
    Successfully processed X events
    
  8. נכנסים לדף Cloud Storage > Buckets.

  9. לוחצים על שם הקטגוריה (smartsheet-audit-logs).

  10. עוברים לתיקיית הקידומת (smartsheet/events/).

  11. מוודאים שנוצר קובץ .json.gz חדש עם חותמת הזמן הנוכחית.

אם מופיעות שגיאות ביומנים:

  • ‫HTTP 401: בודקים את טוקן הגישה של Smartsheet במשתני הסביבה
  • ‫HTTP 403: צריך לוודא שלחשבון יש הרשאות אדמין מערכת ושהדיווח על אירועים מופעל
  • ‫HTTP 429: הגבלת קצב – הפונקציה תנסה שוב באופן אוטומטי עם השהיה (backoff)
  • משתני סביבה חסרים: צריך לוודא שכל המשתנים הנדרשים מוגדרים בפונקציית Cloud Run.

אחזור של חשבון השירות של Google SecOps

מערכת Google SecOps משתמשת בחשבון שירות ייחודי כדי לקרוא נתונים מהקטגוריה שלכם ב-GCS. אתם צריכים לתת לחשבון השירות הזה גישה לקטגוריה שלכם.

הגדרת פיד ב-Google SecOps כדי להטמיע יומנים של Smartsheet

  1. עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פידים.
  2. לוחצים על הוספת פיד חדש.
  3. לוחצים על הגדרת פיד יחיד.
  4. בשדה שם הפיד, מזינים שם לפיד (לדוגמה, Smartsheet Audit Logs).
  5. בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
  6. בוחרים באפשרות Smartsheet בתור סוג היומן.
  7. לוחצים על Get Service Account (קבלת חשבון שירות). תוצג כתובת אימייל ייחודית של חשבון שירות, לדוגמה:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  8. מעתיקים את כתובת האימייל הזו. תצטרכו אותו בשלב הבא.

  9. לוחצים על הבא.

  10. מציינים ערכים לפרמטרים הבאים של הקלט:

    • כתובת ה-URL של קטגוריית האחסון: מזינים את ה-URI של קטגוריית GCS עם נתיב הקידומת:
    gs://smartsheet-audit-logs/smartsheet/events/
    
    • מחליפים את:

      • ‫smartsheet-audit-logs: השם של קטגוריית GCS.
      • ‫smartsheet/events/: נתיב התחילית שבו נשמרים היומנים.
    • אפשרות מחיקת המקור: בוחרים את אפשרות המחיקה הרצויה:
      • Never: אף פעם לא למחוק קבצים אחרי העברות (מומלץ לבדיקה).
      • מחיקת קבצים שהועברו: מחיקת קבצים אחרי שהם הועברו בהצלחה.
      • מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת.
    • גיל הקובץ המקסימלי: כולל קבצים ששונו במספר הימים האחרונים. ברירת המחדל היא 180 ימים.
    • מרחב השמות של הנכס: מרחב השמות של הנכס.
    • תוויות הטמעה: התווית שתתווסף לאירועים מהפיד הזה.
  11. לוחצים על הבא.

  12. בודקים את הגדרות הפיד החדש במסך סיום ולוחצים על שליחה.

מתן הרשאות IAM לחשבון השירות של Google SecOps

לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של GCS.

  1. נכנסים לדף Cloud Storage > Buckets.
  2. לוחצים על שם הקטגוריה (לדוגמה, smartsheet-audit-logs).
  3. עוברים לכרטיסייה Permissions.
  4. לוחצים על הענקת גישה.
  5. מזינים את פרטי ההגדרה הבאים:
    • הוספת חשבונות משתמשים: מדביקים את כתובת האימייל של חשבון השירות של Google SecOps.
    • הקצאת תפקידים: בוחרים באפשרות צפייה באובייקטים באחסון.
  6. לוחצים על Save.

טבלת מיפוי UDM

שדה ביומן מיפוי UDM Logic (פונקציה לוגית)
accessLevel_label additional.fields ממוזג
appName_label additional.fields ממוזג
attachmentName_label additional.fields ממוזג
cellLinkSourceSheetId_label additional.fields ממוזג
dashboardName_label additional.fields ממוזג
folderName_label additional.fields ממוזג
formatType_label additional.fields ממוזג
includeAttachments_label additional.fields ממוזג
includeDiscussions_label additional.fields ממוזג
mergeType_label additional.fields ממוזג
rowCount_label additional.fields ממוזג
rowsMoved_label additional.fields ממוזג
sheetId_label additional.fields ממוזג
sheetName_label additional.fields ממוזג
sheetRowId_label additional.fields ממוזג
sourceFolderId_label additional.fields ממוזג
sourceObjectId_label additional.fields ממוזג
sourceSheetId_label additional.fields ממוזג
sourceType_label additional.fields ממוזג
tokenDisplayValue_label additional.fields ממוזג
tokenUserId_label additional.fields ממוזג
userId_label additional.fields ממוזג
workspaceId_label additional.fields ממוזג
additionalDetails.accessScopes metadata.description מיפוי ישיר
additionalDetails_tokenExpirationTimestamp metadata.event_timestamp נותח בתור yyyy-MM-ddTHH:mm:ssZ
eventTimestamp metadata.event_timestamp נותח בתור yyyy-MM-ddTHH:mm:ssZ
has_principal metadata.event_type מופה: true ← USER_UNCATEGORIZED
accessTokenName metadata.product_log_id מיפוי ישיר
eventId metadata.product_log_id מיפוי ישיר
additionalDetails.appClientId principal.user.userid מיפוי ישיר
requestUserId principal.user.userid מיפוי ישיר
object_id security_result.about.labels ממוזג
source_label security_result.about.labels ממוזג
object_type security_result.about.resource.attribute.labels ממוזג
action security_result.action_details מיפוי ישיר
userId target.user.userid מיפוי ישיר
לא רלוונטי metadata.event_type קבוע: USER_UNCATEGORIZED

יומן שינויים

הצגת יומן השינויים של המנתח הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.