איסוף יומנים של Smartsheet

נתמך ב:

במאמר הזה מוסבר איך להטמיע יומנים של Smartsheet ב-Google Security Operations באמצעות Google Cloud Storage.

‫Smartsheet היא פלטפורמה לניהול עבודה שיתופי, שמספקת ניהול פרויקטים כמו בגיליון אלקטרוני, מעקב אחרי משימות ואוטומציה של תהליכי עבודה לצוותים בארגונים. ה-Event Reporting API מספק יומני ביקורת שכוללים יותר מ-100 סוגי אירועים, כולל פעולות משתמשים, גישה לנתונים, שינויים בשיתוף ופעולות אדמיניסטרטיביות בארגון Smartsheet.

לפני שמתחילים

חשוב לוודא שמתקיימות הדרישות המוקדמות הבאות:

  • מופע של Google SecOps
  • פרויקט ב-GCP עם Cloud Storage API מופעל
  • הרשאות ליצירה ולניהול של מאגרי GCS
  • הרשאות לניהול מדיניות IAM בקטגוריות GCS
  • הרשאות ליצירת פונקציות Cloud Run, נושאי Pub/Sub ומשימות Cloud Scheduler
  • תוכנית Smartsheet Enterprise עם התוסף Event Reporting (דיווח על אירועים)
  • חשבון אדמין במערכת Smartsheet עם גישת API

איסוף פרטי הכניסה ל-Smartsheet API

יצירת אסימון גישה ל-API

  1. נכנסים לחשבון Smartsheet באמצעות חשבון אדמין במערכת.
  2. בתחתית סרגל הניווט הימני, לוחצים על החשבון (תמונת הפרופיל) ואז על הגדרות אישיות.
  3. עוברים לכרטיסייה API Access (גישה ל-API).
  4. לוחצים על יצירת אסימון גישה חדש.
  5. מזינים שם לטוקן (לדוגמה, SecOps SIEM Integration).
  6. לוחצים על OK.

  7. מעתיקים ושומרים את אסימון הגישה בצורה מאובטחת.

אימות ההרשאות

כדי לוודא שיש לחשבון את ההרשאות הנדרשות:

  1. נכנסים לחשבון Smartsheet.
  2. עוברים אל חשבון (תמונת הפרופיל) > הגדרות אישיות > גישת API.
  3. אם אתם יכולים לראות את הדף Manage API Access Tokens וליצור טוקנים, יש לכם את ההרשאות הנדרשות.
  4. אם אין לכם גישה לאפשרויות האלה, פנו לאדמין של מערכת Smartsheet כדי לקבל גישה ל-API.

בדיקת הגישה ל-API

  • לפני שממשיכים בשילוב, חשוב לבדוק את פרטי הכניסה:

    # Replace with your actual access token
SMARTSHEET_TOKEN="<your-access-token>"

# Test Event Reporting API access
curl -v -H "Authorization: Bearer ${SMARTSHEET_TOKEN}" \
  "https://api.smartsheet.com/2.0/events?since=$(date -u -d '1 hour ago' +%Y-%m-%dT%H:%M:%SZ)&maxCount=10"

אם השגיאות האלה מופיעות:

  • HTTP 401: צריך לוודא שאסימון הגישה נכון.
  • ‫HTTP 403: מוודאים שיש לחשבון הרשאות אדמין במערכת ושהתוסף 'דיווח על אירועים' מופעל בתוכנית שלכם.

יצירת קטגוריה של Google Cloud Storage

  1. נכנסים אל מסוף Google Cloud.
  2. בוחרים פרויקט או יוצרים פרויקט חדש.
  3. בתפריט הניווט, עוברים אל Cloud Storage > Buckets.
  4. לוחצים על Create bucket.

  5. מספקים את פרטי ההגדרה הבאים:

    הגדרה ערך
    Name your bucket (שם הקטגוריה) מזינים שם ייחודי גלובלית (לדוגמה, smartsheet-audit-logs)
    סוג המיקום בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים)
    Location בוחרים את המיקום (לדוגמה, us-central1).
    סוג אחסון (storage class) רגיל (מומלץ ליומנים שמתבצעת אליהם גישה לעיתים קרובות)
    בקרת גישה אחיד (מומלץ)
    כלים להגנה אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים

  6. לוחצים על יצירה.

יצירת חשבון שירות לפונקציית Cloud Run

פונקציית Cloud Run צריכה חשבון שירות עם הרשאות כתיבה לקטגוריה של GCS והרשאה להפעלה על ידי Pub/Sub.

יצירת חשבון השירות

  1. במסוף GCP, עוברים אל IAM & Admin > Service Accounts.
  2. לוחצים על יצירת חשבון שירות.
  3. מספקים את פרטי ההגדרה הבאים:
    • שם חשבון השירות: מזינים smartsheet-logs-sa.
    • תיאור חשבון השירות: מזינים Service account for Cloud Run function to collect Smartsheet audit logs.
  4. לוחצים על יצירה והמשך.
  5. בקטע Grant this service account access to project (מתן גישה של חשבון השירות הזה לפרויקט), מוסיפים את התפקידים הבאים:
    1. לוחצים על בחירת תפקיד.
    2. מחפשים את Storage Object Admin ולוחצים עליו.
    3. לוחצים על + הוספת תפקיד נוסף.
    4. מחפשים את האפשרות Cloud Run Invoker (הפעלת שירותים ב-Cloud Run) ולוחצים עליה.
    5. לוחצים על + הוספת תפקיד נוסף.
    6. מחפשים את האפשרות Cloud Functions Invoker (הפעלת פונקציות של Cloud Functions) ולוחצים עליה.
  6. לוחצים על Continue.
  7. לוחצים על סיום.

התפקידים האלה נדרשים כדי:

  • אדמין של אובייקט אחסון: כתיבת יומנים לקטגוריית GCS וניהול קבצי מצב
  • ‫Cloud Run Invoker: מתן הרשאה ל-Pub/Sub להפעיל את הפונקציה
  • Cloud Functions Invoker: מאפשר הפעלה של פונקציות

מתן הרשאות IAM בקטגוריית GCS

נותנים לחשבון השירות הרשאות כתיבה בקטגוריית GCS:

  1. עוברים אל Cloud Storage > Buckets (קטגוריות).
  2. לוחצים על שם הקטגוריה (לדוגמה, smartsheet-audit-logs).
  3. עוברים לכרטיסייה Permissions.
  4. לוחצים על הענקת גישה.
  5. מספקים את פרטי ההגדרה הבאים:
    • Add principals (הוספת ישויות מורשות): מזינים את כתובת האימייל בחשבון השירות (לדוגמה, smartsheet-logs-sa@PROJECT_ID.iam.gserviceaccount.com).
    • הקצאת תפקידים: בוחרים באפשרות אדמין של אובייקטים באחסון.
  6. לוחצים על Save.

יוצרים נושא Pub/Sub

יוצרים נושא Pub/Sub ש-Cloud Scheduler יפרסם בו ופונקציית Cloud Run תירשם אליו.

  1. במסוף GCP, עוברים אל Pub/Sub > Topics.
  2. לוחצים על יצירת נושא.
  3. מספקים את פרטי ההגדרה הבאים:
    • מזהה הנושא: מזינים smartsheet-logs-trigger.
    • משאירים את שאר ההגדרות כברירת מחדל.
  4. לוחצים על יצירה.

יצירת פונקציית Cloud Run לאיסוף יומנים

הפונקציה של Cloud Run תופעל על ידי הודעות Pub/Sub מ-Cloud Scheduler כדי לאחזר יומנים מ-Smartsheet Event Reporting API ולכתוב אותם ב-GCS.

  1. במסוף GCP, עוברים אל Cloud Run.
  2. לוחצים על יצירת שירות.
  3. בוחרים באפשרות Function (שימוש בעורך ישיר ליצירת פונקציה).

  4. בקטע Configure (הגדרה), מזינים את פרטי ההגדרה הבאים:

    הגדרה ערך
    שם השירות smartsheet-logs-to-gcs
    אזור בוחרים אזור שתואם ל-GCS Bucket (לדוגמה, us-central1)
    זמן ריצה בוחרים באפשרות Python 3.12 ואילך.

  5. בקטע טריגר (אופציונלי):

    1. לוחצים על + הוספת טריגר.
    2. בוחרים באפשרות Cloud Pub/Sub.
    3. בקטע Select a Cloud Pub/Sub topic, בוחרים באפשרות smartsheet-logs-trigger.
    4. לוחצים על Save.

  6. בקטע Authentication:

    1. בוחרים באפשרות דרישת אימות.
    2. בודקים את ניהול זהויות והרשאות גישה (IAM).

  7. גוללים למטה ומרחיבים את Containers, Networking, Security (מאגרי תגים, רשתות, אבטחה).

  8. עוברים לכרטיסייה אבטחה:

    • חשבון שירות: לוחצים על smartsheet-logs-sa.

  9. עוברים לכרטיסייה מאגרי תגים:

    1. לוחצים על Variables & Secrets (משתנים וסודות).
    2. לוחצים על + הוספת משתנה לכל משתנה סביבתי:
    שם המשתנה ערך לדוגמה
    GCS_BUCKET smartsheet-audit-logs
    GCS_PREFIX smartsheet/events/
    STATE_KEY smartsheet/events/state.json
    SMARTSHEET_TOKEN <your-smartsheet-access-token>
    MAX_COUNT 1000
    TIMEOUT 30

  10. בקטע Variables & Secrets, גוללים למטה אל Requests:

    • זמן קצוב לתפוגת בקשה: מזינים 600 שניות (10 דקות).

  11. עוברים לכרטיסייה הגדרות:

    • בקטע Resources (מקורות מידע):
      • זיכרון: בוחרים באפשרות ‎512 MiB או יותר.
      • מעבד: בוחרים באפשרות 1.

  12. בקטע שינוי קנה מידה של העריכה:

    • מספר המינימום של מופעים: מזינים 0.
    • מספר מקסימלי של מופעים: מזינים 100 (או משנים בהתאם לעומס הצפוי).

  13. לוחצים על יצירה.

  14. ממתינים ליצירת השירות (1-2 דקות).

  15. אחרי שיוצרים את השירות, עורך הקוד המוטבע נפתח באופן אוטומטי.

הוספת קוד הפונקציה

  1. מזינים main בFunction entry point.

  2. בעורך הקוד המוטבע, יוצרים שני קבצים:

    • הקובץ הראשון: main.py:

      import functions_framework
from google.cloud import storage
import json
import os
import urllib3
from datetime import datetime, timezone
import uuid
import gzip
import io

# Initialize HTTP client with timeouts
http = urllib3.PoolManager(
  timeout=urllib3.Timeout(connect=5.0, read=30.0),
  retries=False,
)

# Initialize Storage client
storage_client = storage.Client()

# Environment variables
GCS_BUCKET = os.environ.get('GCS_BUCKET')
GCS_PREFIX = os.environ.get('GCS_PREFIX', 'smartsheet/events/')
STATE_KEY = os.environ.get('STATE_KEY', 'smartsheet/events/state.json')
SMARTSHEET_TOKEN = os.environ.get('SMARTSHEET_TOKEN')
MAX_COUNT = int(os.environ.get('MAX_COUNT', '1000'))
TIMEOUT = int(os.environ.get('TIMEOUT', '30'))

EVENTS_URL = "https://api.smartsheet.com/2.0/events"

@functions_framework.cloud_event
def main(cloud_event):
  """
  Cloud Run function triggered by Pub/Sub to fetch Smartsheet
  Event Reporting audit logs and write to GCS.

  Args:
    cloud_event: CloudEvent object containing Pub/Sub message
  """

  if not all([GCS_BUCKET, SMARTSHEET_TOKEN]):
    print('Error: Missing required environment variables')
    return

  try:
    bucket = storage_client.bucket(GCS_BUCKET)

    # Load state
    state = load_state(bucket, STATE_KEY)
    stream_position = state.get('stream_position')

    print(f'Fetching events from stream position: {stream_position or "latest"}')

    # Fetch events
    total_written = 0
    has_more = True

    while has_more:
      events, new_position, more = fetch_events(stream_position)

      if events:
        write_chunk(bucket, events, datetime.now(timezone.utc))
        total_written += len(events)

      if new_position:
        stream_position = new_position

      has_more = more and total_written < 50000

    # Save state
    state['stream_position'] = stream_position
    save_state(bucket, STATE_KEY, state)

    print(f'Successfully processed {total_written} events')

  except Exception as e:
    print(f'Error processing logs: {str(e)}')
    raise

def load_state(bucket, key):
  """Load state from GCS."""
  try:
    blob = bucket.blob(key)
    if blob.exists():
      state_data = blob.download_as_text()
      return json.loads(state_data)
  except Exception as e:
    print(f'Warning: Could not load state: {str(e)}')

  return {}

def save_state(bucket, key, state):
  """Save state to GCS."""
  try:
    state['updated_at'] = datetime.now(timezone.utc).isoformat()
    blob = bucket.blob(key)
    blob.upload_from_string(
      json.dumps(state),
      content_type='application/json'
    )
  except Exception as e:
    print(f'Warning: Could not save state: {str(e)}')

def write_chunk(bucket, items, ts):
  """Write log chunk to GCS as compressed NDJSON."""
  key = f"{GCS_PREFIX}{ts:%Y/%m/%d}/smartsheet-events-{uuid.uuid4()}.json.gz"

  buf = io.BytesIO()
  with gzip.GzipFile(fileobj=buf, mode='w') as gz:
    for rec in items:
      gz.write((json.dumps(rec) + '\n').encode('utf-8'))

  buf.seek(0)
  blob = bucket.blob(key)
  blob.upload_from_file(buf, content_type='application/gzip')

  print(f'Wrote {len(items)} events to {key}')
  return key

def fetch_events(stream_position):
  """
  Fetch events from Smartsheet Event Reporting API.

  The API uses a streaming model with streamPosition for pagination.
  On first call (no streamPosition), it returns the current position
  without events. Subsequent calls return events since the position.

  Returns:
    Tuple of (events list, new stream position, has more data)
  """
  headers = {
    'Authorization': f'Bearer {SMARTSHEET_TOKEN}',
    'Accept': 'application/json'
  }

  params = [f'maxCount={MAX_COUNT}']
  if stream_position:
    params.append(f'streamPosition={stream_position}')

  url = f"{EVENTS_URL}?{'&'.join(params)}"

  response = http.request(
    'GET',
    url,
    headers=headers,
    timeout=TIMEOUT
  )

  if response.status == 429:
    retry_after = int(response.headers.get('Retry-After', '60'))
    print(f'Rate limited (429). Retry-After: {retry_after}s')
    import time
    time.sleep(min(retry_after, 120))
    return fetch_events(stream_position)

  if response.status != 200:
    print(f'API request failed: {response.status}')
    response_text = response.data.decode('utf-8')
    print(f'Response body: {response_text}')
    raise Exception(f'Failed to fetch events: {response.status}')

  data = json.loads(response.data.decode('utf-8'))

  events = data.get('data', []) or []
  new_position = data.get('nextStreamPosition')
  more_available = data.get('moreEventsAvailable', False)

  if events:
    print(f'Retrieved {len(events)} events')

  return events, new_position, more_available

    • הקובץ השני: requirements.txt:

      functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

  3. לוחצים על Deploy כדי לשמור ולפרוס את הפונקציה.

  4. ממתינים לסיום הפריסה (2-3 דקות).

יצירת משימה ב-Cloud Scheduler

‫Cloud Scheduler יפרסם הודעות בנושא Pub/Sub במרווחי זמן קבועים, ויפעיל את הפונקציה של Cloud Run.

  1. במסוף GCP, עוברים אל Cloud Scheduler.
  2. לוחצים על Create Job (יצירת משימה).

  3. מספקים את פרטי ההגדרה הבאים:

    הגדרה ערך
    שם smartsheet-logs-schedule-15min
    אזור בחירה באותו אזור כמו פונקציית Cloud Run
    תדירות */15 * * * * (כל 15 דקות)
    אזור זמן בחירת אזור זמן (מומלץ לבחור UTC)
    סוג הטירגוט Pub/Sub
    נושא בחירת smartsheet-logs-trigger
    גוף ההודעה ‫{} (אובייקט JSON ריק)

  4. לוחצים על יצירה.

אפשרויות לתדירות התזמון

בחירת התדירות בהתאם לנפח היומן ולדרישות זמן האחזור:

תדירות ביטוי Cron תרחיש לדוגמה
כל 5 דקות */5 * * * * נפח גבוה, זמן אחזור נמוך
כל 15 דקות */15 * * * * רגיל (מומלץ)
כל שעה 0 * * * * עוצמת הקול חלשה
כל 6 שעות 0 */6 * * * עיבוד באצווה

בדיקת השילוב

  1. במסוף Cloud Scheduler, מחפשים את העבודה (לדוגמה, smartsheet-logs-schedule-15min).
  2. לוחצים על הפעלת המשימה בכוח כדי להפעיל את המשימה באופן ידני.
  3. מחכים כמה שניות.
  4. עוברים אל Cloud Run > Services.
  5. לוחצים על שם הפונקציה (smartsheet-logs-to-gcs).
  6. לוחצים על הכרטיסייה Logs (יומנים).

  7. מוודאים שהפונקציה בוצעה בהצלחה. מחפשים:

    Fetching events from stream position: <position>
Retrieved X events
Wrote X events to smartsheet/events/YYYY/MM/DD/smartsheet-events-UUID.json.gz
Successfully processed X events

  8. עוברים אל Cloud Storage > Buckets (קטגוריות).

  9. לוחצים על שם הקטגוריה (smartsheet-audit-logs).

  10. עוברים לתיקייה עם הקידומת (smartsheet/events/).

  11. מוודאים שנוצר קובץ .json.gz חדש עם חותמת הזמן הנוכחית.

אם מופיעות שגיאות ביומנים:

  • ‫HTTP 401: בדיקת טוקן הגישה של Smartsheet במשתני הסביבה
  • ‫HTTP 403: מוודאים שלחשבון יש הרשאות אדמין במערכת ושהאפשרות 'דיווח על אירועים' מופעלת
  • ‫HTTP 429: הגבלת קצב – הפונקציה תנסה שוב באופן אוטומטי עם השהיה לפני ניסיון חוזר (backoff)
  • משתני סביבה חסרים: צריך לבדוק שכל המשתנים הנדרשים מוגדרים בהגדרות של פונקציית Cloud Run

אחזור חשבון השירות של Google SecOps

‫Google SecOps משתמש בחשבון שירות ייחודי כדי לקרוא נתונים מהקטגוריה של GCS. צריך להעניק לחשבון השירות הזה גישה לדלי.

הגדרת פיד ב-Google SecOps להטמעה של יומני Smartsheet

  1. עוברים אל SIEM Settings > Feeds (הגדרות SIEM > פידים).
  2. לוחצים על הוספת פיד חדש.
  3. לוחצים על Configure a single feed (הגדרת פיד יחיד).
  4. בשדה שם הפיד, מזינים שם לפיד (לדוגמה, Smartsheet Audit Logs).
  5. בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
  6. בוחרים באפשרות Smartsheet בתור סוג היומן.

  7. לוחצים על קבלת חשבון שירות. תוצג כתובת האימייל בחשבון שירות ייחודי, לדוגמה:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com

  8. מעתיקים את כתובת האימייל הזו. תשתמשו בו בשלב הבא.

  9. לוחצים על הבא.

  10. מציינים ערכים לפרמטרים הבאים של הקלט:

    • כתובת ה-URL של קטגוריית האחסון: מזינים את ה-URI של קטגוריית GCS עם נתיב הקידומת:
    gs://smartsheet-audit-logs/smartsheet/events/

    • מחליפים את:

      • ‫smartsheet-audit-logs: השם של קטגוריית GCS.
      • ‫smartsheet/events/: נתיב התחילית שבו שמורים היומנים.
    • אפשרות מחיקת המקור: בוחרים את אפשרות המחיקה הרצויה:
      • אף פעם: לא נמחקים קבצים אחרי ההעברה (מומלץ לבדיקות).
      • מחיקת קבצים שהועברו: הקבצים נמחקים אחרי שההעברה מסתיימת.
      • מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת בהצלחה.
    • הגיל המקסימלי של הקובץ: כולל קבצים שעברו שינוי במספר הימים האחרון. ברירת המחדל היא 180 ימים.
    • מרחב השמות של הנכס: מרחב השמות של הנכס.
    • תוויות להוספה: התווית שתתווסף לאירועים מהפיד הזה.

  11. לוחצים על הבא.

  12. בודקים את ההגדרות של הפיד החדש במסך סיום ולוחצים על שליחה.

הענקת הרשאות IAM לחשבון השירות של Google SecOps

לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של GCS.

  1. עוברים אל Cloud Storage > Buckets (קטגוריות).
  2. לוחצים על שם הקטגוריה (לדוגמה, smartsheet-audit-logs).
  3. עוברים לכרטיסייה Permissions.
  4. לוחצים על הענקת גישה.
  5. מספקים את פרטי ההגדרה הבאים:
    • Add principals (הוספת ישויות מורשות): מדביקים את כתובת האימייל בחשבון של חשבון השירות של Google SecOps.
    • הקצאת תפקידים: בוחרים באפשרות צפייה באובייקט אחסון.

  6. לוחצים על Save.

טבלת מיפוי UDM

שדה ביומן מיפוי UDM היגיון
accessLevel_label additional.fields ממוזג
appName_label additional.fields ממוזג
attachmentName_label additional.fields ממוזג
cellLinkSourceSheetId_label additional.fields ממוזג
dashboardName_label additional.fields ממוזג
folderName_label additional.fields ממוזג
formatType_label additional.fields ממוזג
includeAttachments_label additional.fields ממוזג
includeDiscussions_label additional.fields ממוזג
mergeType_label additional.fields ממוזג
rowCount_label additional.fields ממוזג
rowsMoved_label additional.fields ממוזג
sheetId_label additional.fields ממוזג
sheetName_label additional.fields ממוזג
sheetRowId_label additional.fields ממוזג
sourceFolderId_label additional.fields ממוזג
sourceObjectId_label additional.fields ממוזג
sourceSheetId_label additional.fields ממוזג
sourceType_label additional.fields ממוזג
tokenDisplayValue_label additional.fields ממוזג
tokenUserId_label additional.fields ממוזג
userId_label additional.fields ממוזג
workspaceId_label additional.fields ממוזג
additionalDetails.accessScopes metadata.description מיפוי ישיר
additionalDetails_tokenExpirationTimestamp metadata.event_timestamp ניתוח הכתובות שברשימה: yyyy-MM-ddTHH:mm:ssZ
eventTimestamp metadata.event_timestamp ניתוח הכתובות שברשימה: yyyy-MM-ddTHH:mm:ssZ
has_principal metadata.event_type מיפוי: true → USER_UNCATEGORIZED
accessTokenName metadata.product_log_id מיפוי ישיר
eventId metadata.product_log_id מיפוי ישיר
additionalDetails.appClientId principal.user.userid מיפוי ישיר
requestUserId principal.user.userid מיפוי ישיר
object_id security_result.about.labels ממוזג
source_label security_result.about.labels ממוזג
object_type security_result.about.resource.attribute.labels ממוזג
action security_result.action_details מיפוי ישיר
userId target.user.userid מיפוי ישיר
לא רלוונטי metadata.event_type קבוע: USER_UNCATEGORIZED

יומן שינויים

צפייה ביומן השינויים של מנתח התוכן הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.