איסוף יומני ביקורת של Aware

גרסת כלי הניתוח: 1.0

נתמך ב:

Google SecOps SIEM

במאמר הזה מוסבר איך להטמיע יומני ביקורת של Aware ב-Google Security Operations באמצעות Google Cloud Storage. ‫Aware היא פלטפורמה לניתוח שיתוף פעולה, שמספקת תובנות וניהול של כלי שיתוף פעולה בארגונים.

לפני שמתחילים

חשוב לוודא שמתקיימות הדרישות המוקדמות הבאות:

• מופע של Google SecOps
• פרויקט ב-GCP עם Cloud Storage API מופעל
• הרשאות ליצירה ולניהול של מאגרי GCS
• הרשאות לניהול מדיניות IAM בקטגוריות GCS
• הרשאות ליצירת שירותי Cloud Run, נושאי Pub/Sub ומשימות Cloud Scheduler
• גישה עם הרשאות מיוחדות לדייר Aware

דרישות מוקדמות ל-Collect Aware API

1. נכנסים למסוף Admin של Aware.
2. עוברים אל System Settings (הגדרות המערכת) > Integrations (שילובים) > API Tokens (אסימוני API).
3. לוחצים על + API Token (אסימון API) ומעניקים את ההרשאה Audit Logs Read-only (יומני ביקורת לקריאה בלבד).

4. מעתיקים ושומרים במקום מאובטח את הפרטים הבאים:

   • טוקן API
   • כתובת ה-URL הבסיסית של ה-API: נקודת הקצה היא https://api.aware.work/external/system/auditlogs/v1
   הערה: כתובת הבסיס של ה-API שמוצגת במסוף Admin של Aware צריכה להיות זהה לכתובת https://api.aware.work/external/system/auditlogs/v1. אם הדייר שלכם משתמש בכתובת URL בסיסית אחרת, תצטרכו לעדכן את הקבוע AWARE_ENDPOINT בקוד הפונקציה.

יצירת קטגוריה של Google Cloud Storage

1. נכנסים אל מסוף Google Cloud.
2. בוחרים פרויקט או יוצרים פרויקט חדש.
3. בתפריט הניווט, עוברים אל Cloud Storage > Buckets.
4. לוחצים על Create bucket.

5. מספקים את פרטי ההגדרה הבאים:

   הגדרה	ערך
   Name your bucket (שם הקטגוריה)	מזינים שם ייחודי גלובלית (לדוגמה, aware-audit-logs)
   סוג המיקום	בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים)
   Location	בוחרים את המיקום (לדוגמה, us-central1).
   סוג אחסון (storage class)	רגיל (מומלץ ליומנים שמתבצעת אליהם גישה לעיתים קרובות)
   בקרת גישה	אחיד (מומלץ)
   כלים להגנה	אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים

6. לוחצים על יצירה.

יצירת חשבון שירות לפונקציית Cloud Run

פונקציית Cloud Run צריכה חשבון שירות עם הרשאות כתיבה לקטגוריה של GCS והרשאה להפעלה על ידי Pub/Sub.

יצירת חשבון שירות

1. במסוף GCP, עוברים אל IAM & Admin > Service Accounts.
2. לוחצים על יצירת חשבון שירות.
3. מספקים את פרטי ההגדרה הבאים:
   • שם חשבון השירות: מזינים aware-audit-poller-sa.
   • תיאור חשבון השירות: מזינים Service account for Cloud Run function to collect Aware audit logs.
4. לוחצים על יצירה והמשך.
5. בקטע Grant this service account access to project (מתן גישה של חשבון השירות הזה לפרויקט), מוסיפים את התפקידים הבאים:
   1. לוחצים על בחירת תפקיד.
   2. מחפשים את Storage Object Admin ולוחצים עליו.
   3. לוחצים על + הוספת תפקיד נוסף.
   4. מחפשים את האפשרות Cloud Run Invoker (הפעלת שירותים ב-Cloud Run) ולוחצים עליה.
   5. לוחצים על + הוספת תפקיד נוסף.
   6. מחפשים את האפשרות Cloud Functions Invoker (הפעלת פונקציות של Cloud Functions) ולוחצים עליה.
6. לוחצים על Continue.
7. לוחצים על סיום.

התפקידים האלה נדרשים כדי:

• אדמין של אובייקט אחסון: כתיבת יומנים לקטגוריית GCS וניהול קבצי מצב
• ‫Cloud Run Invoker: מתן הרשאה ל-Pub/Sub להפעיל את הפונקציה
• Cloud Functions Invoker: מאפשר הפעלה של פונקציות

מתן הרשאות IAM בקטגוריית GCS

נותנים לחשבון השירות הרשאות כתיבה בקטגוריית GCS:

1. עוברים אל Cloud Storage > Buckets (קטגוריות).
2. לוחצים על שם הקטגוריה.
3. עוברים לכרטיסייה Permissions.
4. לוחצים על הענקת גישה.
5. מספקים את פרטי ההגדרה הבאים:
   • Add principals (הוספת ישויות מורשות): מזינים את כתובת האימייל בחשבון השירות (לדוגמה, aware-audit-poller-sa@PROJECT_ID.iam.gserviceaccount.com).
   • הקצאת תפקידים: בוחרים באפשרות אדמין של אובייקטים באחסון.
6. לוחצים על Save.

יצירת נושא Pub/Sub

יוצרים נושא Pub/Sub ש-Cloud Scheduler יפרסם בו ופונקציית Cloud Run תירשם אליו.

1. במסוף GCP, עוברים אל Pub/Sub > Topics.
2. לוחצים על יצירת נושא.
3. מספקים את פרטי ההגדרה הבאים:
   • מזהה הנושא: מזינים aware-audit-trigger.
   • משאירים את שאר ההגדרות כברירת מחדל.
4. לוחצים על יצירה.

יצירת פונקציית Cloud Run לאיסוף יומנים

הפונקציה Cloud Run מופעלת על ידי הודעות Pub/Sub מ-Cloud Scheduler כדי לאחזר יומנים מ-Aware API ולכתוב אותם ב-GCS.

1. במסוף GCP, עוברים אל Cloud Run.
2. לוחצים על יצירת שירות.
3. בוחרים באפשרות Function (שימוש בעורך ישיר ליצירת פונקציה).

4. בקטע Configure (הגדרה), מזינים את פרטי ההגדרה הבאים:

   הגדרה	ערך
   שם השירות	aware-audit-poller
   אזור	בוחרים אזור שתואם ל-GCS Bucket (לדוגמה, us-central1)
   זמן ריצה	בוחרים באפשרות Python 3.12 ואילך.

5. בקטע טריגר (אופציונלי):

   1. לוחצים על + הוספת טריגר.
   2. בוחרים באפשרות Cloud Pub/Sub.
   3. בקטע Select a Cloud Pub/Sub topic, בוחרים את הנושא aware-audit-trigger.
   4. לוחצים על Save.

6. בקטע Authentication:

   1. בוחרים באפשרות דרישת אימות.
   2. בודקים את ניהול זהויות והרשאות גישה (IAM).
   הערה: מערכת Pub/Sub מטפלת באימות באופן אוטומטי כשמפעילים את הפונקציה.

7. גוללים למטה ומרחיבים את Containers, Networking, Security (מאגרי תגים, רשתות, אבטחה).

8. עוברים לכרטיסייה אבטחה:

   • חשבון שירות: בוחרים את חשבון השירות aware-audit-poller-sa.

9. עוברים לכרטיסייה מאגרי תגים:

   1. לוחצים על Variables & Secrets (משתנים וסודות).

   2. לוחצים על + הוספת משתנה לכל משתנה סביבתי:

      שם המשתנה	ערך לדוגמה
      GCS_BUCKET	aware-audit-logs
      GCS_PREFIX	aware/audit/
      STATE_KEY	aware/state.json
      AWARE_API_TOKEN	your-aware-api-token
      MAX_PER_PAGE	500

10. בכרטיסייה Variables & Secrets, גוללים למטה אל Requests:

    • זמן קצוב לתפוגת בקשה: מזינים 600 שניות (10 דקות).

11. עוברים לכרטיסייה הגדרות במאגרי תגים:

    • בקטע Resources (מקורות מידע):
      • זיכרון: בוחרים באפשרות ‎512 MiB או יותר.
      • מעבד: בוחרים באפשרות 1.
    • לוחצים על סיום.

12. גוללים אל סביבת הפעלה:

    • בוחרים באפשרות ברירת מחדל (מומלץ).

13. בקטע שינוי קנה מידה של העריכה:

    • מספר המינימום של מופעים: מזינים 0.
    • מספר מקסימלי של מופעים: מזינים 100 (או משנים בהתאם לעומס הצפוי).

14. לוחצים על יצירה.

15. ממתינים ליצירת השירות (1-2 דקות).

16. אחרי שיוצרים את השירות, עורך הקוד המוטבע נפתח באופן אוטומטי.

הוספת קוד פונקציה

1. מזינים main בFunction entry point

2. בעורך הקוד המוטבע, יוצרים שני קבצים:

   • הקובץ הראשון: main.py:

   import functions_framework
   from google.cloud import storage
   import json
   import os
   import urllib3
   from datetime import datetime, timedelta, timezone
   import gzip
   import io
   import time
   
   # Initialize HTTP client with timeouts
   http = urllib3.PoolManager(
       timeout=urllib3.Timeout(connect=5.0, read=30.0),
       retries=False,
   )
   
   # Initialize Storage client
   storage_client = storage.Client()
   
   AWARE_ENDPOINT = "https://api.aware.work/external/system/auditlogs/v1"
   
   @functions_framework.cloud_event
   def main(cloud_event):
       """
       Cloud Run function triggered by Pub/Sub to fetch Aware audit logs and write to GCS.
   
       Args:
           cloud_event: CloudEvent object containing Pub/Sub message
       """
   
       # Get environment variables
       bucket_name = os.environ.get('GCS_BUCKET')
       prefix = os.environ.get('GCS_PREFIX', 'aware/audit/')
       state_key = os.environ.get('STATE_KEY', 'aware/state.json')
       api_token = os.environ.get('AWARE_API_TOKEN')
       max_per_page = int(os.environ.get('MAX_PER_PAGE', '500'))
   
       if not all([bucket_name, api_token]):
           print('Error: Missing required environment variables')
           return
   
       try:
           # Get GCS bucket
           bucket = storage_client.bucket(bucket_name)
   
           # Load state
           state = load_state(bucket, state_key)
   
           tz_utc = timezone.utc
           now = datetime.now(tz=tz_utc)
   
           start_date = (
               datetime.fromisoformat(state['last_date']).date()
               if 'last_date' in state
               else (now - timedelta(days=1)).date()
           )
           end_date = now.date()
   
           total = 0
           day = start_date
           backoff = 1.0
   
           while day <= end_date:
               day_str = day.strftime('%Y-%m-%d')
               params = {
                   'filter': f'startDate:{day_str},endDate:{day_str}',
                   'limit': str(max_per_page)
               }
               offset = 1
   
               out = io.BytesIO()
               with gzip.GzipFile(filename='aware_audit.jsonl', mode='wb', fileobj=out) as gz:
                   wrote_any = False
   
                   while True:
                       # Build query URL
                       query_params = {**params, 'offset': str(offset)}
                       query_string = '&'.join([f'{k}={v}' for k, v in query_params.items()])
                       url = f'{AWARE_ENDPOINT}?{query_string}'
   
                       # Make API request
                       headers = {'X-Aware-Api-Key': api_token}
   
                       try:
                           response = http.request('GET', url, headers=headers, timeout=30.0)
   
                           # Handle rate limiting with exponential backoff
                           if response.status == 429:
                               retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
                               print(f'Rate limited (429). Retrying after {retry_after}s...')
                               time.sleep(retry_after)
                               backoff = min(backoff * 2, 30.0)
                               continue
   
                           backoff = 1.0
   
                           if response.status != 200:
                               print(f'Error: API returned status {response.status}')
                               break
   
                           payload = json.loads(response.data.decode('utf-8'))
                           items = (payload.get('value') or {}).get('auditLogData') or []
   
                           if not items:
                               break
   
                           for item in items:
                               gz.write((json.dumps(item, separators=(',', ':')) + '\n').encode('utf-8'))
                               total += 1
                               wrote_any = True
   
                           offset += 1
   
                       except Exception as e:
                           print(f'Error fetching page: {str(e)}')
                           break
   
               if wrote_any:
                   blob_name = f"{prefix}{day.strftime('%Y/%m/%d')}/aware_audit_{now.strftime('%Y%m%d_%H%M%S')}.jsonl.gz"
                   blob = bucket.blob(blob_name)
                   blob.upload_from_string(
                       out.getvalue(),
                       content_type='application/json',
                       content_encoding='gzip'
                   )
                   print(f'Wrote {total} logs to {blob_name}')
   
               save_state(bucket, state_key, {'last_date': day.isoformat()})
               day += timedelta(days=1)
   
           print(f'Successfully processed {total} logs')
   
       except Exception as e:
           print(f'Error processing logs: {str(e)}')
           raise
   
   def load_state(bucket, key):
       """Load state from GCS."""
       try:
           blob = bucket.blob(key)
           if blob.exists():
               state_data = blob.download_as_text()
               return json.loads(state_data)
       except Exception as e:
           print(f'Warning: Could not load state: {str(e)}')
       return {}
   
   def save_state(bucket, key, state):
       """Save state to GCS."""
       try:
           blob = bucket.blob(key)
           blob.upload_from_string(
               json.dumps(state),
               content_type='application/json'
           )
       except Exception as e:
           print(f'Warning: Could not save state: {str(e)}')
   

   • הקובץ השני: requirements.txt:

   functions-framework==3.*
   google-cloud-storage==2.*
   urllib3>=2.0.0
   

3. לוחצים על Deploy כדי לשמור ולפרוס את הפונקציה.

4. ממתינים לסיום הפריסה (2-3 דקות).

יצירת משימה ב-Cloud Scheduler

‫Cloud Scheduler מפרסם הודעות בנושא Pub/Sub במרווחי זמן קבועים, וכך מפעיל את הפונקציה של Cloud Run.

1. במסוף GCP, עוברים אל Cloud Scheduler.
2. לוחצים על Create Job (יצירת משימה).

3. מספקים את פרטי ההגדרה הבאים:

   הגדרה	ערך
   שם	aware-audit-poller-hourly
   אזור	בחירה באותו אזור כמו פונקציית Cloud Run
   תדירות	‫0 * * * * (כל שעה, בדיוק בשעה)
   אזור זמן	בחירת אזור זמן (מומלץ לבחור UTC)
   סוג הטירגוט	Pub/Sub
   נושא	בחירת הנושא aware-audit-trigger
   גוף ההודעה	‫{} (אובייקט JSON ריק)

4. לוחצים על יצירה.

אפשרויות לתדירות התזמון

• בחירת התדירות בהתאם לנפח היומן ולדרישות זמן האחזור:

  תדירות	ביטוי Cron	תרחיש לדוגמה
  כל 5 דקות	*/5 * * * *	נפח גבוה, זמן אחזור נמוך
  כל 15 דקות	*/15 * * * *	נפח חיפושים בינוני
  כל שעה	0 * * * *	רגיל (מומלץ)
  כל 6 שעות	0 */6 * * *	נפח נמוך, עיבוד באצווה
  יומי	0 0 * * *	איסוף נתונים היסטוריים

  הערה: יכול להיות שסקרים בתדירות גבוהה (למשל, כל 5 דקות) יהיו כפופים למגבלות התדירות של Aware API. עוקבים אחרי תשובות שאינן 200 ומשנים את לוח הזמנים לפי הצורך.

בדיקת משימת המתזמן

1. במסוף Cloud Scheduler, מוצאים את העבודה.
2. כדי להפעיל את הטריגר באופן ידני, לוחצים על הפעלה מאולצת.
3. מחכים כמה שניות ועוברים אל Cloud Run > Services > aware-audit-poller > Logs.
4. מוודאים שהפונקציה בוצעה בהצלחה.
5. בודקים את דלי ה-GCS כדי לוודא שהיומנים נכתבו.

אחזור חשבון השירות של Google SecOps

‫Google SecOps משתמש בחשבון שירות ייחודי כדי לקרוא נתונים מהקטגוריה של GCS. צריך להעניק לחשבון השירות הזה גישה לדלי.

קבלת כתובת האימייל בחשבון השירות

1. עוברים אל SIEM Settings > Feeds (הגדרות SIEM > פידים).
2. לוחצים על הוספת פיד חדש.
3. לוחצים על Configure a single feed (הגדרת פיד יחיד).
4. בשדה שם הפיד, מזינים שם לפיד (לדוגמה, Aware Audit logs).
5. בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
6. בוחרים באפשרות Aware Audit בתור סוג היומן.

7. לוחצים על קבלת חשבון שירות. תוצג כתובת האימייל בחשבון שירות ייחודי, לדוגמה:

   [e-mail]
   

8. מעתיקים את כתובת האימייל הזו לשימוש בשלב הבא.

   הערה: לכל מופע של Google SecOps יש חשבון שירות ייחודי. אל תשתמשו בחשבונות שירות ממסמכים או מדוגמאות אחרים.

הענקת הרשאות IAM לחשבון השירות של Google SecOps

לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של GCS.

1. עוברים אל Cloud Storage > Buckets (קטגוריות).
2. לוחצים על שם הקטגוריה.
3. עוברים לכרטיסייה Permissions.
4. לוחצים על הענקת גישה.
5. מספקים את פרטי ההגדרה הבאים:
   • Add principals (הוספת ישויות מורשות): מדביקים את כתובת האימייל בחשבון של חשבון השירות של Google SecOps.
   • הקצאת תפקידים: בוחרים באפשרות צפייה באובייקט אחסון.

6. לוחצים על Save.

   הערה: אם אתם מתכננים להשתמש באפשרות המחיקה 'מחיקת קבצים שהועברו' או 'מחיקת קבצים שהועברו וספריות ריקות', צריך להעניק את התפקיד Storage Object Admin במקום Storage Object Viewer.

הגדרה של פיד ב-Google SecOps להטמעה של יומני ביקורת של Aware

1. עוברים אל SIEM Settings > Feeds (הגדרות SIEM > פידים).
2. לוחצים על הוספת פיד חדש.
3. לוחצים על Configure a single feed (הגדרת פיד יחיד).
4. בשדה שם הפיד, מזינים שם לפיד (לדוגמה, Aware Audit logs).
5. בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
6. בוחרים באפשרות Aware Audit בתור סוג היומן.
7. לוחצים על הבא.

8. מציינים ערכים לפרמטרים הבאים של הקלט:

   • כתובת ה-URL של קטגוריית האחסון: מזינים את ה-URI של קטגוריית GCS עם נתיב הקידומת:

     gs://aware-audit-logs/aware/audit/
     

     • מחליפים את:

       • ‫aware-audit-logs: השם של קטגוריית GCS.
       • ‫aware/audit/: קידומת או נתיב תיקייה שבהם מאוחסנים היומנים.
     הערה: תמיד צריך לכלול את התו '/' בסוף ה-URI.

   • אפשרות למחיקת המקור: בוחרים את אפשרות המחיקה לפי ההעדפה שלכם:

     • אף פעם: לא נמחקים קבצים אחרי ההעברה (מומלץ לבדיקות).
     • מחיקת קבצים שהועברו: הקבצים נמחקים אחרי שההעברה מסתיימת.

     • מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת בהצלחה.

       הערה: אם בוחרים באפשרות מחיקה, לחשבון השירות צריך להיות התפקיד Storage Object Admin ולא Storage Object Viewer. מעדכנים את ההרשאות ב-IAM בהתאם.

   • הגיל המקסימלי של הקובץ: כולל קבצים שעברו שינוי במספר הימים האחרון. ברירת המחדל היא 180 ימים.

   • מרחב השמות של הנכס: מרחב השמות של הנכס.

   • תוויות להוספה: התווית שתתווסף לאירועים מהפיד הזה.

9. לוחצים על הבא.

10. בודקים את ההגדרות של הפיד החדש במסך סיום ולוחצים על שליחה.

יומן שינויים

צפייה ביומן השינויים של מנתח התוכן הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.