איסוף יומני ביקורת של Aware

גרסת המנתח: 1.0

נתמך ב:

Google SecOps SIEM

במאמר הזה מוסבר איך להטמיע יומני ביקורת של Aware ב-Google Security Operations באמצעות Google Cloud Storage. ‫Aware היא פלטפורמה חכמה לשיתוף פעולה שמספקת תובנות ופיקוח על כלים לשיתוף פעולה בארגונים.

לפני שמתחילים

חשוב לוודא שיש לכם את הדברים הבאים:

• מכונה של Google SecOps
• פרויקט ב-GCP שבו מופעל Cloud Storage API
• הרשאות ליצירה ולניהול של קטגוריות ב-GCS
• הרשאות לניהול מדיניות IAM בקטגוריות של GCS
• הרשאות ליצירת שירותי Cloud Run, נושאי Pub/Sub ומשימות ב-Cloud Scheduler
• גישה מורחבת לדייר (tenant) ב-Aware

דרישות מוקדמות לאיסוף נתונים באמצעות Aware API

1. נכנסים למסוף Admin של Aware.
2. עוברים אל System Settings (הגדרות המערכת) > Integrations (שילובים) > API Tokens (אסימוני API).
3. לוחצים על + API Token ונותנים הרשאת יומני ביקורת לקריאה בלבד.

4. מעתיקים ושומרים במקום מאובטח את הפרטים הבאים:

   • טוקן API
   • כתובת ה-URL הבסיסית של ה-API: נקודת הקצה היא https://api.aware.work/external/system/auditlogs/v1
   הערה: כתובת ה-URL הבסיסית של ה-API שמוצגת במסוף Admin של Aware צריכה להיות זהה ל-https://api.aware.work/external/system/auditlogs/v1. אם הדייר (tenant) שלכם משתמש בכתובת URL בסיסית אחרת, תצטרכו לעדכן את הקבוע AWARE_ENDPOINT בקוד הפונקציה.

יצירת קטגוריה של Google Cloud Storage

1. נכנסים למסוף Google Cloud.
2. בוחרים את הפרויקט או יוצרים פרויקט חדש.
3. בתפריט הניווט, נכנסים ל-Cloud Storage > Buckets.
4. לוחצים על Create bucket.

5. ממלאים את פרטי ההגדרה הבאים:

   הגדרה	ערך
   Name your bucket	מזינים שם ייחודי ברמה גלובלית (לדוגמה, aware-audit-logs)
   סוג המיקום	בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים)
   Location	בוחרים את המיקום (לדוגמה, us-central1)
   סוג אחסון (storage class)	רגיל (מומלץ ליומנים שהגישה אליהם תכופה)
   בקרת גישה	אחידה (מומלץ)
   כלי הגנה	אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים

6. לוחצים על יצירה.

יצירת חשבון שירות לפונקציית Cloud Run

לפונקציית Cloud Run נדרש חשבון שירות עם הרשאות כתיבה בקטגוריית GCS, וצריך להפעיל אותה באמצעות Pub/Sub.

יצירת חשבון שירות

1. במסוף GCP, נכנסים לדף IAM & Admin > Service Accounts.
2. לוחצים על Create Service Account.
3. מזינים את פרטי ההגדרה הבאים:
   • שם חשבון השירות: מזינים aware-audit-poller-sa.
   • Service account description: מזינים Service account for Cloud Run function to collect Aware audit logs.
4. לוחצים על יצירה והמשך.
5. בקטע Grant this service account access to project, מוסיפים את התפקידים הבאים:
   1. לוחצים על בחירת תפקיד.
   2. מחפשים את התפקיד Storage Object Admin ובוחרים אותו.
   3. לוחצים על + הוספת תפקיד.
   4. מחפשים את התפקיד Cloud Run Invoker ובוחרים בו.
   5. לוחצים על + הוספת תפקיד.
   6. מחפשים את התפקיד Cloud Functions Invoker ובוחרים אותו.
6. לוחצים על Continue.
7. לוחצים על סיום.

התפקידים האלה נדרשים כדי:

• אדמין של אובייקט אחסון: כתיבת יומנים לקטגוריית GCS וניהול קובצי תמונת מצב
• Cloud Run Invoker: מאפשר ל-Pub/Sub להפעיל את הפונקציה
• מפעיל פונקציות של Cloud Functions: מאפשר להפעיל פונקציות

הענקת הרשאות IAM בקטגוריית GCS

נותנים לחשבון השירות הרשאות כתיבה בקטגוריה של GCS:

1. נכנסים לדף Cloud Storage > Buckets.
2. לוחצים על שם הקטגוריה.
3. עוברים לכרטיסייה Permissions.
4. לוחצים על הענקת גישה.
5. מזינים את פרטי ההגדרה הבאים:
   • הוספת חשבונות משתמשים: מזינים את כתובת האימייל של חשבון השירות (לדוגמה, aware-audit-poller-sa@PROJECT_ID.iam.gserviceaccount.com).
   • הקצאת תפקידים: בוחרים באפשרות אדמין של אובייקטים באחסון.
6. לוחצים על Save.

יצירת נושא Pub/Sub

יוצרים נושא Pub/Sub ש-Cloud Scheduler יפרסם בו ופונקציית Cloud Run תירשם אליו.

1. במסוף GCP, נכנסים לדף Pub/Sub > Topics.
2. לוחצים על Create topic.
3. מזינים את פרטי ההגדרה הבאים:
   • מזהה הנושא: מזינים את הערך aware-audit-trigger.
   • משאירים את ההגדרות האחרות כברירת מחדל.
4. לוחצים על יצירה.

יצירת פונקציית Cloud Run לאיסוף יומנים

הודעות Pub/Sub מ-Cloud Scheduler מפעילות את פונקציית Cloud Run כדי לאחזר יומנים מ-Aware API ולכתוב אותם ב-GCS.

1. במסוף GCP, נכנסים ל-Cloud Run.
2. לוחצים על Create service.
3. בוחרים באפשרות Function (שימוש בעורך ישיר כדי ליצור פונקציה).

4. בקטע Configure, מזינים את פרטי ההגדרה הבאים:

   הגדרה	ערך
   שם השירות	aware-audit-poller
   אזור	בוחרים את האזור שתואם לקטגוריית ה-GCS (לדוגמה, us-central1)
   זמן ריצה	בוחרים באפשרות Python 3.12 או גרסה עדכנית יותר.

5. בקטע טריגר (אופציונלי):

   1. לוחצים על + הוספת טריגר.
   2. בוחרים באפשרות Cloud Pub/Sub.
   3. בקטע Select a Cloud Pub/Sub topic, בוחרים את הנושא aware-audit-trigger.
   4. לוחצים על Save.

6. בקטע אימות:

   1. לוחצים על דרישת אימות.
   2. בודקים את ניהול הזהויות והרשאות הגישה (IAM).
   הערה: Pub/Sub מטפל באופן אוטומטי באימות כשמפעילים את הפונקציה.

7. גוללים למטה ומרחיבים את הקטע Containers, Networking, Security.

8. עוברים לכרטיסייה אבטחה:

   • חשבון שירות: בוחרים את חשבון השירות aware-audit-poller-sa.

9. עוברים לכרטיסייה מאגרי תגים:

   1. לוחצים על Variables & Secrets.

   2. לוחצים על ‎+ Add variable לכל משתנה סביבה:

      שם משתנה	ערך לדוגמה
      GCS_BUCKET	aware-audit-logs
      GCS_PREFIX	aware/audit/
      STATE_KEY	aware/state.json
      AWARE_API_TOKEN	your-aware-api-token
      MAX_PER_PAGE	500

10. גוללים למטה בכרטיסייה Variables & Secrets (משתנים וסודות) עד שמגיעים לקטע Requests (בקשות):

    • ‫Request timeout: מזינים 600 שניות (10 דקות).

11. עוברים לכרטיסייה הגדרות בקטע מאגרים:

    • בקטע Resources:
      • זיכרון: בוחרים באפשרות ‎512 MiB או יותר.
      • מעבד (CPU): בוחרים באפשרות 1.
    • לוחצים על סיום.

12. גוללים אל סביבת הפעלה:

    • בוחרים באפשרות ברירת מחדל (מומלץ).

13. בקטע Revision scaling:

    • מספר מינימלי של מכונות: מזינים 0.
    • Maximum number of instances: מזינים 100 (או משנים בהתאם לעומס הצפוי).

14. לוחצים על יצירה.

15. ממתינים ליצירת השירות (דקה או שתיים).

16. אחרי שיוצרים את השירות, עורך הקוד המוטבע נפתח באופן אוטומטי.

הוספת קוד פונקציה

1. מזינים main בשדה Function entry point.

2. בעורך הקוד, יוצרים שני קבצים:

   • הקובץ הראשון: main.py:

   import functions_framework
   from google.cloud import storage
   import json
   import os
   import urllib3
   from datetime import datetime, timedelta, timezone
   import gzip
   import io
   import time
   
   # Initialize HTTP client with timeouts
   http = urllib3.PoolManager(
       timeout=urllib3.Timeout(connect=5.0, read=30.0),
       retries=False,
   )
   
   # Initialize Storage client
   storage_client = storage.Client()
   
   AWARE_ENDPOINT = "https://api.aware.work/external/system/auditlogs/v1"
   
   @functions_framework.cloud_event
   def main(cloud_event):
       """
       Cloud Run function triggered by Pub/Sub to fetch Aware audit logs and write to GCS.
   
       Args:
           cloud_event: CloudEvent object containing Pub/Sub message
       """
   
       # Get environment variables
       bucket_name = os.environ.get('GCS_BUCKET')
       prefix = os.environ.get('GCS_PREFIX', 'aware/audit/')
       state_key = os.environ.get('STATE_KEY', 'aware/state.json')
       api_token = os.environ.get('AWARE_API_TOKEN')
       max_per_page = int(os.environ.get('MAX_PER_PAGE', '500'))
   
       if not all([bucket_name, api_token]):
           print('Error: Missing required environment variables')
           return
   
       try:
           # Get GCS bucket
           bucket = storage_client.bucket(bucket_name)
   
           # Load state
           state = load_state(bucket, state_key)
   
           tz_utc = timezone.utc
           now = datetime.now(tz=tz_utc)
   
           start_date = (
               datetime.fromisoformat(state['last_date']).date()
               if 'last_date' in state
               else (now - timedelta(days=1)).date()
           )
           end_date = now.date()
   
           total = 0
           day = start_date
           backoff = 1.0
   
           while day <= end_date:
               day_str = day.strftime('%Y-%m-%d')
               params = {
                   'filter': f'startDate:{day_str},endDate:{day_str}',
                   'limit': str(max_per_page)
               }
               offset = 1
   
               out = io.BytesIO()
               with gzip.GzipFile(filename='aware_audit.jsonl', mode='wb', fileobj=out) as gz:
                   wrote_any = False
   
                   while True:
                       # Build query URL
                       query_params = {**params, 'offset': str(offset)}
                       query_string = '&'.join([f'{k}={v}' for k, v in query_params.items()])
                       url = f'{AWARE_ENDPOINT}?{query_string}'
   
                       # Make API request
                       headers = {'X-Aware-Api-Key': api_token}
   
                       try:
                           response = http.request('GET', url, headers=headers, timeout=30.0)
   
                           # Handle rate limiting with exponential backoff
                           if response.status == 429:
                               retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
                               print(f'Rate limited (429). Retrying after {retry_after}s...')
                               time.sleep(retry_after)
                               backoff = min(backoff * 2, 30.0)
                               continue
   
                           backoff = 1.0
   
                           if response.status != 200:
                               print(f'Error: API returned status {response.status}')
                               break
   
                           payload = json.loads(response.data.decode('utf-8'))
                           items = (payload.get('value') or {}).get('auditLogData') or []
   
                           if not items:
                               break
   
                           for item in items:
                               gz.write((json.dumps(item, separators=(',', ':')) + '\n').encode('utf-8'))
                               total += 1
                               wrote_any = True
   
                           offset += 1
   
                       except Exception as e:
                           print(f'Error fetching page: {str(e)}')
                           break
   
               if wrote_any:
                   blob_name = f"{prefix}{day.strftime('%Y/%m/%d')}/aware_audit_{now.strftime('%Y%m%d_%H%M%S')}.jsonl.gz"
                   blob = bucket.blob(blob_name)
                   blob.upload_from_string(
                       out.getvalue(),
                       content_type='application/json',
                       content_encoding='gzip'
                   )
                   print(f'Wrote {total} logs to {blob_name}')
   
               save_state(bucket, state_key, {'last_date': day.isoformat()})
               day += timedelta(days=1)
   
           print(f'Successfully processed {total} logs')
   
       except Exception as e:
           print(f'Error processing logs: {str(e)}')
           raise
   
   def load_state(bucket, key):
       """Load state from GCS."""
       try:
           blob = bucket.blob(key)
           if blob.exists():
               state_data = blob.download_as_text()
               return json.loads(state_data)
       except Exception as e:
           print(f'Warning: Could not load state: {str(e)}')
       return {}
   
   def save_state(bucket, key, state):
       """Save state to GCS."""
       try:
           blob = bucket.blob(key)
           blob.upload_from_string(
               json.dumps(state),
               content_type='application/json'
           )
       except Exception as e:
           print(f'Warning: Could not save state: {str(e)}')
   

   • הקובץ השני: requirements.txt:

   functions-framework==3.*
   google-cloud-storage==2.*
   urllib3>=2.0.0
   

3. לוחצים על Deploy כדי לשמור ולפרוס את הפונקציה.

4. מחכים שהפריסה תסתיים (2-3 דקות).

יצירת משימה ב-Cloud Scheduler

‫Cloud Scheduler מפרסם הודעות בנושא Pub/Sub במרווחי זמן קבועים, ומפעיל את פונקציית Cloud Run.

1. במסוף GCP, נכנסים ל-Cloud Scheduler.
2. לוחצים על Create Job.

3. ממלאים את פרטי ההגדרה הבאים:

   הגדרה	ערך
   שם	aware-audit-poller-hourly
   אזור	בוחרים את אותו אזור כמו של פונקציית Cloud Run.
   תדירות	‫0 * * * * (כל שעה, בשעה עגולה)
   אזור זמן	בחירת אזור זמן (מומלץ לבחור ב-UTC)
   סוג היעד	Pub/Sub
   נושא	בוחרים את הנושא aware-audit-trigger
   גוף ההודעה	‫{} (אובייקט JSON ריק)

4. לוחצים על יצירה.

אפשרויות לתדירות התזמון

• בוחרים את התדירות בהתאם לנפח היומן ולדרישות לגבי זמן האחזור:

  תדירות	ביטוי Cron	תרחיש לדוגמה
  כל 5 דקות	*/5 * * * *	נפח גבוה, זמן אחזור נמוך
  כל 15 דקות	*/15 * * * *	נפח חיפושים בינוני
  כל שעה	0 * * * *	רגיל (מומלץ)
  כל 6 שעות	0 */6 * * *	נפח נמוך, עיבוד ברצף (batch processing)
  יומי	0 0 * * *	איסוף נתונים היסטוריים

  הערה: דגימה תכופה (לדוגמה, כל 5 דקות) עשויה להיות כפופה למגבלות הקצב של Aware API. עוקבים אחרי תגובות שהן לא 200 ומשנים את לוח הזמנים לפי הצורך.

בדיקת המשימה המתוזמנת

1. במסוף Cloud Scheduler, מוצאים את המשימה.
2. לוחצים על הפעלה ידנית כדי להפעיל את המשימה באופן ידני.
3. מחכים כמה שניות ונכנסים לדף Cloud Run > Services > aware-audit-poller > Logs.
4. מוודאים שהפונקציה בוצעה בהצלחה.
5. בודקים את הקטגוריה ב-GCS כדי לוודא שהיומנים נכתבו.

אחזור של חשבון השירות של Google SecOps

מערכת Google SecOps משתמשת בחשבון שירות ייחודי כדי לקרוא נתונים מהקטגוריה שלכם ב-GCS. אתם צריכים לתת לחשבון השירות הזה גישה לקטגוריה שלכם.

איך מקבלים את כתובת האימייל של חשבון השירות

1. עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פידים.
2. לוחצים על הוספת פיד חדש.
3. לוחצים על הגדרת פיד יחיד.
4. בשדה שם הפיד, מזינים שם לפיד (לדוגמה, Aware Audit logs).
5. בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
6. בוחרים באפשרות Aware Audit בתור Log type.

7. לוחצים על Get Service Account (קבלת חשבון שירות). תוצג כתובת אימייל ייחודית של חשבון שירות, לדוגמה:

   [e-mail]
   

8. מעתיקים את כתובת האימייל הזו כדי להשתמש בה בשלב הבא.

   הערה: לכל מכונה של Google SecOps יש חשבון שירות ייחודי. אל תשתמשו בחשבונות שירות ממסמכים או מדוגמאות אחרים.

מתן הרשאות IAM לחשבון השירות של Google SecOps

לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של GCS.

1. נכנסים לדף Cloud Storage > Buckets.
2. לוחצים על שם הקטגוריה.
3. עוברים לכרטיסייה Permissions.
4. לוחצים על הענקת גישה.
5. מזינים את פרטי ההגדרה הבאים:
   • הוספת חשבונות משתמשים: מדביקים את כתובת האימייל של חשבון השירות של Google SecOps.
   • הקצאת תפקידים: בוחרים באפשרות צפייה באובייקטים באחסון.

6. לוחצים על Save.

   הערה: אם אתם מתכננים להשתמש באפשרות המחיקה "מחיקת קבצים שהועברו" או "מחיקת קבצים שהועברו וספריות ריקות", הקצו את התפקיד אדמין של אובייקטים ב-Cloud Storage במקום "צפייה באובייקטים ב-Cloud Storage".

הגדרת פיד ב-Google SecOps כדי להטמיע יומני ביקורת של Aware

1. עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פידים.
2. לוחצים על הוספת פיד חדש.
3. לוחצים על הגדרת פיד יחיד.
4. בשדה שם הפיד, מזינים שם לפיד (לדוגמה, Aware Audit logs).
5. בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
6. בוחרים באפשרות Aware Audit בתור Log type.
7. לוחצים על הבא.

8. מציינים ערכים לפרמטרים הבאים של הקלט:

   • כתובת ה-URL של קטגוריית האחסון: מזינים את ה-URI של קטגוריית GCS עם נתיב הקידומת:

     gs://aware-audit-logs/aware/audit/
     

     • מחליפים את:

       • ‫aware-audit-logs: השם של קטגוריית GCS.
       • ‫aware/audit/: נתיב הקידומת או התיקייה שבהם נשמרים היומנים.
     הערה: תמיד צריך לכלול את הלוכסן (/) בסוף ה-URI.

   • אפשרות מחיקת המקור: בוחרים את אפשרות המחיקה המועדפת:

     • Never: אף פעם לא למחוק קבצים אחרי העברות (מומלץ לבדיקה).
     • מחיקת קבצים שהועברו: מחיקת קבצים אחרי שהם הועברו בהצלחה.

     • מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת.

       הערה: אם בוחרים באפשרות מחיקה, לחשבון השירות צריך להיות התפקיד אדמין של אובייקטים ב-Storage במקום התפקיד 'צפייה באובייקטים ב-Storage'. מעדכנים את הרשאות ה-IAM בהתאם.

   • גיל הקובץ המקסימלי: כולל קבצים ששונו במספר הימים האחרונים. ברירת המחדל היא 180 ימים.

   • מרחב השמות של הנכס: מרחב השמות של הנכס.

   • תוויות הטמעה: התווית שתתווסף לאירועים מהפיד הזה.

9. לוחצים על הבא.

10. בודקים את הגדרות הפיד החדש במסך סיום ולוחצים על שליחה.

יומן שינויים

הצגת יומן השינויים של המנתח הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.