איסוף יומנים של CrowdStrike FileVantage

גרסת מנתח הנתונים: 1.0

נתמך ב:

במאמר הזה מוסבר איך להטמיע יומנים של CrowdStrike FileVantage ב-Google Security Operations באמצעות Google Cloud Storage. ‫CrowdStrike FileVantage הוא פתרון למעקב אחר שלמות הקבצים, שעוקב אחרי שינויים בקבצים ובספריות קריטיים בסביבה שלכם.

לפני שמתחילים

חשוב לוודא שמתקיימות דרישות הסף הבאות:

  • מופע של Google SecOps
  • פרויקט ב-GCP עם Cloud Storage API מופעל
  • הרשאות ליצירה ולניהול של קטגוריות GCS
  • הרשאות לניהול מדיניות IAM בקטגוריות GCS
  • הרשאות ליצירת שירותי Cloud Run, נושאי Pub/Sub ומשימות Cloud Scheduler
  • גישת אדמין למסוף CrowdStrike Falcon

יצירת קטגוריה של Google Cloud Storage

  1. נכנסים אל מסוף Google Cloud.
  2. בוחרים פרויקט או יוצרים פרויקט חדש.
  3. בתפריט הניווט, עוברים אל Cloud Storage > Buckets.
  4. לוחצים על Create bucket.
  5. מזינים את פרטי ההגדרה הבאים:

    הגדרה ערך
    Name your bucket (שם הקטגוריה) מזינים שם ייחודי גלובלית (לדוגמה, crowdstrike-filevantage-logs)
    סוג מיקום בוחרים לפי הצרכים שלכם (אזור, בשני אזורים, במספר אזורים)
    Location בוחרים את המיקום (לדוגמה, us-central1).
    סוג אחסון (storage class) רגיל (מומלץ ליומנים שמתבצעת אליהם גישה לעיתים קרובות)
    בקרת גישה אחיד (מומלץ)
    כלים להגנה אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים
  6. לוחצים על יצירה.

איסוף פרטי כניסה ל-API של CrowdStrike FileVantage

  1. נכנסים ל-CrowdStrike Falcon Console.
  2. עוברים אל תמיכה ומשאבים > לקוחות ומפתחות API.
  3. לוחצים על הוספת לקוח API חדש.
  4. מזינים את פרטי ההגדרה הבאים:
    • שם הלקוח: מזינים שם תיאורי (לדוגמה, Google SecOps FileVantage Integration).
    • תיאור: מזינים תיאור קצר של מטרת השילוב.
    • היקפי API: בוחרים באפשרות Falcon FileVantage:read.
  5. כדי להשלים את התהליך, לוחצים על הוספה.
  6. מעתיקים ושומרים במקום מאובטח את הפרטים הבאים:

    • Client ID
    • סוד לקוח
    • כתובת URL בסיסית (קובעת את האזור בענן)

אימות ההרשאות

כדי לוודא שלחשבון יש את ההרשאות הנדרשות:

  1. נכנסים ל-CrowdStrike Falcon Console.
  2. עוברים אל תמיכה ומשאבים > לקוחות ומפתחות API.
  3. אם אתם יכולים לראות את הדף API clients and keys (לקוחות ומפתחות API) וליצור לקוחות API חדשים, יש לכם את ההרשאות הנדרשות.
  4. אם אין לכם גישה לדף הזה, פנו לאדמין שלכם ב-CrowdStrike כדי לקבל את התפקיד 'אדמין של Falcon'.

בדיקת הגישה ל-API

  • לפני שממשיכים בשילוב, כדאי לבדוק את פרטי הכניסה:

    # Replace with your actual credentials
    FALCON_CLIENT_ID="your-client-id"
    FALCON_CLIENT_SECRET="your-client-secret"
    FALCON_BASE_URL="https://api.crowdstrike.com"
    
    # Get OAuth token
    TOKEN=$(curl -s -X POST "${FALCON_BASE_URL}/oauth2/token" \
      -H "Content-Type: application/x-www-form-urlencoded" \
      -d "client_id=${FALCON_CLIENT_ID}&client_secret=${FALCON_CLIENT_SECRET}&grant_type=client_credentials" \
      | grep -o '"access_token":"[^"]*' | cut -d'"' -f4)
    
    # Test FileVantage API access
    curl -v -H "Authorization: Bearer ${TOKEN}" \
      "${FALCON_BASE_URL}/filevantage/queries/changes/v3?limit=1"
    

יצירת חשבון שירות לפונקציית Cloud Run

פונקציית Cloud Run צריכה חשבון שירות עם הרשאות כתיבה לקטגוריית GCS והרשאה להפעלה על ידי Pub/Sub.

יצירת חשבון שירות

  1. במסוף GCP, נכנסים אל IAM & Admin > Service Accounts.
  2. לוחצים על יצירת חשבון שירות.
  3. מזינים את פרטי ההגדרה הבאים:
    • שם חשבון השירות: מזינים crowdstrike-filevantage-sa.
    • תיאור חשבון השירות: מזינים Service account for Cloud Run function to collect CrowdStrike FileVantage logs.
  4. לוחצים על יצירה והמשך.
  5. בקטע Grant this service account access to project (מתן גישה של חשבון השירות הזה לפרויקט), מוסיפים את התפקידים הבאים:
    1. לוחצים על בחירת תפקיד.
    2. מחפשים את Storage Object Admin ובוחרים בו.
    3. לוחצים על + הוספת תפקיד נוסף.
    4. מחפשים את התפקיד Cloud Run Invoker (הפעלת שירותים ב-Cloud Run) ולוחצים עליו.
    5. לוחצים על + הוספת תפקיד נוסף.
    6. מחפשים את האפשרות Cloud Functions Invoker (הפעלת פונקציות של Cloud Functions) ולוחצים עליה.
  6. לוחצים על Continue.
  7. לוחצים על סיום.

התפקידים האלה נדרשים כדי:

  • אדמין של אובייקט אחסון: כתיבת יומנים לקטגוריית GCS וניהול קובצי מצב
  • Cloud Run Invoker: מתן הרשאה ל-Pub/Sub להפעיל את הפונקציה
  • Cloud Functions Invoker: מאפשר הפעלה של פונקציות

מתן הרשאות IAM בקטגוריית GCS

נותנים לחשבון השירות הרשאות כתיבה בקטגוריית GCS:

  1. נכנסים אל Cloud Storage > Buckets (קטגוריות).
  2. לוחצים על שם הקטגוריה (לדוגמה, crowdstrike-filevantage-logs).
  3. עוברים לכרטיסייה Permissions.
  4. לוחצים על הענקת גישה.
  5. מזינים את פרטי ההגדרה הבאים:
    • Add principals (הוספת ישויות מורשות): מזינים את כתובת האימייל בחשבון השירות (לדוגמה, crowdstrike-filevantage-sa@PROJECT_ID.iam.gserviceaccount.com).
    • הקצאת תפקידים: בוחרים באפשרות אדמין של אובייקטים באחסון.
  6. לוחצים על Save.

יצירת נושא Pub/Sub

יוצרים נושא Pub/Sub ש-Cloud Scheduler יפרסם בו ופונקציית Cloud Run תירשם אליו.

  1. במסוף GCP, עוברים אל Pub/Sub > Topics.
  2. לוחצים על יצירת נושא.
  3. מזינים את פרטי ההגדרה הבאים:
    • מזהה הנושא: מזינים crowdstrike-filevantage-trigger.
    • משאירים את שאר ההגדרות כברירת מחדל.
  4. לוחצים על יצירה.

יצירת פונקציית Cloud Run לאיסוף יומנים

הפונקציה Cloud Run מופעלת על ידי הודעות Pub/Sub מ-Cloud Scheduler כדי לאחזר יומנים מ-CrowdStrike FileVantage API ולכתוב אותם ב-GCS.

  1. במסוף GCP, עוברים אל Cloud Run.
  2. לוחצים על יצירת שירות.
  3. בוחרים באפשרות Function (שימוש בעורך מוטבע ליצירת פונקציה).
  4. בקטע Configure (הגדרה), מזינים את פרטי ההגדרה הבאים:

    הגדרה ערך
    שם השירות crowdstrike-filevantage-collector
    אזור בוחרים אזור שתואם ל-GCS Bucket (לדוגמה, us-central1)
    זמן ריצה בוחרים באפשרות Python 3.12 ואילך
  5. בקטע Trigger (optional) (טריגר (אופציונלי)):

    1. לוחצים על + הוספת טריגר.
    2. בוחרים באפשרות Cloud Pub/Sub.
    3. בקטע Select a Cloud Pub/Sub topic, בוחרים את נושא ה-Pub/Sub ‏ (crowdstrike-filevantage-trigger).
    4. לוחצים על Save.
  6. בקטע אימות:

    1. לוחצים על דרישת אימות.
    2. בודקים את ניהול זהויות והרשאות גישה (IAM).
  7. גוללים למטה ומרחיבים את Containers, Networking, Security.

  8. עוברים לכרטיסייה אבטחה:

    • חשבון שירות: בוחרים את חשבון השירות (crowdstrike-filevantage-sa).
  9. עוברים לכרטיסייה מאגרי תגים:

    1. לוחצים על Variables & Secrets (משתנים וסודות).
    2. לוחצים על + הוספת משתנה לכל משתנה סביבתי:
    שם המשתנה ערך לדוגמה
    GCS_BUCKET crowdstrike-filevantage-logs
    GCS_PREFIX filevantage/
    STATE_KEY filevantage/state.json
    FALCON_CLIENT_ID your-client-id
    FALCON_CLIENT_SECRET your-client-secret
    FALCON_BASE_URL https://api.crowdstrike.com (US-1) / https://api.us-2.crowdstrike.com (US-2) / https://api.eu-1.crowdstrike.com (EU-1)
  10. בקטע Variables & Secrets, גוללים למטה אל Requests:

    • זמן קצוב לתפוגת בקשה: מזינים 600 שניות (10 דקות).
  11. עוברים לכרטיסייה הגדרות:

    • בקטע מקורות מידע:
      • זיכרון: בוחרים באפשרות ‎512 MiB או יותר.
      • מעבד: בוחרים באפשרות 1.
  12. בקטע Revision scaling:

    • מספר מינימלי של מופעים: מזינים 0.
    • מספר מקסימלי של מופעים: מזינים 100 (או משנים בהתאם לעומס הצפוי).
  13. לוחצים על יצירה.

  14. ממתינים ליצירת השירות (דקה או שתיים).

  15. אחרי שיוצרים את השירות, עורך הקוד המוטבע נפתח באופן אוטומטי.

הוספת קוד פונקציה

  1. מזינים main בFunction entry point (נקודת הכניסה לפונקציה).
  2. בעורך הקוד המוטבע, יוצרים שני קבצים:

    • הקובץ הראשון: main.py:
    import functions_framework
    from google.cloud import storage
    import json
    import os
    import urllib3
    from datetime import datetime, timezone, timedelta
    import time
    
    # Initialize HTTP client with timeouts
    http = urllib3.PoolManager(
        timeout=urllib3.Timeout(connect=5.0, read=30.0),
        retries=False,
    )
    
    # Initialize Storage client
    storage_client = storage.Client()
    
    @functions_framework.cloud_event
    def main(cloud_event):
        """
        Cloud Run function triggered by Pub/Sub to fetch CrowdStrike FileVantage logs and write to GCS.
    
        Args:
            cloud_event: CloudEvent object containing Pub/Sub message
        """
    
        # Get environment variables
        bucket_name = os.environ.get('GCS_BUCKET')
        prefix = os.environ.get('GCS_PREFIX', 'filevantage/')
        state_key = os.environ.get('STATE_KEY', 'filevantage/state.json')
        client_id = os.environ.get('FALCON_CLIENT_ID')
        client_secret = os.environ.get('FALCON_CLIENT_SECRET')
        base_url = os.environ.get('FALCON_BASE_URL')
    
        if not all([bucket_name, client_id, client_secret, base_url]):
            print('Error: Missing required environment variables')
            return
    
        try:
            # Get GCS bucket
            bucket = storage_client.bucket(bucket_name)
    
            # Get OAuth token
            token_url = f"{base_url}/oauth2/token"
            token_headers = {
                'Content-Type': 'application/x-www-form-urlencoded',
                'Accept': 'application/json'
            }
            token_data = f"client_id={client_id}&client_secret={client_secret}&grant_type=client_credentials"
    
            token_response = http.request(
                'POST',
                token_url,
                body=token_data.encode('utf-8'),
                headers=token_headers
            )
    
            if token_response.status != 200:
                print(f"Failed to get OAuth token: {token_response.status}")
                print(f"Response: {token_response.data.decode('utf-8')}")
                return
    
            token_data_json = json.loads(token_response.data.decode('utf-8'))
            access_token = token_data_json['access_token']
    
            # Get last checkpoint
            last_timestamp = get_last_checkpoint(bucket, state_key)
    
            # Fetch file changes using v3 endpoint (high volume query)
            changes_url = f"{base_url}/filevantage/queries/changes/v3"
            headers = {
                'Authorization': f'Bearer {access_token}',
                'Accept': 'application/json'
            }
    
            # Build query parameters
            params = []
            params.append('limit=5000')
            params.append('sort=action_timestamp|asc')
    
            if last_timestamp:
                params.append(f"filter=action_timestamp:>'{last_timestamp}'")
    
            query_url = f"{changes_url}?{'&'.join(params)}"
    
            backoff = 1.0
            max_retries = 3
    
            for attempt in range(max_retries):
                response = http.request('GET', query_url, headers=headers)
    
                if response.status == 429:
                    retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
                    print(f"Rate limited (429). Retrying after {retry_after}s...")
                    time.sleep(retry_after)
                    backoff = min(backoff * 2, 30.0)
                    continue
    
                if response.status != 200:
                    print(f"Failed to query changes: {response.status}")
                    print(f"Response: {response.data.decode('utf-8')}")
                    return
    
                break
            else:
                print("Max retries exceeded")
                return
    
            response_data = json.loads(response.data.decode('utf-8'))
            change_ids = response_data.get('resources', [])
    
            if not change_ids:
                print("No new changes found")
                return
    
            # Get detailed change information using v2 endpoint
            details_url = f"{base_url}/filevantage/entities/changes/v2"
            batch_size = 500
            all_changes = []
            latest_timestamp = last_timestamp
    
            for i in range(0, len(change_ids), batch_size):
                batch_ids = change_ids[i:i + batch_size]
    
                # Build query string with multiple ids parameters
                ids_params = '&'.join([f'ids={id}' for id in batch_ids])
                details_query_url = f"{details_url}?{ids_params}"
    
                backoff = 1.0
                for attempt in range(max_retries):
                    details_response = http.request('GET', details_query_url, headers=headers)
    
                    if details_response.status == 429:
                        retry_after = int(details_response.headers.get('Retry-After', str(int(backoff))))
                        print(f"Rate limited (429). Retrying after {retry_after}s...")
                        time.sleep(retry_after)
                        backoff = min(backoff * 2, 30.0)
                        continue
    
                    if details_response.status == 200:
                        details_data = json.loads(details_response.data.decode('utf-8'))
                        changes = details_data.get('resources', [])
                        all_changes.extend(changes)
    
                        # Track latest timestamp
                        for change in changes:
                            change_time = change.get('action_timestamp')
                            if change_time and (not latest_timestamp or change_time > latest_timestamp):
                                latest_timestamp = change_time
                        break
                    else:
                        print(f"Failed to get change details (batch {i//batch_size + 1}): {details_response.status}")
                        break
    
            if all_changes:
                # Store logs in GCS
                timestamp = datetime.now(timezone.utc).strftime('%Y%m%d_%H%M%S')
                blob_name = f"{prefix}filevantage_changes_{timestamp}.json"
                blob = bucket.blob(blob_name)
                log_lines = '\n'.join(json.dumps(change) for change in all_changes)
                blob.upload_from_string(log_lines, content_type='application/json')
    
                # Update checkpoint
                save_checkpoint(bucket, state_key, latest_timestamp)
    
                print(f"Stored {len(all_changes)} changes in GCS: {blob_name}")
    
        except Exception as e:
            print(f"Error: {str(e)}")
            raise
    
    def get_last_checkpoint(bucket, key):
        """Get the last processed timestamp from GCS state file"""
        try:
            blob = bucket.blob(key)
            if blob.exists():
                state_data = blob.download_as_text()
                state = json.loads(state_data)
                return state.get('last_timestamp')
        except Exception as e:
            print(f"Error reading checkpoint: {e}")
        return None
    
    def save_checkpoint(bucket, key, timestamp):
        """Save the last processed timestamp to GCS state file"""
        try:
            state = {
                'last_timestamp': timestamp,
                'updated_at': datetime.now(timezone.utc).isoformat()
            }
            blob = bucket.blob(key)
            blob.upload_from_string(
                json.dumps(state),
                content_type='application/json'
            )
        except Exception as e:
            print(f"Error saving checkpoint: {e}")
    
    • הקובץ השני: requirements.txt:
    functions-framework==3.*
    google-cloud-storage==2.*
    urllib3>=2.0.0
    
  3. לוחצים על Deploy (פריסה) כדי לשמור ולפרוס את הפונקציה.

  4. ממתינים עד שהפריסה תושלם (2-3 דקות).

יצירת משימה ב-Cloud Scheduler

‫Cloud Scheduler מפרסם הודעות בנושא Pub/Sub במרווחי זמן קבועים, וכך מפעיל את הפונקציה של Cloud Run.

  1. במסוף GCP, עוברים אל Cloud Scheduler.
  2. לוחצים על יצירת משימה.
  3. מזינים את פרטי ההגדרה הבאים:

    הגדרה ערך
    שם crowdstrike-filevantage-hourly
    אזור בחירה באותו אזור כמו פונקציית Cloud Run
    תדירות */15 * * * * (כל 15 דקות)
    אזור זמן בחירת אזור זמן (מומלץ להשתמש ב-UTC)
    סוג הטירגוט Pub/Sub
    נושא בוחרים את נושא Pub/Sub (crowdstrike-filevantage-trigger).
    גוף ההודעה {} (אובייקט JSON ריק)
  4. לוחצים על יצירה.

בדיקת משימת המתזמן

  1. במסוף Cloud Scheduler, מאתרים את המשימה (crowdstrike-filevantage-hourly).
  2. כדי להפעיל את הטריגר באופן ידני, לוחצים על הפעלה מאולצת.
  3. מחכים כמה שניות ועוברים אל Cloud Run > Services > crowdstrike-filevantage-collector > Logs.
  4. מוודאים שהפונקציה בוצעה בהצלחה.
  5. בודקים את מאגר ה-GCS (crowdstrike-filevantage-logs) כדי לוודא שהיומנים נכתבו.

אחזור חשבון השירות של Google SecOps

‫Google SecOps משתמש בחשבון שירות ייחודי כדי לקרוא נתונים ממאגר GCS שלכם. צריך להעניק לחשבון השירות הזה גישה לדלי.

קבלת כתובת האימייל בחשבון השירות

  1. עוברים אל SIEM Settings > Feeds (הגדרות SIEM > פידים).
  2. לוחצים על הוספת פיד חדש.
  3. לוחצים על הגדרת פיד יחיד.
  4. בשדה שם הפיד, מזינים שם לפיד (לדוגמה, CrowdStrike FileVantage logs).
  5. בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
  6. בוחרים באפשרות CrowdStrike Filevantage בתור סוג היומן.
  7. לוחצים על Get Service Account (קבלת חשבון שירות). מוצגת כתובת אימייל ייחודית של חשבון השירות, לדוגמה:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  8. מעתיקים את כתובת האימייל הזו לשימוש בשלב הבא.

הענקת הרשאות IAM לחשבון השירות של Google SecOps

לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריית GCS.

  1. נכנסים אל Cloud Storage > Buckets (קטגוריות).
  2. לוחצים על שם הקטגוריה (לדוגמה, crowdstrike-filevantage-logs).
  3. עוברים לכרטיסייה Permissions.
  4. לוחצים על הענקת גישה.
  5. מזינים את פרטי ההגדרה הבאים:
    • Add principals (הוספת ישויות מורשות): מדביקים את כתובת האימייל בחשבון של חשבון השירות של Google SecOps.
    • הקצאת תפקידים: בוחרים באפשרות צפייה באובייקט אחסון.
  6. לוחצים על Save.

הגדרת פיד ב-Google SecOps להטמעה של יומנים של CrowdStrike FileVantage

  1. עוברים אל SIEM Settings > Feeds (הגדרות SIEM > פידים).
  2. לוחצים על הוספת פיד חדש.
  3. לוחצים על הגדרת פיד יחיד.
  4. בשדה שם הפיד, מזינים שם לפיד (לדוגמה, CrowdStrike FileVantage logs).
  5. בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
  6. בוחרים באפשרות CrowdStrike Filevantage בתור סוג היומן.
  7. לוחצים על הבא.
  8. מציינים ערכים לפרמטרים הבאים של הקלט:

    • כתובת ה-URL של קטגוריית האחסון: מזינים את ה-URI של קטגוריית GCS עם נתיב הקידומת:

      gs://crowdstrike-filevantage-logs/filevantage/
      
      • מחליפים את:

        • crowdstrike-filevantage-logs: שם דלי ה-GCS.
        • filevantage/: קידומת או נתיב תיקייה שבהם מאוחסנים היומנים.
    • אפשרות למחיקת המקור: בוחרים את אפשרות המחיקה לפי ההעדפה שלכם:

      • אף פעם: לא נמחקים קבצים אחרי ההעברה (מומלץ לבדיקות).
      • מחיקת קבצים שהועברו: הקבצים נמחקים אחרי שההעברה מסתיימת בהצלחה.
      • מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת בהצלחה.

    • הגיל המקסימלי של הקובץ: כולל קבצים שעברו שינוי במספר הימים האחרון. ברירת המחדל היא 180 ימים.

    • מרחב השמות של הנכס: מרחב השמות של הנכס.

    • תוויות להוספה: התווית שתתווסף לאירועים מהפיד הזה.

  9. לוחצים על הבא.

  10. בודקים את ההגדרות של הפיד החדש במסך סיום ולוחצים על שליחה.

שנה רישום

צפייה ביומן השינויים של כלי הניתוח הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.