איסוף יומנים של Snipe-IT

נתמך ב:

במאמר הזה מוסבר איך להטמיע יומנים של Snipe-IT ב-Google Security Operations באמצעות Google Cloud Storage. ‫Snipe-IT היא מערכת קוד פתוח לניהול נכסי IT שעוקבת אחרי חומרה, רישיונות תוכנה, אביזרים, חומרים מתכלים ונכסי IT אחרים לאורך מחזור החיים שלהם.

לפני שמתחילים

חשוב לוודא שמתקיימות דרישות הסף הבאות:

  • מופע של Google SecOps
  • פרויקט ב-GCP עם Cloud Storage API מופעל
  • הרשאות ליצירה ולניהול של מאגרי GCS
  • הרשאות לניהול מדיניות IAM בקטגוריות GCS
  • הרשאות ליצירת פונקציות Cloud Run, נושאי Pub/Sub ומשימות Cloud Scheduler
  • גישת אדמין לדייר Snipe-IT

איסוף הדרישות המוקדמות של Snipe-IT (טוקן API וכתובת URL בסיסית)

  1. נכנסים ל-Snipe-IT.
  2. פותחים את תפריט המשתמש (סמל הדמות בפינה השמאלית העליונה) ולוחצים על ניהול מפתחות API.
  3. לוחצים על יצירת טוקן חדש:
    • שם/תווית: מזינים תווית תיאורית (לדוגמה, Google SecOps export).
  4. לוחצים על יצירה.
  5. מעתיקים את טוקן ה-API (הוא יוצג רק פעם אחת). מאחסנים אותו באופן מאובטח.
  6. קובעים את כתובת הבסיס של ה-API, בדרך כלל: https://<your-domain>/api/v1
    • לדוגמה: https://snipeit.example.com/api/v1

יצירת קטגוריה של Google Cloud Storage

  1. נכנסים אל מסוף Google Cloud.
  2. בוחרים פרויקט או יוצרים פרויקט חדש.
  3. בתפריט הניווט, עוברים אל Cloud Storage > Buckets.
  4. לוחצים על Create bucket.

  5. מספקים את פרטי ההגדרה הבאים:

    הגדרה ערך
    Name your bucket (שם הקטגוריה) מזינים שם ייחודי גלובלית (לדוגמה, snipe-it-logs)
    סוג המיקום בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים)
    Location בוחרים את המיקום (לדוגמה, us-central1).
    סוג אחסון (storage class) רגיל (מומלץ ליומנים שמתבצעת אליהם גישה לעיתים קרובות)
    בקרת גישה אחיד (מומלץ)
    כלים להגנה אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים

  6. לוחצים על יצירה.

יצירת חשבון שירות לפונקציית Cloud Run

פונקציית Cloud Run צריכה חשבון שירות עם הרשאות כתיבה לקטגוריה של GCS.

יצירת חשבון שירות

  1. במסוף GCP, עוברים אל IAM & Admin > Service Accounts.
  2. לוחצים על יצירת חשבון שירות.
  3. מספקים את פרטי ההגדרה הבאים:
    • שם חשבון השירות: מזינים snipeit-assets-to-gcs-sa.
    • תיאור חשבון השירות: מזינים Service account for Cloud Run function to collect Snipe-IT logs.
  4. לוחצים על יצירה והמשך.
  5. בקטע Grant this service account access to project (מתן גישה של חשבון השירות הזה לפרויקט):
    1. לוחצים על בחירת תפקיד.
    2. מחפשים את Storage Object Admin ולוחצים עליו.
    3. לוחצים על + הוספת תפקיד נוסף.
    4. מחפשים את האפשרות Cloud Run Invoker (הפעלת שירותים ב-Cloud Run) ולוחצים עליה.
    5. לוחצים על + הוספת תפקיד נוסף.
    6. מחפשים את האפשרות Cloud Functions Invoker (הפעלת פונקציות של Cloud Functions) ולוחצים עליה.
  6. לוחצים על Continue.
  7. לוחצים על סיום.

התפקידים האלה נדרשים כדי:

  • אדמין של אובייקט אחסון: כתיבת יומנים לקטגוריית GCS וניהול קבצי מצב
  • ‫Cloud Run Invoker: מתן הרשאה ל-Pub/Sub להפעיל את הפונקציה
  • Cloud Functions Invoker: מאפשר הפעלה של פונקציות

מתן הרשאות IAM בקטגוריית GCS

נותנים לחשבון השירות הרשאות כתיבה בקטגוריית GCS:

  1. עוברים אל Cloud Storage > Buckets (קטגוריות).
  2. לוחצים על שם הקטגוריה.
  3. עוברים לכרטיסייה Permissions.
  4. לוחצים על הענקת גישה.
  5. מספקים את פרטי ההגדרה הבאים:
    • Add principals (הוספת ישויות מורשות): מזינים את כתובת האימייל בחשבון השירות (לדוגמה, snipeit-assets-to-gcs-sa@PROJECT_ID.iam.gserviceaccount.com).
    • הקצאת תפקידים: בוחרים באפשרות אדמין של אובייקטים באחסון.
  6. לוחצים על Save.

יצירת נושא Pub/Sub

יוצרים נושא Pub/Sub ש-Cloud Scheduler יפרסם בו ופונקציית Cloud Run תירשם אליו.

  1. במסוף GCP, עוברים אל Pub/Sub > Topics.
  2. לוחצים על יצירת נושא.
  3. מספקים את פרטי ההגדרה הבאים:
    • מזהה הנושא: מזינים snipeit-assets-trigger.
    • משאירים את שאר ההגדרות כברירת מחדל.
  4. לוחצים על יצירה.

יצירת פונקציית Cloud Run לאיסוף יומנים

הפונקציה של Cloud Run מופעלת על ידי הודעות Pub/Sub מ-Cloud Scheduler כדי לאחזר נכסי חומרה מ-Snipe-IT API ולכתוב אותם ב-GCS.

  1. במסוף GCP, עוברים אל Cloud Run.
  2. לוחצים על יצירת שירות.
  3. בוחרים באפשרות Function (שימוש בעורך ישיר ליצירת פונקציה).

  4. בקטע Configure (הגדרה), מזינים את פרטי ההגדרה הבאים:

    הגדרה ערך
    שם השירות snipeit-assets-to-gcs
    אזור בוחרים אזור שתואם ל-GCS Bucket (לדוגמה, us-central1)
    זמן ריצה בוחרים באפשרות Python 3.12 ואילך.

  5. בקטע טריגר (אופציונלי):

    1. לוחצים על + הוספת טריגר.
    2. בוחרים באפשרות Cloud Pub/Sub.
    3. בקטע Select a Cloud Pub/Sub topic, בוחרים את הנושא (snipeit-assets-trigger).
    4. לוחצים על Save.

  6. בקטע Authentication:

    1. בוחרים באפשרות דרישת אימות.
    2. בודקים את ניהול זהויות והרשאות גישה (IAM).

  7. גוללים למטה ומרחיבים את Containers, Networking, Security (מאגרי תגים, רשתות, אבטחה).

  8. עוברים לכרטיסייה אבטחה:

    • חשבון שירות: בוחרים את חשבון השירות (snipeit-assets-to-gcs-sa).

  9. עוברים לכרטיסייה מאגרי תגים:

    1. לוחצים על Variables & Secrets (משתנים וסודות).
    2. לוחצים על + הוספת משתנה לכל משתנה סביבתי:
    שם המשתנה ערך לדוגמה
    GCS_BUCKET snipe-it-logs
    GCS_PREFIX snipeit/assets
    SNIPE_BASE_URL https://snipeit.example.com/api/v1
    SNIPE_API_TOKEN your-api-token
    PAGE_SIZE 500
    MAX_PAGES 200

  10. בכרטיסייה Variables & Secrets, גוללים למטה אל Requests:

    • זמן קצוב לתפוגת בקשה: מזינים 600 שניות (10 דקות).

  11. עוברים לכרטיסייה הגדרות במאגרי תגים:

    • בקטע Resources (מקורות מידע):
      • זיכרון: בוחרים באפשרות ‎512 MiB או יותר.
      • מעבד: בוחרים באפשרות 1.
    • לוחצים על סיום.

  12. גוללים אל סביבת הפעלה:

    • בוחרים באפשרות ברירת מחדל (מומלץ).

  13. בקטע שינוי קנה מידה של העריכה:

    • מספר המינימום של מופעים: מזינים 0.
    • מספר מקסימלי של מופעים: מזינים 100 (או משנים בהתאם לעומס הצפוי).

  14. לוחצים על יצירה.

  15. ממתינים ליצירת השירות (1-2 דקות).

  16. אחרי שיוצרים את השירות, עורך הקוד המוטבע נפתח באופן אוטומטי.

הוספת קוד פונקציה

  1. מזינים main בFunction entry point

  2. בעורך הקוד המוטבע, יוצרים שני קבצים:

    • הקובץ הראשון: main.py:

          import functions_framework
    from google.cloud import storage
    import json
    import os
    import urllib3
    from datetime import datetime, timezone
    import urllib.parse

    # Initialize HTTP client
    http = urllib3.PoolManager()

    # Initialize Storage client
    storage_client = storage.Client()

    @functions_framework.cloud_event
    def main(cloud_event):
        """
        Cloud Run function triggered by Pub/Sub to fetch hardware assets from Snipe-IT API and write to GCS.

        Args:
            cloud_event: CloudEvent object containing Pub/Sub message
        """

        # Get environment variables
        bucket_name = os.environ.get('GCS_BUCKET')
        prefix = os.environ.get('GCS_PREFIX', 'snipeit/assets')
        base_url = os.environ.get('SNIPE_BASE_URL', '').rstrip('/')
        token = os.environ.get('SNIPE_API_TOKEN')
        page_size = int(os.environ.get('PAGE_SIZE', '500'))
        max_pages = int(os.environ.get('MAX_PAGES', '200'))

        if not all([bucket_name, base_url, token]):
            print('Error: Missing required environment variables')
            return

        try:
            # Get GCS bucket
            bucket = storage_client.bucket(bucket_name)

            # Fetch and write pages
            ts = datetime.now(timezone.utc)
            offset = 0
            page = 0
            total = 0

            headers = {
                'Authorization': f'Bearer {token}',
                'Accept': 'application/json',
                'Content-Type': 'application/json'
            }

            while page < max_pages:
                # Fetch page from Snipe-IT API
                params = {
                    'limit': page_size,
                    'offset': offset,
                    'sort': 'id',
                    'order': 'asc'
                }
                qs = urllib.parse.urlencode(params)
                url = f"{base_url}/hardware?{qs}"

                print(f'Fetching page {page} from {url}')

                response = http.request('GET', url, headers=headers, timeout=60.0)

                if response.status != 200:
                    print(f'Error: API returned status {response.status}')
                    break

                data = json.loads(response.data.decode('utf-8'))

                # Get rows from response (Snipe-IT uses 'rows' field)
                rows = data.get('rows', [])
                total_available = data.get('total', 0)

                # Write page to GCS
                blob_name = f"{prefix}/{ts.strftime('%Y/%m/%d')}/snipeit-hardware-{page:05d}.json"
                blob = bucket.blob(blob_name)
                body = json.dumps(data, separators=(',', ':')).encode('utf-8')
                blob.upload_from_string(body, content_type='application/json')

                print(f'Wrote page {page} with {len(rows)} rows to {blob_name}')

                total += len(rows)

                # Check if we've reached the end
                # Snipe-IT returns empty rows array when no more data
                if len(rows) == 0:
                    print(f'No more results (empty rows array)')
                    break

                # Also check if we've fetched all available records
                if offset + len(rows) >= total_available:
                    print(f'Reached end of data (offset {offset + len(rows)} >= total {total_available})')
                    break

                page += 1
                offset += page_size

            print(f'Successfully processed {page + 1} pages with {total} total objects')

        except Exception as e:
            print(f'Error processing logs: {str(e)}')
            raise
    ```

    • הקובץ השני: requirements.txt:

      functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

  3. לוחצים על Deploy כדי לשמור ולפרוס את הפונקציה.

  4. ממתינים לסיום הפריסה (2-3 דקות).

יצירת משימה ב-Cloud Scheduler

‫Cloud Scheduler מפרסם הודעות בנושא Pub/Sub במרווחי זמן קבועים, וכך מפעיל את הפונקציה של Cloud Run.

  1. במסוף GCP, עוברים אל Cloud Scheduler.
  2. לוחצים על Create Job (יצירת משימה).

  3. מספקים את פרטי ההגדרה הבאים:

    הגדרה ערך
    שם snipeit-assets-to-gcs-hourly
    אזור בחירה באותו אזור כמו פונקציית Cloud Run
    תדירות ‫0 * * * * (כל שעה, בדיוק בשעה)
    אזור זמן בחירת אזור זמן (מומלץ לבחור UTC)
    סוג הטירגוט Pub/Sub
    נושא בחירת הנושא (snipeit-assets-trigger)
    גוף ההודעה ‫{} (אובייקט JSON ריק)

  4. לוחצים על יצירה.

אפשרויות לתדירות התזמון

  • בחירת התדירות בהתאם לנפח היומן ולדרישות זמן האחזור:

    תדירות ביטוי Cron תרחיש לדוגמה
    כל 5 דקות */5 * * * * נפח גבוה, זמן אחזור נמוך
    כל 15 דקות */15 * * * * נפח חיפושים בינוני
    כל שעה 0 * * * * רגיל (מומלץ)
    כל 6 שעות 0 */6 * * * נפח נמוך, עיבוד באצווה
    יומי 0 0 * * * איסוף נתונים היסטוריים

בדיקת משימת המתזמן

  1. במסוף Cloud Scheduler, מוצאים את העבודה.
  2. כדי להפעיל את הטריגר באופן ידני, לוחצים על הפעלה מאולצת.
  3. מחכים כמה שניות ועוברים אל Cloud Run > Services > snipeit-assets-to-gcs > Logs.
  4. מוודאים שהפונקציה בוצעה בהצלחה.
  5. בודקים את דלי ה-GCS כדי לוודא שהיומנים נכתבו.

אחזור חשבון השירות של Google SecOps

‫Google SecOps משתמש בחשבון שירות ייחודי כדי לקרוא נתונים מהקטגוריה של GCS. צריך להעניק לחשבון השירות הזה גישה לדלי.

קבלת כתובת האימייל בחשבון השירות

  1. עוברים אל SIEM Settings > Feeds (הגדרות SIEM > פידים).
  2. לוחצים על הוספת פיד חדש.
  3. לוחצים על Configure a single feed (הגדרת פיד יחיד).
  4. בשדה שם הפיד, מזינים שם לפיד (לדוגמה, Snipe-IT logs).
  5. בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
  6. בוחרים באפשרות Snipe-IT בתור סוג היומן.

  7. לוחצים על קבלת חשבון שירות. מוצגת כתובת אימייל ייחודית של חשבון השירות, לדוגמה:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com

  8. מעתיקים את כתובת האימייל הזו לשימוש בשלב הבא.

הענקת הרשאות IAM לחשבון השירות של Google SecOps

לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של GCS.

  1. עוברים אל Cloud Storage > Buckets (קטגוריות).
  2. לוחצים על שם הקטגוריה.
  3. עוברים לכרטיסייה Permissions.
  4. לוחצים על הענקת גישה.
  5. מספקים את פרטי ההגדרה הבאים:
    • Add principals (הוספת ישויות מורשות): מדביקים את כתובת האימייל בחשבון של חשבון השירות של Google SecOps.
    • הקצאת תפקידים: בוחרים באפשרות צפייה באובייקט אחסון.

  6. לוחצים על Save.

הגדרה של פיד ב-Google SecOps להטמעה של יומנים מ-Snipe-IT

  1. עוברים אל SIEM Settings > Feeds (הגדרות SIEM > פידים).
  2. לוחצים על הוספת פיד חדש.
  3. לוחצים על Configure a single feed (הגדרת פיד יחיד).
  4. בשדה שם הפיד, מזינים שם לפיד (לדוגמה, Snipe-IT logs).
  5. בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
  6. בוחרים באפשרות Snipe-IT בתור סוג היומן.
  7. לוחצים על הבא.

  8. מציינים ערכים לפרמטרים הבאים של הקלט:

    • כתובת ה-URL של קטגוריית האחסון: מזינים את ה-URI של קטגוריית GCS עם נתיב הקידומת:

      gs://snipe-it-logs/snipeit/assets/

      • מחליפים את:

        • ‫snipe-it-logs: השם של קטגוריית GCS.
        • ‫snipeit/assets: קידומת או נתיב תיקייה שבהם מאוחסנים היומנים.

    • אפשרות למחיקת המקור: בוחרים את אפשרות המחיקה לפי ההעדפה שלכם:

      • אף פעם: לא נמחקים קבצים אחרי ההעברה (מומלץ לבדיקות).
      • מחיקת קבצים שהועברו: הקבצים נמחקים אחרי שההעברה מסתיימת.

      • מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת בהצלחה.

    • הגיל המקסימלי של הקובץ: כולל קבצים שעברו שינוי במספר הימים האחרון. ברירת המחדל היא 180 ימים.

    • מרחב השמות של הנכס: מרחב השמות של הנכס.

    • תוויות להוספה: התווית שתתווסף לאירועים מהפיד הזה.

  9. לוחצים על הבא.

  10. בודקים את ההגדרות של הפיד החדש במסך סיום ולוחצים על שליחה.

טבלת מיפוי UDM

שדה ביומן מיפוי UDM היגיון
created_at.datetime entity.asset.attribute.creation_time ניתוח הכתובות שברשימה: UNIX_MS
age entity.asset.attribute.labels.value מיפוי ישיר
alt_barcode entity.asset.attribute.labels.value מיפוי ישיר
asset_eol_date entity.asset.attribute.labels.value מיפוי ישיר
asset_tag entity.asset.attribute.labels.value מיפוי ישיר
asset_type_value entity.asset.attribute.labels.value מיפוי ישיר
assets_classification_value entity.asset.attribute.labels.value מיפוי ישיר
category.id entity.asset.attribute.labels.value מיפוי ישיר
custom_fields.RAM.value entity.asset.attribute.labels.value מיפוי ישיר
custom_fields.SSD.value entity.asset.attribute.labels.value מיפוי ישיר
last_update_time.formatted entity.asset.attribute.labels.value מיפוי ישיר
manufacturer.id entity.asset.attribute.labels.value מיפוי ישיר
model_id entity.asset.attribute.labels.value מיפוי ישיר
model_number entity.asset.attribute.labels.value מיפוי ישיר
updated_at.datetime entity.asset.attribute.last_update_time ניתוח הכתובות שברשימה: UNIX_MS
category.name entity.asset.category מיפוי ישיר
custom_fields.Processor.value entity.asset.hardware.cpu_model מיפוי ישיר
manufacturer.name entity.asset.hardware.manufacturer מיפוי ישיר
model.name entity.asset.hardware.model מיפוי ישיר
serial entity.asset.hardware.serial_number מיפוי ישיר
name entity.asset.hostname מיפוי ישיר
location.name entity.asset.location.name מיפוי ישיר
id entity.asset.product_object_id מיפוי ישיר
custom_fields.Owner.value entity.labels.value מיפוי ישיר
deleted_at entity.labels.value מיפוי ישיר
eol entity.labels.value מיפוי ישיר
expected_checkin entity.labels.value מיפוי ישיר
image entity.labels.value מיפוי ישיר
last_audit_date entity.labels.value מיפוי ישיר
next_audit_date.date entity.labels.value מיפוי ישיר
notes entity.labels.value מיפוי ישיר
order_number entity.labels.value מיפוי ישיר
purchase_cost entity.labels.value מיפוי ישיר
purchase_date.date entity.labels.value מיפוי ישיר
purchase_date.formatted entity.labels.value מיפוי ישיר
qr entity.labels.value מיפוי ישיר
requestable entity.labels.value מיפוי ישיר
requests_counter entity.labels.value מיפוי ישיר
rtd_location.id entity.labels.value מיפוי ישיר
status_label.id entity.labels.value מיפוי ישיר
status_label.status_meta entity.labels.value מיפוי ישיר
status_label.status_type entity.labels.value מיפוי ישיר
supplier.id entity.labels.value מיפוי ישיר
supplier.name entity.labels.value מיפוי ישיר
updated_at.formatted entity.labels.value מיפוי ישיר
warranty_expires.date entity.labels.value מיפוי ישיר
warranty_expires.formatted entity.labels.value מיפוי ישיר
warranty_months entity.labels.value מיפוי ישיר
assigned_to.username entity.user.attribute.labels.value מיפוי ישיר
available_actions.checkin entity.user.attribute.labels.value מיפוי ישיר
available_actions.checkout entity.user.attribute.labels.value מיפוי ישיר
available_actions.clone entity.user.attribute.labels.value מיפוי ישיר
available_actions.delete entity.user.attribute.labels.value מיפוי ישיר
available_actions.restore entity.user.attribute.labels.value מיפוי ישיר
available_actions.update entity.user.attribute.labels.value מיפוי ישיר
checkin_counter entity.user.attribute.labels.value מיפוי ישיר
checkout_counter entity.user.attribute.labels.value מיפוי ישיר
company.id entity.user.attribute.labels.value מיפוי ישיר
created_by.id entity.user.attribute.labels.value מיפוי ישיר
created_by.name entity.user.attribute.labels.value מיפוי ישיר
last_checkin.datetime entity.user.attribute.labels.value מיפוי ישיר
last_checkin.formatted entity.user.attribute.labels.value מיפוי ישיר
last_checkout.formatted entity.user.attribute.labels.value מיפוי ישיר
assigned_to.type entity.user.attribute.roles.name מיפוי ישיר
company.name entity.user.company_name מיפוי ישיר
assigned_to_email entity.user.email_addresses ממוזג
assigned_to.employee_number entity.user.employee_id מיפוי ישיר
assigned_to.first_name entity.user.first_name מיפוי ישיר
last_checkout.datetime entity.user.last_login_time ניתוח הכתובות שברשימה: UNIX_MS
assigned_to.last_name entity.user.last_name מיפוי ישיר
assigned_to.name entity.user.user_display_name מיפוי ישיר
assigned_to.id entity.user.userid מיפוי ישיר
has_asset metadata.entity_type מיפוי: true → ASSET
has_user metadata.entity_type מיפוי: true → USER
has_asset metadata.product_name מיפוי: true → CMDB
has_user metadata.product_name מיפוי: true → CMDB
has_asset metadata.vendor_name מיפוי: true → Snipe-IT
has_user metadata.vendor_name מיפוי: true → Snipe-IT
לא רלוונטי entity.asset.attribute.labels.key קבוע: model_id
לא רלוונטי entity.asset.platform_software.platform קבוע: WINDOWS
לא רלוונטי entity.labels.key קבוע: purchase_date
לא רלוונטי entity.user.attribute.labels.key קבוע: checkout
לא רלוונטי metadata.entity_type קבוע: ASSET
לא רלוונטי metadata.product_name קבוע: CMDB
לא רלוונטי metadata.vendor_name קבוע: Snipe-IT

יומן שינויים

צפייה ביומן השינויים של מנתח התוכן הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.