‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

איסוף יומני URLScan IO

נתמך ב:

Google SecOps SIEM

במאמר הזה מוסבר איך להטמיע יומני URLScan IO ב-Google Security Operations באמצעות Google Cloud Storage. ‫URLScan IO הוא שירות שמנתח אתרים ומספק מידע מפורט על ההתנהגות, האבטחה והביצועים שלהם. הוא סורק כתובות URL ויוצר דוחות מקיפים שכוללים צילומי מסך, טרנזקציות HTTP, רשומות DNS ונתונים של מודיעין איומי סייבר.

לפני שמתחילים

ודאו שאתם עומדים בדרישות המוקדמות הבאות:

מכונה של Google SecOps
פרויקט ב-GCP שבו מופעל Cloud Storage API
הרשאות ליצירה ולניהול של קטגוריות ב-GCS
הרשאות לניהול מדיניות IAM בקטגוריות של GCS
הרשאות ליצירת שירותי Cloud Run, נושאי Pub/Sub ומשימות ב-Cloud Scheduler
גישה מיוחדת לדייר (tenant) של URLScan IO

הדרישות המוקדמות של URLScan IO

נכנסים אל URLScan IO.
לוחצים על סמל הפרופיל.
בתפריט, בוחרים באפשרות מפתח API.
אם עדיין אין לכם מפתח API:
1. לוחצים על הכפתור Create API Key.
2. מזינים תיאור למפתח ה-API (לדוגמה, Google SecOps Integration).
3. לוחצים על יצירת מפתח API.
מעתיקים ושומרים במיקום מאובטח את הפרטים הבאים:
- ‫API_KEY: המחרוזת של מפתח ה-API שנוצר (בפורמט: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx)
- כתובת ה-URL הבסיסית של ה-API: https://urlscan.io/api/v1 (הכתובת הזו קבועה לכל המשתמשים)
שימו לב למגבלות המכסות של ה-API:
- בחשבונות בחינם ובחשבונות Pro יש מגבלות לדקה, לשעה וליום, שמשתנות בהתאם לפעולה. כדי לראות את המגבלות המדויקות, אתם יכולים לבדוק את המכסות האישיות או את הכותרות של הגבלת קצב יצירת הבקשות ב-API.
- פרטים נוספים זמינים במאמרי העזרה של URLScan IO API בנושא מגבלות קצב.
אם אתם צריכים להגביל את החיפושים רק לסריקות של הארגון, כדאי לשים לב:
- מזהה משתמש: שם המשתמש או כתובת האימייל שלכם (לשימוש עם מסנן החיפוש user:)
- מזהה צוות: אם משתמשים בתכונה "צוותים" (לשימוש עם מסנן החיפוש team:)
הערה: מסנני חיפוש כמו user: ו-team: הם חלק מתחביר החיפוש המתועד של URLScan IO, ויכול להיות שהם יהיו זמינים רק למשתמשים שמחוברים לחשבון או למשתמשים עם תכונות Pro. במאמרי העזרה של URLScan IO Search API מוסבר איך ליצור שאילתות מתקדמות.

אימות הגישה ל-API

לפני שממשיכים בתהליך השילוב, בודקים את מפתח ה-API:

# Replace with your actual API key
API_KEY="your-api-key-here"

# Test API access
curl -v -H "API-Key: ${API_KEY}" "https://urlscan.io/api/v1/search/?q=date:>now-1h&size=1"

תגובה צפויה: HTTP 200 עם JSON שמכיל תוצאות חיפוש.

אם אתם מקבלים את השגיאה HTTP 401 או 403, ודאו שמפתח ה-API נכון ושהתוקף שלו לא פג.

יצירת קטגוריה של Google Cloud Storage

נכנסים למסוף Google Cloud.
בוחרים את הפרויקט או יוצרים פרויקט חדש.
בתפריט הניווט, נכנסים ל-Cloud Storage > Buckets.
לוחצים על Create bucket.

ממלאים את פרטי ההגדרה הבאים:

הגדרה	ערך
Name your bucket	מזינים שם ייחודי ברמה גלובלית (לדוגמה, `urlscan-logs-bucket`)
סוג המיקום	בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים)
Location	בוחרים את המיקום (לדוגמה, `us-central1`)
סוג אחסון (storage class)	רגיל (מומלץ ליומנים שהגישה אליהם תכופה)
בקרת גישה	אחידה (מומלץ)
כלי הגנה	אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים

לוחצים על יצירה.

יצירת חשבון שירות לפונקציית Cloud Run

לפונקציית Cloud Run נדרש חשבון שירות עם הרשאות כתיבה בקטגוריית GCS, וצריך להפעיל אותה באמצעות Pub/Sub.

יצירת חשבון שירות

במסוף GCP, נכנסים לדף IAM & Admin > Service Accounts.
לוחצים על Create Service Account.
מזינים את פרטי ההגדרה הבאים:
- שם חשבון השירות: מזינים urlscan-collector-sa.
- Service account description: מזינים Service account for Cloud Run function to collect URLScan IO logs.
לוחצים על יצירה והמשך.
בקטע Grant this service account access to project, מוסיפים את התפקידים הבאים:
1. לוחצים על בחירת תפקיד.
2. מחפשים את התפקיד Storage Object Admin ובוחרים אותו.
3. לוחצים על + הוספת תפקיד.
4. מחפשים את התפקיד Cloud Run Invoker ובוחרים בו.
5. לוחצים על + הוספת תפקיד.
6. מחפשים את התפקיד Cloud Functions Invoker ובוחרים אותו.
לוחצים על Continue.
לוחצים על סיום.

התפקידים האלה נדרשים כדי:

אדמין של אובייקט אחסון: כתיבת יומנים לקטגוריית GCS וניהול קובצי תמונת מצב
Cloud Run Invoker: מאפשר ל-Pub/Sub להפעיל את הפונקציה
מפעיל פונקציות של Cloud Functions: מאפשר להפעיל פונקציות

הענקת הרשאות IAM בקטגוריית GCS

נותנים לחשבון השירות הרשאות כתיבה בקטגוריה של GCS:

נכנסים לדף Cloud Storage > Buckets.
לוחצים על שם הקטגוריה.
עוברים לכרטיסייה Permissions.
לוחצים על הענקת גישה.
מזינים את פרטי ההגדרה הבאים:
- הוספת חשבונות משתמשים: מזינים את כתובת האימייל של חשבון השירות (לדוגמה, urlscan-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
- הקצאת תפקידים: בוחרים באפשרות אדמין של אובייקטים באחסון.
לוחצים על Save.

יצירת נושא Pub/Sub

יוצרים נושא Pub/Sub ש-Cloud Scheduler יפרסם בו ופונקציית Cloud Run תירשם אליו.

במסוף GCP, נכנסים לדף Pub/Sub > Topics.
לוחצים על Create topic.
מזינים את פרטי ההגדרה הבאים:
- מזהה הנושא: מזינים את הערך urlscan-logs-trigger.
- משאירים את ההגדרות האחרות כברירת מחדל.
לוחצים על יצירה.

יצירת פונקציית Cloud Run לאיסוף יומנים

פונקציית Cloud Run מופעלת על ידי הודעות Pub/Sub מ-Cloud Scheduler כדי לאחזר יומנים מ-URLScan IO API ולכתוב אותם ב-GCS.

במסוף GCP, נכנסים ל-Cloud Run.
לוחצים על Create service.
בוחרים באפשרות Function (שימוש בעורך ישיר כדי ליצור פונקציה).

בקטע Configure, מזינים את פרטי ההגדרה הבאים:

הגדרה	ערך
שם השירות	`urlscan-collector`
אזור	בוחרים את האזור שתואם לקטגוריית ה-GCS (לדוגמה, `us-central1`)
זמן ריצה	בוחרים באפשרות Python 3.12 או גרסה עדכנית יותר.

בקטע טריגר (אופציונלי):
1. לוחצים על + הוספת טריגר.
2. בוחרים באפשרות Cloud Pub/Sub.
3. בקטע Select a Cloud Pub/Sub topic, בוחרים את הנושא ב-Pub/Sub‏ (urlscan-logs-trigger).
4. לוחצים על Save.
בקטע אימות:
1. לוחצים על דרישת אימות.
2. בודקים את ניהול הזהויות והרשאות הגישה (IAM).
הערה: Pub/Sub מטפל באופן אוטומטי באימות כשמפעילים את הפונקציה.
גוללים למטה ומרחיבים את הקטע Containers, Networking, Security.
עוברים לכרטיסייה אבטחה:
- ‫Service account: בוחרים את חשבון השירות (urlscan-collector-sa).

עוברים לכרטיסייה מאגרי תגים:

לוחצים על Variables & Secrets.
לוחצים על ‎+ Add variable לכל משתנה סביבה:

שם משתנה	ערך לדוגמה	תיאור
`GCS_BUCKET`	`urlscan-logs-bucket`	שם הקטגוריה ב-GCS
`GCS_PREFIX`	`urlscan/`	קידומת לקובצי יומן
`STATE_KEY`	`urlscan/state.json`	נתיב קובץ תמונת המצב
`API_KEY`	`your-urlscan-api-key`	מפתח URLScan IO API
`API_BASE`	`https://urlscan.io/api/v1`	כתובת ה-URL הבסיסית של ה-API
`SEARCH_QUERY`	`date:>now-1h`	סינון לפי שאילתת חיפוש
`PAGE_SIZE`	`100`	רשומות בכל דף
`MAX_PAGES`	`10`	מספר הדפים המקסימלי לאחזור

בקטע Variables & Secrets, גוללים למטה אל Requests:
- ‫Request timeout: מזינים 600 שניות (10 דקות).
עוברים לכרטיסייה הגדרות:
- בקטע Resources:
  - זיכרון: בוחרים באפשרות ‎512 MiB או יותר.
  - מעבד (CPU): בוחרים באפשרות 1.
בקטע Revision scaling:
- מספר מינימלי של מכונות: מזינים 0.
- Maximum number of instances: מזינים 100 (או משנים בהתאם לעומס הצפוי).
לוחצים על יצירה.
ממתינים ליצירת השירות (דקה או שתיים).
אחרי שיוצרים את השירות, עורך הקוד המוטבע נפתח באופן אוטומטי.

הוספת קוד פונקציה

מזינים main בשדה Function entry point.

בעורך הקוד, יוצרים שני קבצים:

הקובץ הראשון: main.py:

import functions_framework
from google.cloud import storage
import json
import os
import urllib3
from datetime import datetime, timedelta, timezone
import time

# Initialize HTTP client with timeouts
http = urllib3.PoolManager(
    timeout=urllib3.Timeout(connect=5.0, read=30.0),
    retries=False,
)

# Initialize Storage client
storage_client = storage.Client()

# Environment variables
GCS_BUCKET = os.environ.get('GCS_BUCKET')
GCS_PREFIX = os.environ.get('GCS_PREFIX', 'urlscan/')
STATE_KEY = os.environ.get('STATE_KEY', 'urlscan/state.json')
API_KEY = os.environ.get('API_KEY')
API_BASE = os.environ.get('API_BASE', 'https://urlscan.io/api/v1')
SEARCH_QUERY = os.environ.get('SEARCH_QUERY', 'date:>now-1h')
PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100'))
MAX_PAGES = int(os.environ.get('MAX_PAGES', '10'))

def parse_datetime(value: str) -> datetime:
    """Parse ISO datetime string to datetime object."""
    if value.endswith("Z"):
        value = value[:-1] + "+00:00"
    return datetime.fromisoformat(value)

@functions_framework.cloud_event
def main(cloud_event):
    """
    Cloud Run function triggered by Pub/Sub to fetch URLScan IO results and write to GCS.

    Args:
        cloud_event: CloudEvent object containing Pub/Sub message
    """

    if not all([GCS_BUCKET, API_KEY]):
        print('Error: Missing required environment variables')
        return

    try:
        # Get GCS bucket
        bucket = storage_client.bucket(GCS_BUCKET)

        # Load state
        state = load_state(bucket, STATE_KEY)
        last_run = state.get('last_run')

        # Adjust search query based on last run
        search_query = SEARCH_QUERY
        if last_run:
            try:
                search_time = parse_datetime(last_run)
                time_diff = datetime.now(timezone.utc) - search_time
                hours = int(time_diff.total_seconds() / 3600) + 1
                search_query = f'date:>now-{hours}h'
            except Exception as e:
                print(f'Warning: Could not parse last_run: {e}')

        print(f'Searching with query: {search_query}')

        # Fetch logs
        records, newest_event_time = fetch_logs(
            api_base=API_BASE,
            api_key=API_KEY,
            search_query=search_query,
            page_size=PAGE_SIZE,
            max_pages=MAX_PAGES,
        )

        if not records:
            print("No new log records found.")
            now = datetime.now(timezone.utc)
            save_state(bucket, STATE_KEY, now.isoformat())
            return

        # Write to GCS as NDJSON
        now = datetime.now(timezone.utc)
        file_key = f"{GCS_PREFIX}year={now.year}/month={now.month:02d}/day={now.day:02d}/hour={now.hour:02d}/urlscan_{now.strftime('%Y%m%d_%H%M%S')}.json"

        ndjson_content = '\n'.join([json.dumps(r, separators=(',', ':')) for r in records])

        blob = bucket.blob(file_key)
        blob.upload_from_string(
            ndjson_content,
            content_type='application/x-ndjson'
        )

        print(f"Uploaded {len(records)} results to gs://{GCS_BUCKET}/{file_key}")

        # Update state with newest event time
        if newest_event_time:
            save_state(bucket, STATE_KEY, newest_event_time)
        else:
            save_state(bucket, STATE_KEY, now.isoformat())

        print(f'Successfully processed {len(records)} scan results')

    except Exception as e:
        print(f'Error processing logs: {str(e)}')
        raise

def load_state(bucket, key):
    """Load state from GCS."""
    try:
        blob = bucket.blob(key)
        if blob.exists():
            state_data = blob.download_as_text()
            return json.loads(state_data)
    except Exception as e:
        print(f'Warning: Could not load state: {str(e)}')
    return {}

def save_state(bucket, key, last_event_time_iso: str):
    """Save the last event timestamp to GCS state file."""
    try:
        state = {'last_run': last_event_time_iso}
        blob = bucket.blob(key)
        blob.upload_from_string(
            json.dumps(state, indent=2),
            content_type='application/json'
        )
        print(f"Saved state: last_run={last_event_time_iso}")
    except Exception as e:
        print(f'Warning: Could not save state: {str(e)}')

def fetch_logs(api_base: str, api_key: str, search_query: str, page_size: int, max_pages: int):
    """
    Fetch logs from URLScan IO API with pagination and rate limiting.

    Args:
        api_base: API base URL
        api_key: URLScan IO API key
        search_query: Search query string
        page_size: Number of records per page
        max_pages: Maximum total pages to fetch

    Returns:
        Tuple of (records list, newest_event_time ISO string)
    """

    headers = {
        'API-Key': api_key,
        'Accept': 'application/json',
        'User-Agent': 'GoogleSecOps-URLScanCollector/1.0'
    }

    all_results = []
    newest_time = None
    page_num = 0
    backoff = 1.0
    offset = 0

    while page_num < max_pages:
        page_num += 1

        # Build search URL with pagination
        search_url = f"{api_base}/search/"
        params = [
            f"q={search_query}",
            f"size={page_size}",
            f"offset={offset}"
        ]
        url = f"{search_url}?{'&'.join(params)}"

        try:
            response = http.request('GET', url, headers=headers)

            # Handle rate limiting with exponential backoff
            if response.status == 429:
                retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
                print(f"Rate limited (429). Retrying after {retry_after}s...")
                time.sleep(retry_after)
                backoff = min(backoff * 2, 30.0)
                continue

            backoff = 1.0

            if response.status != 200:
                print(f"Search failed: {response.status}")
                response_text = response.data.decode('utf-8')
                print(f"Response body: {response_text}")
                break

            search_data = json.loads(response.data.decode('utf-8'))
            results = search_data.get('results', [])

            if not results:
                print(f"No more results (empty page)")
                break

            print(f"Page {page_num}: Retrieved {len(results)} scan results")

            # Fetch full result for each scan
            for result in results:
                task = result.get('task', {})
                uuid = task.get('uuid')
                if uuid:
                    result_url = f"{api_base}/result/{uuid}/"

                    try:
                        result_response = http.request('GET', result_url, headers=headers)

                        # Handle rate limiting
                        if result_response.status == 429:
                            retry_after = int(result_response.headers.get('Retry-After', '5'))
                            print(f"Rate limited on result fetch. Retrying after {retry_after}s...")
                            time.sleep(retry_after)
                            result_response = http.request('GET', result_url, headers=headers)

                        if result_response.status == 200:
                            full_result = json.loads(result_response.data.decode('utf-8'))
                            all_results.append(full_result)

                            # Track newest event time
                            try:
                                event_time = task.get('time')
                                if event_time:
                                    if newest_time is None or parse_datetime(event_time) > parse_datetime(newest_time):
                                        newest_time = event_time
                            except Exception as e:
                                print(f"Warning: Could not parse event time: {e}")
                        else:
                            print(f"Failed to fetch result for {uuid}: {result_response.status}")
                    except Exception as e:
                        print(f"Error fetching result for {uuid}: {e}")

            # Check if we have more pages
            total = search_data.get('total', 0)
            if offset + len(results) >= total or len(results) < page_size:
                print(f"Reached last page (offset={offset}, results={len(results)}, total={total})")
                break

            offset += len(results)

        except Exception as e:
            print(f"Error fetching logs: {e}")
            return [], None

    print(f"Retrieved {len(all_results)} total records from {page_num} pages")
    return all_results, newest_time

הקובץ השני: requirements.txt:

functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

לוחצים על Deploy כדי לשמור ולפרוס את הפונקציה.
מחכים שהפריסה תסתיים (2-3 דקות).

הערה: הגדרת הטריגר של Pub/Sub יוצרת באופן אוטומטי את המינויים וההרשאות הנדרשים.

יצירת משימה ב-Cloud Scheduler

‫Cloud Scheduler מפרסם הודעות בנושא Pub/Sub במרווחי זמן קבועים, ומפעיל את פונקציית Cloud Run.

במסוף GCP, נכנסים ל-Cloud Scheduler.
לוחצים על Create Job.

ממלאים את פרטי ההגדרה הבאים:

הגדרה	ערך
שם	`urlscan-collector-hourly`
אזור	בוחרים את אותו אזור כמו של פונקציית Cloud Run.
תדירות	‫`0 * * * *` (כל שעה, בשעה עגולה)
אזור זמן	בחירת אזור זמן (מומלץ לבחור ב-UTC)
סוג היעד	Pub/Sub
נושא	בוחרים את נושא Pub/Sub (`urlscan-logs-trigger`)
גוף ההודעה	‫`{}` (אובייקט JSON ריק)

לוחצים על יצירה.

אפשרויות לתדירות התזמון

בוחרים את התדירות בהתאם לנפח היומן ולדרישות לגבי זמן האחזור:

תדירות	ביטוי Cron	תרחיש לדוגמה
כל 5 דקות	`/5 * * *`	נפח גבוה, זמן אחזור נמוך
כל 15 דקות	`/15 * * *`	נפח חיפושים בינוני
כל שעה	`0 * * * *`	רגיל (מומלץ)
כל 6 שעות	`0 /6 * *`	נפח נמוך, עיבוד ברצף (batch processing)
יומי	`0 0 * * *`	איסוף נתונים היסטוריים

בדיקת השילוב

במסוף Cloud Scheduler, מוצאים את המשימה (urlscan-collector-hourly).
לוחצים על Force run כדי להפעיל את המשימה באופן ידני.
מחכים כמה שניות.
נכנסים לדף Cloud Run > Services.
לוחצים על שם הפונקציה (urlscan-collector).
לוחצים על הכרטיסייה Logs.

מוודאים שהפונקציה בוצעה בהצלחה. מחפשים את הדברים הבאים:

Searching with query: date:>now-1h
Page 1: Retrieved X scan results
Uploaded X results to gs://bucket-name/urlscan/year=YYYY/month=MM/day=DD/hour=HH/urlscan_YYYYMMDD_HHMMSS.json
Successfully processed X scan results

נכנסים לדף Cloud Storage > Buckets.
לוחצים על שם הקטגוריה.
עוברים לתיקיית הקידומת (urlscan/).
מוודאים שנוצר קובץ .json חדש עם חותמת הזמן הנוכחית.

אם מופיעות שגיאות ביומנים:

‫HTTP 401: בודקים את מפתח ה-API במשתני הסביבה
‫HTTP 403: מוודאים שהתוקף של מפתח ה-API לא פג
‫HTTP 429: הגבלת קצב של יצירת בקשות – הפונקציה תנסה שוב באופן אוטומטי עם השהיה (backoff)
חסרים משתני סביבה: צריך לוודא שכל המשתנים הנדרשים מוגדרים
החיפוש נכשל: צריך לוודא שהתחביר של שאילתת החיפוש נכון

אחזור של חשבון השירות של Google SecOps

מערכת Google SecOps משתמשת בחשבון שירות ייחודי כדי לקרוא נתונים מהקטגוריה שלכם ב-GCS. אתם צריכים לתת לחשבון השירות הזה גישה לקטגוריה שלכם.

איך מקבלים את כתובת האימייל של חשבון השירות

עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פידים.
לוחצים על הוספת פיד חדש.
לוחצים על הגדרת פיד יחיד.
בשדה שם הפיד, מזינים שם לפיד (לדוגמה, URLScan IO logs).
בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
בוחרים באפשרות URLScan IO בתור סוג היומן.
לוחצים על Get Service Account (קבלת חשבון שירות). מוצגת כתובת אימייל ייחודית של חשבון שירות, לדוגמה:
```
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
```
מעתיקים את כתובת האימייל הזו כדי להשתמש בה בשלב הבא.

הערה: לכל מכונה של Google SecOps יש חשבון שירות ייחודי. אל תשתמשו בחשבונות שירות ממסמכים או מדוגמאות אחרים.

מתן הרשאות IAM לחשבון השירות של Google SecOps

לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של GCS.

נכנסים לדף Cloud Storage > Buckets.
לוחצים על שם הקטגוריה.
עוברים לכרטיסייה Permissions.
לוחצים על הענקת גישה.
מזינים את פרטי ההגדרה הבאים:
- הוספת חשבונות משתמשים: מדביקים את כתובת האימייל של חשבון השירות של Google SecOps.
- הקצאת תפקידים: בוחרים באפשרות צפייה באובייקטים באחסון.
לוחצים על Save.

הערה: אם אתם מתכננים להשתמש באפשרות המחיקה "מחיקת קבצים שהועברו" או "מחיקת קבצים שהועברו וספריות ריקות", הקצו את התפקיד אדמין של אובייקטים ב-Cloud Storage במקום "צפייה באובייקטים ב-Cloud Storage".

הגדרת פיד ב-Google SecOps כדי להטמיע יומני URLScan IO

עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פידים.
לוחצים על הוספת פיד חדש.
לוחצים על הגדרת פיד יחיד.
בשדה שם הפיד, מזינים שם לפיד (לדוגמה, URLScan IO logs).
בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
בוחרים באפשרות URLScan IO בתור סוג היומן.
לוחצים על הבא.
מציינים ערכים לפרמטרים הבאים של הקלט:
- כתובת ה-URL של קטגוריית האחסון: מזינים את ה-URI של קטגוריית GCS עם נתיב הקידומת:
```
gs://urlscan-logs-bucket/urlscan/
```
  - מחליפים את:
    - ‫urlscan-logs-bucket: השם של קטגוריית GCS.
    - ‫urlscan/: נתיב אופציונלי לתיקייה או לתחילית שבהם נשמרים היומנים (משאירים ריק בשביל תיקיית הבסיס).
      
      לדוגמה:
      - קטגוריית הבסיס: gs://urlscan-logs-bucket/
      - עם הקידומת: gs://urlscan-logs-bucket/urlscan/
  הערה: תמיד צריך לכלול את הלוכסן (/) בסוף ה-URI.
- אפשרות מחיקת המקור: בוחרים את אפשרות המחיקה המועדפת:
  - Never: אף פעם לא למחוק קבצים אחרי העברות (מומלץ לבדיקה).
  - מחיקת קבצים שהועברו: מחיקת קבצים אחרי שהם הועברו בהצלחה.
  - מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת.
    
    הערה: אם בוחרים באפשרות מחיקה, לחשבון השירות צריך להיות התפקיד אדמין של אובייקטים ב-Storage במקום התפקיד 'צפייה באובייקטים ב-Storage'. מעדכנים את הרשאות ה-IAM בהתאם.
- גיל הקובץ המקסימלי: כולל קבצים ששונו במספר הימים האחרונים. ברירת המחדל היא 180 ימים.
- מרחב השמות של הנכס: מרחב השמות של הנכס.
- תוויות הטמעה: התווית שתתווסף לאירועים מהפיד הזה.
לוחצים על הבא.
בודקים את הגדרות הפיד החדש במסך סיום ולוחצים על שליחה.

טבלת מיפוי UDM

שדה ביומן	מיפוי UDM	Logic (פונקציה לוגית)
`_additional`	`additional`	שינוי שם/מיפוי
`has_principal`	`metadata.event_type`	מופה: `true` ← `NETWORK_CONNECTION`, `true` ← `STATUS_UPDATE`
`_network`	`network`	שינוי שם/מיפוי
`_principal`	`principal`	שינוי שם/מיפוי
`_target`	`target`	שינוי שם/מיפוי
לא רלוונטי	`metadata.event_type`	קבוע: `GENERIC_EVENT`
לא רלוונטי	`metadata.product_name`	קבוע: `URLSCAN.IO`
לא רלוונטי	`metadata.vendor_name`	קבוע: `URLSCAN.IO`

יומן שינויים

הצגת יומן השינויים של המנתח הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.