איסוף יומנים של Recordia
במאמר הזה מוסבר איך להטמיע יומני Recordia ב-Google Security Operations באמצעות Google Cloud Storage V2.
Recordia (של Comunycarse) היא פלטפורמה להקלטת שיחות ולתאימות לשירותים פיננסיים ולמוקדי שירות. הוא מתעד ומאחסן בארכיון אינטראקציות קוליות ואינטראקציות בווידאו, ומספק כלים לניהול איכות, לעמידה בתקנות ולניתוח נתונים. המנתח מחלץ שדות ממטא-נתונים של שיחות ומאירועי ביקורת ב-Recordia וממפה אותם למודל הנתונים המאוחד (UDM). הוא מתעד את פרטי הסשן, את פרטי המתקשר/הנמען, את פעילות המשתמש ואת חומרת האבטחה.
לפני שמתחילים
ודאו שאתם עומדים בדרישות המוקדמות הבאות:
- מכונה של Google SecOps
- פרויקט ב-GCP שבו מופעל Cloud Storage API
- הרשאות ליצירה ולניהול של קטגוריות ב-GCS
- הרשאות לניהול מדיניות IAM בקטגוריות של GCS
- הרשאות ליצירת שירותי Cloud Run, נושאי Pub/Sub ומשימות ב-Cloud Scheduler
- גישה עם הרשאות לפלטפורמת Recordia, עם גישה מופעלת ל-API (כדי לקבל פרטי כניסה ל-API, צריך לפנות לתמיכה של Comunycarse)
יצירת קטגוריה של Google Cloud Storage
- נכנסים למסוף Google Cloud.
- בוחרים את הפרויקט או יוצרים פרויקט חדש.
- בתפריט הניווט, נכנסים ל-Cloud Storage > Buckets.
- לוחצים על Create bucket.
ממלאים את פרטי ההגדרה הבאים:
הגדרה ערך Name your bucket מזינים שם ייחודי ברמה גלובלית (לדוגמה, recordia-logs)סוג המיקום בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים) Location בוחרים את המיקום (לדוגמה, us-central1)סוג אחסון (storage class) רגיל (מומלץ ליומנים שהגישה אליהם תכופה) בקרת גישה אחידה (מומלץ) כלי הגנה אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים לוחצים על יצירה.
איסוף פרטי הכניסה ל-API של Recordia
קבלת פרטי כניסה ל-API
- כדי לבקש גישה ל-API, פנו למנהל החשבון שלכם ב-Recordia או לתמיכה של Comunycarse.
משיגים את פרטי הכניסה הבאים:
- כתובת URL בסיסית של API: כתובת ה-URL הבסיסית של המכונה של Recordia (לדוגמה,
https://api.recordia.net) - טוקן API: טוקן למוכ"ז לאימות
- כתובת URL בסיסית של API: כתובת ה-URL הבסיסית של המכונה של Recordia (לדוגמה,
אימות ההרשאות
כדי לוודא שלפרטי הכניסה ל-API יש את ההרשאות הנדרשות:
- נכנסים לפורטל הניהול של Recordia.
- עוברים לקטע Settings (הגדרות) או API.
- מוודאים שבחשבון מופעלת גישה ל-API.
- אם אין לכם גישה להגדרות ה-API, פנו לתמיכה של Comunycarse.
בדיקת הגישה ל-API
לפני שממשיכים בתהליך השילוב, בודקים את פרטי הכניסה:
# Replace with your actual credentials API_TOKEN="<your-api-token>" API_BASE="https://api.recordia.net" # Test API access - list recordings curl -v -H "Authorization: Bearer ${API_TOKEN}" \ "${API_BASE}/v1/recordings?from=2024-01-01T00:00:00Z&to=2024-01-02T00:00:00Z"
יצירת חשבון שירות לפונקציית Cloud Run
לפונקציית Cloud Run נדרש חשבון שירות עם הרשאות כתיבה בקטגוריית GCS, וצריך להפעיל אותה באמצעות Pub/Sub.
יצירת חשבון שירות
- במסוף GCP, נכנסים לדף IAM & Admin > Service Accounts.
- לוחצים על Create Service Account.
- מזינים את פרטי ההגדרה הבאים:
- Service account name: מזינים
recordia-collector-sa - Service account description: מזינים
Service account for Cloud Run function to collect Recordia logs
- Service account name: מזינים
- לוחצים על יצירה והמשך.
- בקטע Grant this service account access to project, מוסיפים את התפקידים הבאים:
- לוחצים על בחירת תפקיד.
- מחפשים את התפקיד Storage Object Admin ובוחרים אותו.
- לוחצים על + הוספת תפקיד.
- מחפשים את התפקיד Cloud Run Invoker ובוחרים בו.
- לוחצים על + הוספת תפקיד.
- מחפשים את התפקיד Cloud Functions Invoker ובוחרים אותו.
- לוחצים על Continue.
- לוחצים על סיום.
התפקידים האלה נדרשים כדי:
- אדמין של אובייקט אחסון: כתיבת יומנים לקטגוריית GCS וניהול קובצי תמונת מצב
- Cloud Run Invoker: מאפשר ל-Pub/Sub להפעיל את הפונקציה
- מפעיל פונקציות של Cloud Functions: מאפשר להפעיל פונקציות
הענקת הרשאות IAM בקטגוריית GCS
נותנים לחשבון השירות הרשאות כתיבה בקטגוריה של GCS:
- נכנסים לדף Cloud Storage > Buckets.
- לוחצים על שם הקטגוריה (לדוגמה,
recordia-logs). - עוברים לכרטיסייה Permissions.
- לוחצים על הענקת גישה.
- מזינים את פרטי ההגדרה הבאים:
- הוספת חשבונות משתמשים: מזינים את כתובת האימייל של חשבון השירות (לדוגמה,
recordia-collector-sa@PROJECT_ID.iam.gserviceaccount.com) - הקצאת תפקידים: בוחרים באפשרות אדמין של אובייקטים באחסון.
- הוספת חשבונות משתמשים: מזינים את כתובת האימייל של חשבון השירות (לדוגמה,
- לוחצים על Save.
יצירת נושא Pub/Sub
יוצרים נושא Pub/Sub ש-Cloud Scheduler יפרסם בו ופונקציית Cloud Run תירשם אליו.
- במסוף GCP, נכנסים לדף Pub/Sub > Topics.
- לוחצים על Create topic.
- מזינים את פרטי ההגדרה הבאים:
- מזהה הנושא: מזינים
recordia-logs-trigger - משאירים את שאר ההגדרות כברירת מחדל.
- מזהה הנושא: מזינים
- לוחצים על יצירה.
יצירת פונקציית Cloud Run לאיסוף יומנים
פונקציית Cloud Run תופעל על ידי הודעות Pub/Sub מ-Cloud Scheduler כדי לאחזר מטא-נתונים של הקלטות ואירועי ביקורת מ-Recordia API ולכתוב אותם ב-GCS.
- במסוף GCP, נכנסים ל-Cloud Run.
- לוחצים על Create service.
- בוחרים באפשרות Function (שימוש בעורך ישיר כדי ליצור פונקציה).
בקטע Configure, מזינים את פרטי ההגדרה הבאים:
הגדרה ערך שם השירות recordia-collectorאזור בוחרים את האזור שתואם לקטגוריית ה-GCS (לדוגמה, us-central1)זמן ריצה בוחרים באפשרות Python 3.12 או גרסה עדכנית יותר. בקטע טריגר (אופציונלי):
- לוחצים על + הוספת טריגר.
- בוחרים באפשרות Cloud Pub/Sub.
- בקטע Select a Cloud Pub/Sub topic, בוחרים את הנושא ב-Pub/Sub (
recordia-logs-trigger). - לוחצים על Save.
בקטע אימות:
- לוחצים על דרישת אימות.
- בודקים את ניהול הזהויות והרשאות הגישה (IAM).
גוללים למטה ומרחיבים את הקטע Containers, Networking, Security.
עוברים לכרטיסייה אבטחה:
- Service account: בוחרים את חשבון השירות (
recordia-collector-sa)
- Service account: בוחרים את חשבון השירות (
עוברים לכרטיסייה מאגרי תגים:
- לוחצים על Variables & Secrets.
- לוחצים על + Add variable לכל משתנה סביבה:
שם משתנה ערך לדוגמה תיאור GCS_BUCKETrecordia-logsשם הקטגוריה ב-GCS GCS_PREFIXrecordiaקידומת לקובצי יומן STATE_KEYrecordia/state.jsonנתיב קובץ תמונת המצב API_BASEhttps://api.recordia.netכתובת ה-URL הבסיסית של Recordia API API_TOKENyour-bearer-tokenטוקן למוכ"ז של Recordia API MAX_RECORDS1000מספר הרשומות המקסימלי לכל הרצה PAGE_SIZE100רשומות בכל דף LOOKBACK_HOURS24תקופת המבט לאחור הראשונית בקטע Variables & Secrets, גוללים למטה אל Requests:
- Request timeout: מזינים
600שניות (10 דקות)
- Request timeout: מזינים
עוברים לכרטיסייה הגדרות:
- בקטע Resources:
- זיכרון: בוחרים באפשרות 512 MiB או יותר
- מעבד (CPU): בוחרים באפשרות 1
- בקטע Resources:
בקטע Revision scaling:
- Minimum number of instances: מזינים
0 - Maximum number of instances: מזינים
100(או משנים בהתאם לעומס הצפוי)
- Minimum number of instances: מזינים
לוחצים על יצירה.
ממתינים ליצירת השירות (דקה או שתיים).
אחרי שיוצרים את השירות, עורך הקוד המוטבע נפתח באופן אוטומטי.
הוספת קוד פונקציה
- בשדה Entry point, מזינים main.
בעורך הקוד, יוצרים שני קבצים:
הקובץ הראשון – main.py:
import functions_framework from google.cloud import storage import json import os import urllib3 from datetime import datetime, timezone, timedelta import time # Initialize HTTP client with timeouts http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=5.0, read=30.0), retries=False, ) # Initialize Storage client storage_client = storage.Client() # Environment variables GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'recordia') STATE_KEY = os.environ.get('STATE_KEY', 'recordia/state.json') API_BASE = os.environ.get('API_BASE') API_TOKEN = os.environ.get('API_TOKEN') MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '1000')) PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100')) LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24')) def parse_datetime(value: str) -> datetime: """Parse ISO datetime string to datetime object.""" if value.endswith("Z"): value = value[:-1] + "+00:00" return datetime.fromisoformat(value) @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function triggered by Pub/Sub to fetch Recordia recording metadata and audit events and write to GCS. Args: cloud_event: CloudEvent object containing Pub/Sub message """ if not all([GCS_BUCKET, API_BASE, API_TOKEN]): print('Error: Missing required environment variables') return try: # Get GCS bucket bucket = storage_client.bucket(GCS_BUCKET) # Load state state = load_state(bucket, STATE_KEY) # Determine time window now = datetime.now(timezone.utc) last_time = None if isinstance(state, dict) and state.get("last_event_time"): try: last_time = parse_datetime(state["last_event_time"]) last_time = last_time - timedelta(minutes=2) except Exception as e: print(f"Warning: Could not parse last_event_time: {e}") if last_time is None: last_time = now - timedelta(hours=LOOKBACK_HOURS) print(f"Fetching logs from {last_time.isoformat()} to {now.isoformat()}") # Fetch recordings records, newest_event_time = fetch_recordings( api_base=API_BASE, token=API_TOKEN, start_time=last_time, end_time=now, page_size=PAGE_SIZE, max_records=MAX_RECORDS, ) if not records: print("No new log records found.") save_state(bucket, STATE_KEY, now.isoformat()) return # Write to GCS as NDJSON timestamp = now.strftime('%Y%m%d_%H%M%S') object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson" blob = bucket.blob(object_key) ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in records]) + '\n' blob.upload_from_string(ndjson, content_type='application/x-ndjson') print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}") # Update state with newest event time if newest_event_time: save_state(bucket, STATE_KEY, newest_event_time) else: save_state(bucket, STATE_KEY, now.isoformat()) print(f"Successfully processed {len(records)} records") except Exception as e: print(f'Error processing logs: {str(e)}') raise def load_state(bucket, key): """Load state from GCS.""" try: blob = bucket.blob(key) if blob.exists(): state_data = blob.download_as_text() return json.loads(state_data) except Exception as e: print(f"Warning: Could not load state: {e}") return {} def save_state(bucket, key, last_event_time_iso: str): """Save the last event timestamp to GCS state file.""" try: state = {'last_event_time': last_event_time_iso} blob = bucket.blob(key) blob.upload_from_string( json.dumps(state, indent=2), content_type='application/json' ) print(f"Saved state: last_event_time={last_event_time_iso}") except Exception as e: print(f"Warning: Could not save state: {e}") def fetch_recordings(api_base: str, token: str, start_time: datetime, end_time: datetime, page_size: int, max_records: int): """ Fetch recording metadata from Recordia API with pagination. Args: api_base: API base URL token: Bearer token for authentication start_time: Start time for log query end_time: End time for log query page_size: Number of records per page max_records: Maximum total records to fetch Returns: Tuple of (records list, newest_event_time ISO string) """ base_url = api_base.rstrip('/') endpoint = f"{base_url}/v1/recordings" headers = { 'Authorization': f'Bearer {token}', 'Accept': 'application/json', 'Content-Type': 'application/json', 'User-Agent': 'GoogleSecOps-RecordiaCollector/1.0', } records = [] newest_time = None page_num = 0 backoff = 1.0 offset = 0 from_time = start_time.strftime('%Y-%m-%dT%H:%M:%SZ') to_time = end_time.strftime('%Y-%m-%dT%H:%M:%SZ') while True: page_num += 1 if len(records) >= max_records: print(f"Reached max_records limit ({max_records})") break current_limit = min(page_size, max_records - len(records)) url = f"{endpoint}?from={from_time}&to={to_time}&offset={offset}&limit={current_limit}" try: response = http.request('GET', url, headers=headers) # Handle rate limiting with exponential backoff if response.status == 429: retry_after = int(response.headers.get('Retry-After', str(int(backoff)))) print(f"Rate limited (429). Retrying after {retry_after}s...") time.sleep(retry_after) backoff = min(backoff * 2, 30.0) continue backoff = 1.0 if response.status != 200: print(f"HTTP Error: {response.status}") response_text = response.data.decode('utf-8') print(f"Response body: {response_text}") return [], None data = json.loads(response.data.decode('utf-8')) if isinstance(data, list): page_results = data else: page_results = data.get('recordings', data.get('results', [])) if not page_results: print(f"No more results (empty page)") break print(f"Page {page_num}: Retrieved {len(page_results)} recordings") records.extend(page_results) # Track newest event time for event in page_results: try: event_time = event.get('startTime') or event.get('timestamp') or event.get('date') if event_time: if newest_time is None or parse_datetime(event_time) > parse_datetime(newest_time): newest_time = event_time except Exception as e: print(f"Warning: Could not parse event time: {e}") # Check for more results if len(page_results) < current_limit: print(f"Reached last page (size={len(page_results)} < limit={current_limit})") break offset += len(page_results) except Exception as e: print(f"Error fetching recordings: {e}") return [], None print(f"Retrieved {len(records)} total recordings from {page_num} pages") return records, newest_timeהקובץ השני – requirements.txt:
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0
לוחצים על Deploy כדי לשמור ולפרוס את הפונקציה.
מחכים שהפריסה תסתיים (2-3 דקות).
יצירת משימה ב-Cloud Scheduler
Cloud Scheduler יפרסם הודעות בנושא Pub/Sub במרווחי זמן קבועים, ויפעיל את פונקציית Cloud Run.
- במסוף GCP, נכנסים ל-Cloud Scheduler.
- לוחצים על Create Job.
ממלאים את פרטי ההגדרה הבאים:
הגדרה ערך שם recordia-collector-hourlyאזור בוחרים את אותו אזור כמו של פונקציית Cloud Run. תדירות 0 * * * *(כל שעה, בשעה עגולה)אזור זמן בחירת אזור זמן (מומלץ לבחור ב-UTC) סוג היעד Pub/Sub נושא בוחרים את נושא Pub/Sub ( recordia-logs-trigger)גוף ההודעה {}(אובייקט JSON ריק)לוחצים על יצירה.
אפשרויות לתדירות התזמון
בוחרים את התדירות בהתאם לנפח היומן ולדרישות לגבי זמן האחזור:
| תדירות | ביטוי Cron | תרחיש לדוגמה |
|---|---|---|
| כל 5 דקות | */5 * * * * |
נפח גבוה, זמן אחזור נמוך |
| כל 15 דקות | */15 * * * * |
נפח חיפושים בינוני |
| כל שעה | 0 * * * * |
רגיל (מומלץ) |
| כל 6 שעות | 0 */6 * * * |
נפח נמוך, עיבוד ברצף (batch processing) |
| יומי | 0 0 * * * |
איסוף נתונים היסטוריים |
בדיקת השילוב
- במסוף Cloud Scheduler, מוצאים את המשימה.
- לוחצים על Force run כדי להפעיל את המשימה באופן ידני.
- מחכים כמה שניות.
- נכנסים לדף Cloud Run > Services.
- לוחצים על שם הפונקציה (
recordia-collector). - לוחצים על הכרטיסייה Logs.
מוודאים שהפונקציה בוצעה בהצלחה. חפשו את:
Fetching logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00 Page 1: Retrieved X recordings Wrote X records to gs://recordia-logs/recordia/logs_YYYYMMDD_HHMMSS.ndjson Successfully processed X recordsנכנסים לדף Cloud Storage > Buckets.
לוחצים על שם הקטגוריה (
recordia-logs).עוברים לתיקיית הקידומת (
recordia/).מוודאים שנוצר קובץ
.ndjsonחדש עם חותמת הזמן הנוכחית.
אם מופיעות שגיאות ביומנים:
- HTTP 401: בודקים את טוקן ה-API במשתני הסביבה
- HTTP 403: מוודאים שלטוקן ה-API יש גישה לנקודת הקצה של ההקלטות.
- HTTP 429: הגבלת קצב של יצירת בקשות – הפונקציה תנסה שוב באופן אוטומטי עם השהיה (backoff)
- חסרים משתני סביבה: צריך לוודא שכל המשתנים הנדרשים מוגדרים
אחזור של חשבון השירות של Google SecOps
מערכת Google SecOps משתמשת בחשבון שירות ייחודי כדי לקרוא נתונים מהקטגוריה שלכם ב-GCS. אתם צריכים לתת לחשבון השירות הזה גישה לקטגוריה שלכם.
איך מקבלים את כתובת האימייל של חשבון השירות
- עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פידים.
- לוחצים על הוספת פיד חדש.
- לוחצים על הגדרת פיד יחיד.
- בשדה שם הפיד, מזינים שם לפיד (לדוגמה,
Recordia Logs). - בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
- בוחרים באפשרות Recordia בתור סוג היומן.
- לוחצים על Get Service Account (קבלת חשבון שירות).
תוצג כתובת אימייל ייחודית של חשבון שירות, לדוגמה:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comמעתיקים את כתובת האימייל הזו כדי להשתמש בה בשלב הבא.
לוחצים על הבא.
מציינים ערכים לפרמטרים הבאים של הקלט:
כתובת ה-URL של קטגוריית האחסון: מזינים את ה-URI של קטגוריית GCS עם נתיב הקידומת:
gs://recordia-logs/recordia/- מחליפים את:
-
recordia-logs: השם של קטגוריית GCS. -
recordia: נתיב אופציונלי לתיקייה או לתחילית שבהם נשמרים היומנים (משאירים ריק בשביל תיקיית הבסיס).
-
- מחליפים את:
אפשרות מחיקת המקור: בוחרים את אפשרות המחיקה המועדפת:
- Never: אף פעם לא למחוק קבצים אחרי העברות (מומלץ לבדיקה).
- מחיקת קבצים שהועברו: מחיקת קבצים אחרי שהם הועברו בהצלחה.
מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת.
גיל הקובץ המקסימלי: כולל קבצים ששונו במספר הימים האחרונים (ברירת המחדל היא 180 ימים)
מרחב השמות של הנכס: מרחב השמות של הנכס
תוויות הטמעה: התווית שתתווסף לאירועים מהפיד הזה
לוחצים על הבא.
בודקים את הגדרות הפיד החדש במסך סיום ולוחצים על שליחה.
מתן הרשאות IAM לחשבון השירות של Google SecOps
לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של GCS.
- נכנסים לדף Cloud Storage > Buckets.
- לוחצים על שם הקטגוריה (לדוגמה,
recordia-logs). - עוברים לכרטיסייה Permissions.
- לוחצים על הענקת גישה.
- מזינים את פרטי ההגדרה הבאים:
- Add principals: מדביקים את כתובת האימייל של חשבון השירות של Google SecOps.
- Assign roles: בוחרים באפשרות Storage Object Viewer.
לוחצים על Save.
טבלת מיפוי UDM
| שדה ביומן | מיפוי UDM | Logic (פונקציה לוגית) |
|---|---|---|
| record_id, batch_id, ProviderId, ProviderGroupId, TrackingId, RecordingType, Format, Owner, NotEncrypted, Hash, CustomData, CustomDataFormat | additional.fields | מיזוג עם אובייקטים של תוויות שנוצרו מכל שדה אם הוא לא ריק, כאשר label.key מוגדר למחרוזת ספציפית ו-label.value.string_value מוגדר לערך השדה |
| client_ip,client_ip1 | intermediary.ip | מוזג עם client_ip, ואז מוזג עם client_ip1 |
| corp_user | intermediary.user.userid | הערך הועתק ישירות |
| description | metadata.description | הערך הועתק ישירות |
| auth_user,src_ip | metadata.event_type | מוגדר כ-"USER_UNCATEGORIZED" אם auth_user לא ריק, אחרת מוגדר כ-"STATUS_UNCATEGORIZED" אם src_ip לא ריק, אחרת מוגדר כ-"GENERIC_EVENT" |
| metadata.product_event_type | הגדרה כ-"RECORDING BATCH" אם event_info תואם ל-'RECORDING BATCH' | |
| CallId | metadata.product_log_id | הערך הועתק ישירות |
| user_agent | network.http.parsed_user_agent | הערך הועתק והומר לסוג parseduseragent |
| user_agent | network.http.user_agent | הערך הועתק ישירות |
| session_id | network.session_id | הערך הועתק ישירות |
| src_ip | principal.ip | הערך הועתק ישירות |
| url | principal.url | הערך הועתק ישירות |
| CallingParty | principal.user.phone_numbers | הערך הועתק ישירות |
| auth_user | principal.user.userid | הערך הועתק ישירות |
| severity | security_result.action_details | הערך מועתק ישירות אם רמת החומרה היא ["INFO", "DEBUG"] |
| severity | security_result.severity | אם רמת החומרה היא ["INFO", "DEBUG"], מגדירים אותה כ-"LOW" |
| CalledParty | target.user.phone_numbers | הערך הועתק ישירות |
| metadata.vendor_name | צריך להגדיר את הערך "Comunycarse" | |
| metadata.product_name | הגדרת "Recordia" |
יומן שינויים
הצגת יומן השינויים של המנתח הזה
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.