איסוף יומנים של WP Engine
במאמר הזה מוסבר איך להטמיע יומנים של WP Engine ב-Google Security Operations באמצעות Google Cloud Storage V2.
WP Engine היא פלטפורמת אירוח מנוהלת של WordPress שמספקת אירוח ברמה שמתאימה לארגונים, עם אבטחה מובנית, אופטימיזציה של הביצועים ושירותי CDN. הוא יוצר יומני גישה, יומני שגיאות ויומני אירועים של CDN שאפשר לאסוף באמצעות WP Engine API.
לפני שמתחילים
חשוב לוודא שמתקיימות הדרישות המוקדמות הבאות:
- מופע של Google SecOps
- פרויקט ב-GCP עם Cloud Storage API מופעל
- הרשאות ליצירה ולניהול של מאגרי GCS
- הרשאות לניהול מדיניות IAM בקטגוריות GCS
- הרשאות ליצירת שירותי Cloud Run, נושאי Pub/Sub ומשימות Cloud Scheduler
- גישה עם הרשאות ל-WP Engine User Portal באמצעות הרשאות גישה ל-API
- חשבון WP Engine עם גישה ל-API
יצירת קטגוריה של Google Cloud Storage
- נכנסים אל מסוף Google Cloud.
- בוחרים פרויקט או יוצרים פרויקט חדש.
- בתפריט הניווט, עוברים אל Cloud Storage > Buckets.
- לוחצים על Create bucket.
מספקים את פרטי ההגדרה הבאים:
הגדרה ערך Name your bucket (שם הקטגוריה) מזינים שם ייחודי גלובלית (לדוגמה, wpengine-logs)סוג המיקום בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים) Location בוחרים את המיקום (לדוגמה, us-central1).סוג אחסון (storage class) רגיל (מומלץ ליומנים שמתבצעת אליהם גישה לעיתים קרובות) בקרת גישה אחיד (מומלץ) כלים להגנה אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים לוחצים על יצירה.
איסוף פרטי הכניסה ל-WP Engine API
יצירת פרטי כניסה ל-API
- נכנסים לפורטל המשתמשים של WP Engine.
- לוחצים על שם הפרופיל ועוברים אל פרופיל > גישת API.
- לוחצים על יצירת פרטי כניסה.
מעתיקים ושומרים את הפרטים הבאים במיקום מאובטח:
- שם משתמש ב-API: שם המשתמש שנוצר ב-API
- סיסמת API: סיסמת ה-API שנוצרה (מוצגת רק פעם אחת)
קבלת שם ההתקנה
- נכנסים לפורטל המשתמשים של WP Engine.
- בתפריט הניווט, עוברים אל אתרים.
- לוחצים על האתר שממנו רוצים לאסוף יומנים.
- שימו לב לשם ההתקנה שמוצג בדף הסקירה הכללית של האתר. לכל סביבה (ייצור, Staging, פיתוח) יש שם התקנה נפרד.
בדיקת הגישה ל-API
לפני שממשיכים בשילוב, חשוב לבדוק את פרטי הכניסה:
# Replace with your actual credentials WPE_USER="your-api-username" WPE_PASSWORD="your-api-password" # Test API access - list installs curl -v -u "${WPE_USER}:${WPE_PASSWORD}" "https://api.wpengineapi.com/v1/installs"
יצירת חשבון שירות לפונקציית Cloud Run
פונקציית Cloud Run צריכה חשבון שירות עם הרשאות כתיבה לקטגוריה של GCS והרשאה להפעלה על ידי Pub/Sub.
יצירת חשבון שירות
- במסוף GCP, עוברים אל IAM & Admin > Service Accounts.
- לוחצים על יצירת חשבון שירות.
- מספקים את פרטי ההגדרה הבאים:
- שם חשבון השירות: מזינים
wpengine-logs-collector-sa - תיאור חשבון השירות: מזינים
Service account for Cloud Run function to collect WP Engine logs
- שם חשבון השירות: מזינים
- לוחצים על יצירה והמשך.
- בקטע Grant this service account access to project (מתן גישה של חשבון השירות הזה לפרויקט), מוסיפים את התפקידים הבאים:
- לוחצים על בחירת תפקיד.
- מחפשים את Storage Object Admin ולוחצים עליו.
- לוחצים על + הוספת תפקיד נוסף.
- מחפשים את האפשרות Cloud Run Invoker (הפעלת שירותים ב-Cloud Run) ולוחצים עליה.
- לוחצים על + הוספת תפקיד נוסף.
- מחפשים את האפשרות Cloud Functions Invoker (הפעלת פונקציות של Cloud Functions) ולוחצים עליה.
- לוחצים על Continue.
- לוחצים על סיום.
התפקידים האלה נדרשים כדי:
- אדמין של אובייקט אחסון: כתיבת יומנים לקטגוריית GCS וניהול קבצי מצב
- Cloud Run Invoker: מתן הרשאה ל-Pub/Sub להפעיל את הפונקציה
- Cloud Functions Invoker: מאפשר הפעלה של פונקציות
מתן הרשאות IAM בקטגוריית GCS
נותנים לחשבון השירות הרשאות כתיבה בקטגוריית GCS:
- עוברים אל Cloud Storage > Buckets (קטגוריות).
- לוחצים על שם הקטגוריה (לדוגמה,
wpengine-logs). - עוברים לכרטיסייה Permissions.
- לוחצים על הענקת גישה.
- מספקים את פרטי ההגדרה הבאים:
- Add principals (הוספת ישויות מורשות): מזינים את כתובת האימייל בחשבון של חשבון השירות (לדוגמה,
wpengine-logs-collector-sa@PROJECT_ID.iam.gserviceaccount.com). - הקצאת תפקידים: בוחרים באפשרות אדמין של אובייקטים באחסון.
- Add principals (הוספת ישויות מורשות): מזינים את כתובת האימייל בחשבון של חשבון השירות (לדוגמה,
- לוחצים על Save.
יצירת נושא Pub/Sub
יוצרים נושא Pub/Sub ש-Cloud Scheduler יפרסם בו ופונקציית Cloud Run תירשם אליו.
- במסוף GCP, עוברים אל Pub/Sub > Topics.
- לוחצים על יצירת נושא.
- מספקים את פרטי ההגדרה הבאים:
- מזהה הנושא: מזינים
wpengine-logs-trigger - השארת ההגדרות האחרות כברירת מחדל
- מזהה הנושא: מזינים
- לוחצים על יצירה.
יצירת פונקציית Cloud Run לאיסוף יומנים
הפונקציה של Cloud Run תופעל על ידי הודעות Pub/Sub מ-Cloud Scheduler כדי לאחזר יומנים מ-WP Engine API ולכתוב אותם ב-GCS.
- במסוף GCP, עוברים אל Cloud Run.
- לוחצים על יצירת שירות.
- בוחרים באפשרות Function (שימוש בעורך ישיר ליצירת פונקציה).
בקטע Configure (הגדרה), מזינים את פרטי ההגדרה הבאים:
הגדרה ערך שם השירות wpengine-logs-collectorאזור בוחרים אזור שתואם ל-GCS Bucket (לדוגמה, us-central1)זמן ריצה בוחרים באפשרות Python 3.12 ואילך. בקטע טריגר (אופציונלי):
- לוחצים על + הוספת טריגר.
- בוחרים באפשרות Cloud Pub/Sub.
- בקטע Select a Cloud Pub/Sub topic, בוחרים את הנושא
wpengine-logs-trigger. - לוחצים על Save.
בקטע Authentication:
- בוחרים באפשרות דרישת אימות.
- בודקים את ניהול זהויות והרשאות גישה (IAM).
גוללים למטה ומרחיבים את Containers, Networking, Security (מאגרי תגים, רשתות, אבטחה).
עוברים לכרטיסייה אבטחה:
- חשבון שירות: בוחרים את חשבון השירות
wpengine-logs-collector-sa.
- חשבון שירות: בוחרים את חשבון השירות
עוברים לכרטיסייה מאגרי תגים:
- לוחצים על Variables & Secrets (משתנים וסודות).
- לוחצים על + הוספת משתנה לכל משתנה סביבתי:
שם המשתנה ערך לדוגמה תיאור GCS_BUCKETwpengine-logsשם קטגוריית GCS GCS_PREFIXwpengineקידומת לקובצי יומן STATE_KEYwpengine/state.jsonנתיב קובץ תמונת מצב WPE_API_USERyour-api-usernameשם המשתמש ב-WP Engine API WPE_API_PASSWORDyour-api-passwordהסיסמה של WP Engine API WPE_INSTALL_IDmyinstallשם ההתקנה ב-WP Engine MAX_RECORDS5000מספר הרשומות המקסימלי בכל הפעלה PAGE_SIZE100רשומות בכל דף LOOKBACK_HOURS24תקופת המבט לאחור הראשונית בקטע Variables & Secrets, גוללים למטה אל Requests:
- זמן קצוב לתפוגת בקשה: מזינים
600שניות (10 דקות)
- זמן קצוב לתפוגת בקשה: מזינים
עוברים לכרטיסייה הגדרות:
- בקטע Resources (מקורות מידע):
- זיכרון: בוחרים באפשרות 512MiB או יותר
- CPU: בוחרים באפשרות 1
- בקטע Resources (מקורות מידע):
בקטע שינוי קנה מידה של העריכה:
- מספר מינימלי של מופעים: מזינים
0 - מספר מקסימלי של מופעים: מזינים
100(או משנים בהתאם לעומס הצפוי)
- מספר מינימלי של מופעים: מזינים
לוחצים על יצירה.
ממתינים ליצירת השירות (1-2 דקות).
אחרי שיוצרים את השירות, עורך הקוד המוטבע נפתח באופן אוטומטי.
הוספת קוד פונקציה
- מזינים main בשדה Entry point.
בעורך הקוד המוטבע, יוצרים שני קבצים:
- הקובץ הראשון: main.py:
import functions_framework from google.cloud import storage import json import os import urllib3 from datetime import datetime, timezone, timedelta import time import base64 # Initialize HTTP client with timeouts http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=5.0, read=30.0), retries=False, ) # Initialize Storage client storage_client = storage.Client() # Environment variables GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'wpengine') STATE_KEY = os.environ.get('STATE_KEY', 'wpengine/state.json') WPE_API_USER = os.environ.get('WPE_API_USER') WPE_API_PASSWORD = os.environ.get('WPE_API_PASSWORD') WPE_INSTALL_ID = os.environ.get('WPE_INSTALL_ID') MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '5000')) PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100')) LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24')) # WP Engine API base URL API_BASE = 'https://api.wpengineapi.com/v1' # Log types to fetch LOG_TYPES = ['access', 'error'] def get_auth_header(): """Generate HTTP Basic auth header for WP Engine API.""" credentials = f"{WPE_API_USER}:{WPE_API_PASSWORD}" encoded = base64.b64encode(credentials.encode('utf-8')).decode('utf-8') return f"Basic {encoded}" @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function triggered by Pub/Sub to fetch WP Engine logs and write to GCS. Args: cloud_event: CloudEvent object containing Pub/Sub message """ if not all([GCS_BUCKET, WPE_API_USER, WPE_API_PASSWORD, WPE_INSTALL_ID]): print('Error: Missing required environment variables') return try: bucket = storage_client.bucket(GCS_BUCKET) # Load state state = load_state(bucket, STATE_KEY) # Determine time window now = datetime.now(timezone.utc) last_offsets = {} if isinstance(state, dict) and state.get("last_offsets"): last_offsets = state["last_offsets"] print(f"Fetching logs for install: {WPE_INSTALL_ID}") auth_header = get_auth_header() all_records = [] # Fetch both access and error log types for log_type in LOG_TYPES: last_offset = last_offsets.get(log_type, 0) records = fetch_logs( auth_header=auth_header, install_id=WPE_INSTALL_ID, log_type=log_type, start_offset=last_offset, page_size=PAGE_SIZE, max_records=MAX_RECORDS, ) # Tag records with log type for record in records: record['_wpe_log_type'] = log_type all_records.extend(records) # Update offset for this log type if records: last_offsets[log_type] = last_offset + len(records) print(f"Fetched {len(records)} {log_type} log records") if not all_records: print("No new log records found.") save_state(bucket, STATE_KEY, last_offsets) return # Write to GCS as NDJSON timestamp = now.strftime('%Y%m%d_%H%M%S') object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson" blob = bucket.blob(object_key) ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in all_records]) + '\n' blob.upload_from_string(ndjson, content_type='application/x-ndjson') print(f"Wrote {len(all_records)} records to gs://{GCS_BUCKET}/{object_key}") # Update state save_state(bucket, STATE_KEY, last_offsets) print(f"Successfully processed {len(all_records)} records") except Exception as e: print(f'Error processing logs: {str(e)}') raise def load_state(bucket, key): """Load state from GCS.""" try: blob = bucket.blob(key) if blob.exists(): state_data = blob.download_as_text() return json.loads(state_data) except Exception as e: print(f"Warning: Could not load state: {e}") return {} def save_state(bucket, key, last_offsets: dict): """Save the last offsets to GCS state file.""" try: state = {'last_offsets': last_offsets} blob = bucket.blob(key) blob.upload_from_string( json.dumps(state, indent=2), content_type='application/json' ) print(f"Saved state: last_offsets={last_offsets}") except Exception as e: print(f"Warning: Could not save state: {e}") def fetch_logs(auth_header: str, install_id: str, log_type: str, start_offset: int, page_size: int, max_records: int): """ Fetch logs from WP Engine API with offset-based pagination and rate limiting. Args: auth_header: HTTP Basic auth header install_id: WP Engine install name log_type: Log type to fetch (access or error) start_offset: Starting offset for pagination page_size: Number of records per page max_records: Maximum total records to fetch Returns: List of log records """ headers = { 'Authorization': auth_header, 'Accept': 'application/json', 'User-Agent': 'GoogleSecOps-WPEngineCollector/1.0' } records = [] offset = start_offset page_num = 0 backoff = 1.0 while True: page_num += 1 if len(records) >= max_records: print(f"Reached max_records limit ({max_records}) for {log_type}") break limit = min(page_size, max_records - len(records)) url = f"{API_BASE}/installs/{install_id}/logs?type={log_type}&limit={limit}&offset={offset}" try: response = http.request('GET', url, headers=headers) # Handle rate limiting with exponential backoff if response.status == 429: retry_after = int(response.headers.get('Retry-After', str(int(backoff)))) print(f"Rate limited (429). Retrying after {retry_after}s...") time.sleep(retry_after) backoff = min(backoff * 2, 30.0) continue backoff = 1.0 if response.status != 200: print(f"HTTP Error: {response.status}") response_text = response.data.decode('utf-8') print(f"Response body: {response_text}") return [] data = json.loads(response.data.decode('utf-8')) page_results = data.get('results', data.get('data', [])) if not page_results: print(f"No more results (empty page) for {log_type}") break print(f"Page {page_num}: Retrieved {len(page_results)} {log_type} events") records.extend(page_results) offset += len(page_results) # If we got fewer results than requested, no more pages if len(page_results) < limit: print(f"Last page reached for {log_type}") break except Exception as e: print(f"Error fetching {log_type} logs: {e}") return [] print(f"Retrieved {len(records)} total {log_type} records from {page_num} pages") return records- הקובץ השני: requirements.txt:
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0לוחצים על Deploy כדי לשמור ולפרוס את הפונקציה.
ממתינים לסיום הפריסה (2-3 דקות).
יצירת משימה ב-Cloud Scheduler
Cloud Scheduler יפרסם הודעות בנושא Pub/Sub במרווחי זמן קבועים, ויפעיל את הפונקציה של Cloud Run.
- במסוף GCP, עוברים אל Cloud Scheduler.
- לוחצים על Create Job (יצירת משימה).
מספקים את פרטי ההגדרה הבאים:
הגדרה ערך שם wpengine-logs-collector-hourlyאזור בחירה באותו אזור כמו פונקציית Cloud Run תדירות 0 * * * *(כל שעה, בדיוק בשעה)אזור זמן בחירת אזור זמן (מומלץ לבחור UTC) סוג הטירגוט Pub/Sub נושא בחירת הנושא wpengine-logs-triggerגוף ההודעה {}(אובייקט JSON ריק)לוחצים על יצירה.
אפשרויות לתדירות התזמון
בחירת התדירות בהתאם לנפח היומן ולדרישות זמן האחזור:
| תדירות | ביטוי Cron | תרחיש לדוגמה |
|---|---|---|
| כל 5 דקות | */5 * * * * |
נפח גבוה, זמן אחזור נמוך |
| כל 15 דקות | */15 * * * * |
נפח חיפושים בינוני |
| כל שעה | 0 * * * * |
רגיל (מומלץ) |
| כל 6 שעות | 0 */6 * * * |
נפח נמוך, עיבוד באצווה |
| יומי | 0 0 * * * |
איסוף נתונים היסטוריים |
בדיקת השילוב
- במסוף Cloud Scheduler, מוצאים את העבודה.
- לוחצים על הפעלת המשימה בכוח כדי להפעיל את המשימה באופן ידני.
- מחכים כמה שניות.
- עוברים אל Cloud Run > Services.
- לוחצים על
wpengine-logs-collector. - לוחצים על הכרטיסייה Logs (יומנים).
מוודאים שהפונקציה בוצעה בהצלחה. מחפשים:
Fetching logs for install: myinstall Page 1: Retrieved X access events Fetched X access log records Page 1: Retrieved X error events Fetched X error log records Wrote X records to gs://wpengine-logs/wpengine/logs_YYYYMMDD_HHMMSS.ndjson Successfully processed X recordsעוברים אל Cloud Storage > Buckets (קטגוריות).
לוחצים על שם הקטגוריה (
wpengine-logs).עוברים לתיקייה
wpengine/.מוודאים שנוצר קובץ
.ndjsonחדש עם חותמת הזמן הנוכחית.
אם מופיעות שגיאות ביומנים:
- HTTP 401: בדיקת פרטי הכניסה ל-API במשתני הסביבה
- HTTP 403: מוודאים שהגישה ל-API מופעלת בפורטל המשתמש של WP Engine
- HTTP 429: הגבלת קצב – הפונקציה תנסה שוב באופן אוטומטי עם השהיה לפני ניסיון חוזר (backoff)
- חסרים משתני סביבה: צריך לוודא שכל המשתנים הנדרשים מוגדרים
הגדרה של פיד ב-Google SecOps להזנת יומנים של WP Engine
- עוברים אל SIEM Settings > Feeds (הגדרות SIEM > פידים).
- לוחצים על הוספת פיד חדש.
- לוחצים על Configure a single feed (הגדרת פיד יחיד).
- בשדה שם הפיד, מזינים שם לפיד (לדוגמה,
WP Engine Logs). - בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
- בוחרים באפשרות WPEngine בתור סוג היומן.
לוחצים על קבלת חשבון שירות. תוצג כתובת האימייל בחשבון שירות ייחודי, לדוגמה:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comמעתיקים את כתובת האימייל הזו.
לוחצים על הבא.
מציינים ערכים לפרמטרים הבאים של הקלט:
כתובת ה-URL של קטגוריית האחסון: מזינים את ה-URI של קטגוריית GCS עם נתיב הקידומת:
gs://wpengine-logs/wpengine/- מחליפים את:
-
wpengine-logs: השם של קטגוריית GCS. -
wpengine: קידומת אופציונלית או נתיב לתיקייה שבה מאוחסנים היומנים (אם לא מציינים כלום, היומנים מאוחסנים בתיקיית הבסיס).
-
- מחליפים את:
אפשרות למחיקת המקור: בוחרים את אפשרות המחיקה לפי ההעדפה שלכם:
- אף פעם: לא נמחקים קבצים אחרי ההעברה (מומלץ לבדיקות).
- מחיקת קבצים שהועברו: הקבצים נמחקים אחרי שההעברה מסתיימת.
מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת בהצלחה.
הגיל המקסימלי של הקובץ: כולל קבצים ששונו במספר הימים האחרון (ברירת המחדל היא 180 ימים)
מרחב השמות של הנכס: מרחב השמות של הנכס
תוויות להוספה: התווית שתתווסף לאירועים מהפיד הזה
לוחצים על הבא.
בודקים את ההגדרות של הפיד החדש במסך סיום ולוחצים על שליחה.
הענקת הרשאות IAM לחשבון השירות של Google SecOps
לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של GCS.
- עוברים אל Cloud Storage > Buckets (קטגוריות).
- לוחצים על שם הקטגוריה.
- עוברים לכרטיסייה Permissions.
- לוחצים על הענקת גישה.
- מספקים את פרטי ההגדרה הבאים:
- Add principals (הוספת ישויות מורשות): מדביקים את כתובת האימייל בחשבון של חשבון השירות של Google SecOps
- הקצאת תפקידים: בוחרים באפשרות צפייה באובייקטים באחסון.
- לוחצים על Save.
טבלת מיפוי UDM
| שדה ביומן | מיפוי UDM | היגיון |
|---|---|---|
| request, sig, blog_id, kind, name, slug, ver | additional.fields | המידע אוחד עם התוויות מהבקשה (בתור request_label), מהחתימה (בתור sig_label), ממזהה הבלוג (בתור blog_id_label), מהסוג (בתור kind_label), מהשם (בתור name_label), מהכינוי (בתור slug_label) ומהגרסה (בתור ver_label), אם כל אחת מהן לא ריקה |
| msg | metadata.description | הערך הועתק ישירות |
| metadata.event_type | הערך הוא STATUS_UPDATE אם has_principal הוא true, אחרת GENERIC_EVENT | |
| פרוטוקול | network.application_protocol | הערך הועתק ישירות |
| גרסה | network.application_protocol_version | הומר למחרוזת |
| method | network.http.method | הערך הועתק ישירות |
| user_agent | network.http.parsed_user_agent | הומר ל-parseduseragent |
| secure_url | network.http.referral_url | הערך הועתק ישירות |
| response_code | network.http.response_code | הומר למחרוזת ואז למספר שלם |
| user_agent | network.http.user_agent | הערך הועתק ישירות |
| received_bytes | network.received_bytes | הומר למחרוזת ואז למספר שלם לא שלילי |
| שם המארח | principal.asset.hostname | הערך הועתק ישירות |
| client_ip | principal.asset.ip | הערך הועתק ישירות |
| שם המארח | principal.hostname | הערך הועתק ישירות |
| client_ip | principal.ip | הערך הועתק ישירות |
| יציאה | principal.port | הומר למחרוזת ואז למספר שלם |
| pid | principal.process.pid | הומר למחרוזת |
| scan_type, scan_value | security_result.description | הערך מ-scan_value אם הוא לא ריק, אחרת הערך מ-scan_type אם הוא לא ריק |
יומן שינויים
צפייה ביומן השינויים של מנתח התוכן הזה
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.