איסוף יומני DNS בהתאמה אישית
גרסת המנתח: 1.0
במאמר הזה מוסבר איך להטמיע יומני DNS בהתאמה אישית ב-Google Security Operations באמצעות Google Cloud Storage V2.
Custom DNS הוא סוג יומן כללי של יומני שרת DNS מהטמעות DNS מותאמות אישית או לא נתמכות. הוא מתעד נתונים של שאילתות ותשובות של DNS, כולל דומיינים, סוגי רשומות ופרטי לקוחות. מכיוון שהיומנים האלה מגיעים ממקורות DNS לא סטנדרטיים, צריך לייצא אותם לקטגוריה של Google Cloud Storage (GCS), ואז להגדיר פיד של Google SecOps כדי להטמיע אותם.
לפני שמתחילים
חשוב לוודא שיש לכם את הדברים הבאים:
- מכונה של Google SecOps
- פרויקט ב-Google Cloud שבו Cloud Storage API מופעל
- הרשאות ליצירה ולניהול של קטגוריות ב-GCS
- הרשאות לניהול מדיניות IAM בקטגוריות של GCS
- שרת או שירות DNS שיוצרים יומנים בפורמט נתמך (מומלץ להשתמש ב-JSON)
- הרשאת אדמין לשרת ה-DNS כדי להגדיר ייצוא של יומנים
יצירת קטגוריה של Google Cloud Storage
- נכנסים למסוף Google Cloud.
- בוחרים את הפרויקט או יוצרים פרויקט חדש.
- בתפריט הניווט, נכנסים ל-Cloud Storage > Buckets.
- לוחצים על Create bucket.
ממלאים את פרטי ההגדרה הבאים:
הגדרה ערך Name your bucket מזינים שם ייחודי ברמה גלובלית (לדוגמה, custom-dns-logs)סוג המיקום בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים) Location בוחרים את המיקום הכי קרוב למכונת Google SecOps (לדוגמה, us-central1)סוג אחסון (storage class) רגיל (מומלץ ליומנים שהגישה אליהם תכופה) בקרת גישה אחידה (מומלץ) כלי הגנה אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים לוחצים על יצירה.
הגדרת ייצוא אוטומטי של יומני DNS ל-GCS
השיטה לייצוא יומני DNS תלויה בהטמעה של שרת ה-DNS. בחרו את הגישה שהכי מתאימה לסביבה שלכם.
אפשרות 1: Cloud Logging sink (לשרתי DNS ב-GCE)
אם שרת ה-DNS פועל במכונה של Google Compute Engine ומתעד ב-Cloud Logging, צריך ליצור sink ביומן כדי לייצא את יומני ה-DNS ישירות ל-GCS.
- במסוף GCP, נכנסים לדף Logging > Log Router.
- לוחצים על Create Sink.
ממלאים את פרטי ההגדרה הבאים:
הגדרה ערך שם הכיור custom-dns-to-gcsיעד הכיור קטגוריה של Cloud Storage קטגוריה custom-dns-logsמסנן הכללה מסנן שתואם לרשומות ביומן ה-DNS (לדוגמה, resource.type="gce_instance" AND logName="projects/YOUR_PROJECT_ID/logs/dns")לוחצים על Create Sink.
אפשרות 2: Cloud Scheduler עם Cloud Build (לשרתי DNS מקומיים)
שימוש ב-Cloud Build שמופעל על ידי טריגר לפיתוח גרסת Build של Cloud Scheduler כדי להריץ משימת ייצוא בקונטיינר שאוספת יומני DNS משרת מרוחק וכותבת אותם ב-GCS.
יוצרים חשבון שירות למשימת הייצוא:
- במסוף GCP, נכנסים לדף IAM & Admin > Service Accounts.
- לוחצים על Create Service Account.
- מזינים את פרטי ההגדרה הבאים:
- Service account name: מזינים
dns-log-export-sa - Service account description: מזינים
Service account for automated DNS log export to GCS
- Service account name: מזינים
- לוחצים על יצירה והמשך.
- מוסיפים את התפקידים הבאים:
- אדמין של אובייקטים באחסון (כדי לכתוב קבצים ב-GCS)
- עריכה ב-Cloud Build (כדי להריץ משימות של Cloud Build)
- לוחצים על סיום.
יוצרים קובץ תצורת build של Cloud (
cloudbuild.yaml):steps: - name: 'gcr.io/cloud-builders/gcloud' entrypoint: 'bash' args: - '-c' - | # Collect DNS logs from your server # Replace with the actual command for your environment # Example: pull logs via syslog-ng, rsync from remote server, or query DNS log API curl -s -H "Authorization: Bearer $${API_TOKEN}" \ "https://your-dns-server.example.com/api/logs?format=json" \ -o /workspace/dns_logs.json # Upload to GCS gcloud storage cp /workspace/dns_logs.json \ gs://${_BUCKET_NAME}/dns/dns_logs_$(date -u +%Y%m%d_%H%M%S).json substitutions: _BUCKET_NAME: 'custom-dns-logs'יוצרים משימה של Cloud Scheduler כדי להפעיל את ה-build:
- במסוף GCP, נכנסים ל-Cloud Scheduler.
- לוחצים על Create Job.
ממלאים את פרטי ההגדרה הבאים:
הגדרה ערך שם dns-log-export-hourlyאזור בוחרים את אותו אזור שבו נמצא הקטגוריה ב-GCS תדירות 0 * * * *(כל שעה)אזור זמן UTC (מומלץ) סוג היעד HTTP כתובת URL https://cloudbuild.googleapis.com/v1/projects/YOUR_PROJECT_ID/buildsשיטת HTTP POST כותרת אימות הוספת טוקן OAuth חשבון שירות dns-log-export-sa@YOUR_PROJECT_ID.iam.gserviceaccount.comלוחצים על יצירה.
אפשרות 3: Storage Transfer Service (למערכות קבצים מקומיות)
אם יומני ה-DNS נכתבים במערכת קבצים מקומית, צריך להשתמש ב-Storage Transfer Service עם סוכן העברה כדי להעביר אותם ל-GCS.
- במסוף GCP, נכנסים ל-Storage Transfer Service.
- לוחצים על Transfer.
- בוחרים באפשרות POSIX filesystem כמקור.
- פועלים לפי ההוראות להתקנת Storage Transfer Agent בשרת ה-DNS או במכונה עם גישה לקובצי היומן של ה-DNS.
מגדירים את משימת ההעברה:
הגדרה ערך ספריית קובצי המקור הנתיב לספרייה של קובץ היומן של ה-DNS קטגוריית היעד custom-dns-logsנתיב היעד dns/תזמון הגדרת לוח זמנים חוזר (לדוגמה, כל שעה) לוחצים על יצירה.
אחזור של חשבון השירות של Google SecOps
- עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פידים.
- לוחצים על הוספת פיד חדש.
- לוחצים על הגדרת פיד יחיד.
- בשדה שם הפיד, מזינים שם לפיד (לדוגמה,
Custom DNS Logs). - בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
- בוחרים באפשרות Custom DNS בתור Log type.
- לוחצים על Get Service Account (קבלת חשבון שירות).
תוצג כתובת אימייל ייחודית של חשבון שירות, לדוגמה:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comמעתיקים את כתובת האימייל הזו כדי להשתמש בה בשלב הבא.
מתן הרשאות IAM לחשבון השירות של Google SecOps
לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של GCS.
- נכנסים לדף Cloud Storage > Buckets.
- לוחצים על שם הקטגוריה (לדוגמה,
custom-dns-logs). - עוברים לכרטיסייה Permissions.
- לוחצים על הענקת גישה.
- מזינים את פרטי ההגדרה הבאים:
- הוספת חשבונות משתמשים: מדביקים את כתובת האימייל של חשבון השירות של Google SecOps (לדוגמה,
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com). - הקצאת תפקידים: בוחרים באפשרות צפייה באובייקטים באחסון.
- הוספת חשבונות משתמשים: מדביקים את כתובת האימייל של חשבון השירות של Google SecOps (לדוגמה,
לוחצים על Save.
הגדרת הפיד של Google SecOps
- עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פידים.
- לוחצים על הוספת פיד חדש.
- לוחצים על הגדרת פיד יחיד.
- בשדה שם הפיד, מזינים שם לפיד (לדוגמה,
Custom DNS Logs). - בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
- בוחרים באפשרות Custom DNS בתור Log type.
- לוחצים על הבא.
מציינים ערכים לפרמטרים הבאים של הקלט:
Storage bucket URI: מזינים את ה-URI של קטגוריית GCS:
gs://custom-dns-logs/dns/- מחליפים את
custom-dns-logsבשם של קטגוריית GCS. - מחליפים את
dnsבנתיב הקידומת שהגדרתם.
- מחליפים את
אפשרות מחיקת המקור: בוחרים את אפשרות המחיקה המועדפת:
- Never: אף פעם לא למחוק קבצים אחרי העברות (מומלץ לבדיקה).
מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת.
גיל הקובץ המקסימלי: כולל קבצים ששונו במספר הימים האחרונים (ברירת המחדל היא 180 ימים).
מרחב השמות של הנכס: מרחב השמות של הנכס.
תוויות הטמעה: התווית שתתווסף לאירועים מהפיד הזה.
לוחצים על הבא.
בודקים את הגדרות הפיד החדש במסך סיום ולוחצים על שליחה.
טבלת מיפוי UDM
| שדה ביומן | מיפוי UDM | Logic (פונקציה לוגית) |
|---|---|---|
receiveTimestamp |
metadata.event_timestamp |
נותח בתור RFC 3339 |
message |
metadata.event_type |
מופה: "dns_query" ← NETWORK_DNS |
jsonPayload.msg |
metadata.product_event_type |
מיפוי ישיר |
insertId |
metadata.product_log_id |
מיפוי ישיר |
message |
metadata.product_name |
מופה: "dns_query" ← Custom DNS |
message |
metadata.vendor_name |
מופה: "dns_query" ← CUSTOM |
message |
network.application_protocol |
מופה: "dns_query" ← DNS |
dns_answers |
network.dns.answers |
ממוזג |
message |
network.dns.answers |
מופה: "dns_query" ← dns_answers |
dns_question |
network.dns.questions |
ממוזג |
message |
network.dns.questions |
מופה: "dns_query" ← dns_question |
dns.response_code |
network.dns.response_code |
שינוי שם/מיפוי |
message |
principal.hostname |
מופה: "dns_query" ← jsonPayload.dns_query.server |
jsonPayload.dns_query.server |
principal.ip |
ממוזג |
message |
principal.ip |
מופה: "dns_query" ← jsonPayload.dns_query.server |
message |
security_result |
מופה: "dns_query" ← security_result |
logName |
security_result.category_details |
ממוזג |
message |
security_result.category_details |
מופה: "dns_query" ← logName |
message |
security_result.severity |
מיפוי: "dns_query" ← INFORMATIONAL, "dns_query" ← MEDIUM, "dns_query" ← HIGH |
labels.application |
target.application |
מיפוי ישיר |
message |
target.hostname |
מופה: "dns_query" ← jsonPayload.dns_query.server |
jsonPayload.dns_query.server |
target.ip |
ממוזג |
message |
target.ip |
מופה: "dns_query" ← jsonPayload.dns_query.server |
component_label |
target.labels |
ממוזג |
instance_group_label |
target.labels |
ממוזג |
message |
target.labels |
מופה: "dns_query" ← component_label, "dns_query" ← instance_group_label |
labels.region |
target.location.country_or_region |
מיפוי ישיר |
resource.labels.zone |
target.resource.attribute.cloud.availability_zone |
מיפוי ישיר |
message |
target.resource.attribute.cloud.environment |
מופה: "dns_query" ← GOOGLE_CLOUD_PLATFORM |
resource.labels.project_id |
target.resource.attribute.cloud.project.id |
מיפוי ישיר |
message |
target.resource.resource_type |
מופה: "dns_query" ← VIRTUAL_MACHINE |
| לא רלוונטי | metadata.event_type |
קבוע: NETWORK_DNS |
| לא רלוונטי | metadata.product_name |
קבוע: Custom DNS |
| לא רלוונטי | metadata.vendor_name |
קבוע: CUSTOM |
| לא רלוונטי | network.application_protocol |
קבוע: DNS |
| לא רלוונטי | principal.hostname |
קבוע: jsonPayload.dns_query.server |
| לא רלוונטי | security_result.severity |
קבוע: INFORMATIONAL |
| לא רלוונטי | target.hostname |
קבוע: jsonPayload.dns_query.server |
| לא רלוונטי | target.resource.attribute.cloud.environment |
קבוע: GOOGLE_CLOUD_PLATFORM |
| לא רלוונטי | target.resource.resource_type |
קבוע: VIRTUAL_MACHINE |
יומן שינויים
הצגת יומן השינויים של המנתח הזה
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.