איסוף יומנים של שרת Proxy ל-OAuth2
במסמך הזה מוסבר איך להטמיע יומני OAuth2 Proxy ב-Google Security Operations באמצעות Cloud Storage V2.
OAuth2 Proxy הוא שרת proxy הפוך של CNCF Sandbox שמספק אימות באמצעות ספקי OAuth2/OIDC (כמו Google, GitHub, Keycloak, Azure AD ואחרים) כדי לאמת חשבונות לפי אימייל, דומיין או קבוצה. הוא יוצר יומני אימות (הצלחה או כישלון בהתחברות), יומני בקשות (בקשות HTTP עם שרת proxy עם זהות משתמש) ויומני אפליקציות רגילים. מכיוון ש-OAuth2 Proxy פועל כקונטיינר ב-Kubernetes וכותב את כל היומנים ב-stdout, נעשה שימוש בכלי לאיסוף יומנים שמותאם ל-Kubernetes (Fluentd) כדי להעביר את היומנים לקטגוריה של Cloud Storage לצורך הטמעה ב-Google SecOps.
לפני שמתחילים
חשוב לוודא שיש לכם את הדברים הבאים:
- מכונה של Google SecOps
- פרויקט ב- Google Cloud עם Cloud Storage API מופעל
- הרשאות ליצירה ולניהול של קטגוריות של Cloud Storage
- הרשאות לניהול כללי מדיניות של ניהול זהויות והרשאות גישה (IAM) בקטגוריות של Cloud Storage
- אשכול Kubernetes פעיל עם OAuth2 Proxy פרוס (באמצעות תרשים Helm או פריסה ידנית)
- גישת
kubectlלאשכול Kubernetes עם הרשאות ליצירת DaemonSets, ConfigMaps, Secrets ומרחבי שמות - מפתח JSON של חשבון שירות של Google Cloud עם הרשאת
storage.objects.createבקטגוריה של Cloud Storage
יצירת קטגוריה של Cloud Storage
- נכנסים למסוףGoogle Cloud .
- בוחרים פרויקט או יוצרים פרויקט חדש.
- בתפריט הניווט, לוחצים על Cloud Storage > Buckets.
- לוחצים על Create bucket.
ממלאים את פרטי ההגדרה הבאים:
הגדרה ערך Name your bucket מזינים שם ייחודי גלובלי (לדוגמה, oauth2-proxy-logs-bucket)סוג המיקום בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים) Location בוחרים את המיקום (לדוגמה, us-central1)סוג האחסון (storage class) רגיל (מומלץ ליומנים שהגישה אליהם תכופה) בקרת גישה אחיד (מומלץ) כלי הגנה אופציונלי: הפעלה של ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים לוחצים על יצירה.
הגדרת רישום ביומן של שרת Proxy מסוג OAuth2
OAuth2 Proxy כותב שלושה סוגים של יומנים ב-stdout: יומנים רגילים, יומני אימות ויומני בקשות. כל שלוש האפשרויות מופעלות כברירת מחדל. כדי לוודא שהיומנים מכילים כמה שיותר פרטים שרלוונטיים לאבטחה, צריך להגדיר את OAuth2 Proxy עם דגלי הרישום הבאים.
אפשרות 1: הגדרה באמצעות ערכים של תרשים Helm
אם פורסים את OAuth2 Proxy באמצעות תרשים Helm הרשמי, מוסיפים את הקוד הבא לקובץ
values.yaml:config: configFile: |- standard_logging = true auth_logging = true request_logging = true silence_ping_logging = true standard_logging_format = "[{{.Timestamp}}] [{{.File}}] {{.Message}}" auth_logging_format = "{{.Client}} - {{.RequestID}} - {{.Username}} [{{.Timestamp}}] [{{.Status}}] {{.Message}}" request_logging_format = "{{.Client}} - {{.RequestID}} - {{.Username}} [{{.Timestamp}}] {{.Host}} {{.RequestMethod}} {{.Upstream}} {{.RequestURI}} {{.Protocol}} {{.UserAgent}} {{.StatusCode}} {{.ResponseSize}} {{.RequestDuration}}"מחילים את ערכי Helm המעודכנים:
helm upgrade oauth2-proxy oauth2-proxy/oauth2-proxy -f values.yaml -n <your-namespace>
אפשרות 2: הגדרה באמצעות דגלים של שורת הפקודה
אם OAuth2 Proxy נפרס באמצעות מניפסט של פריסת Kubernetes, צריך להוסיף את הארגומנטים הבאים למפרט של הקונטיינר:
args: - --standard-logging=true - --auth-logging=true - --request-logging=true - --silence-ping-logging=true
אפשרות 3: הגדרה באמצעות משתני סביבה
מגדירים את משתני הסביבה הבאים בקונטיינר של שרת ה-Proxy של OAuth2:
env: - name: OAUTH2_PROXY_STANDARD_LOGGING value: "true" - name: OAUTH2_PROXY_AUTH_LOGGING value: "true" - name: OAUTH2_PROXY_REQUEST_LOGGING value: "true" - name: OAUTH2_PROXY_SILENCE_PING_LOGGING value: "true"
אימות הרישום ביומן של OAuth2 Proxy
אחרי שמחילים את ההגדרה, מוודאים ש-OAuth2 Proxy יוצר יומנים:
kubectl logs -l app=oauth2-proxy -n <your-namespace> --tail=20הפלט כולל שורות שדומות לאלה:
10.0.0.1 - abc123 - user@example.com [2024/01/15 10:30:00] [AuthSuccess] Authenticated via OAuth2 10.0.0.1 - abc123 - user@example.com [2024/01/15 10:30:01] example.com GET 10.0.0.5:8080 "/dashboard" HTTP/1.1 "Mozilla/5.0" 200 1234 0.005
יצירת חשבון שירות ב- Google Cloud ל-Fluentd
כדי להשתמש ב-Fluentd, צריך Google Cloud חשבון שירות עם גישת כתיבה לקטגוריה של Cloud Storage.
- במסוף Google Cloud , נכנסים לדף IAM & Admin > Service Accounts.
- לוחצים על Create Service Account.
- מזינים את פרטי ההגדרה הבאים:
- Service account name: מזינים
fluentd-gcs-writer - Service account description: מזינים
Service account for Fluentd to write OAuth2 Proxy logs to GCS
- Service account name: מזינים
- לוחצים על יצירה והמשך.
- בקטע Grant this service account access to project:
- לוחצים על בחירת תפקיד.
- מחפשים את התפקיד Storage Object Admin ובוחרים אותו.
- לוחצים על Continue.
- לוחצים על סיום.
יצירה והורדה של מפתח לחשבון שירות
- ברשימה Service Accounts, לוחצים על חשבון השירות
fluentd-gcs-writer. - עוברים לכרטיסייה Keys.
- לוחצים על Add Key > Create new key.
- בוחרים באפשרות JSON בתור סוג המפתח.
- לוחצים על יצירה.
- שומרים את קובץ המפתח בפורמט JSON שהורדתם במקום בטוח. הקובץ הזה משמש בשלב הבא.
יצירת סוד של Kubernetes למפתח של חשבון השירות
יוצרים סוד של Kubernetes שמכיל את מפתח חשבון השירות של Google Cloud במרחב השמות שבו יתבצע הפריסה של Fluentd:
kubectl create namespace logging kubectl create secret generic fluentd-gcs-key \ --from-file=service-account-key.json=<path-to-downloaded-key>.json \ -n logging
פריסת Fluentd DaemonSet לאיסוף יומני OAuth2 Proxy
פורסים את Fluentd כ-DaemonSet באשכול Kubernetes כדי לאסוף יומני קונטיינרים מפודים של OAuth2 Proxy ולהעביר אותם לקטגוריה של Cloud Storage.
יצירת ConfigMap של Fluentd
יוצרים קובץ בשם
fluentd-configmap.yamlעם התוכן הבא:apiVersion: v1 kind: ConfigMap metadata: name: fluentd-gcs-config namespace: logging data: fluent.conf: | <source> @type tail read_from_head true tag kubernetes.* path /var/log/containers/*oauth2-proxy*.log pos_file /var/log/fluentd-oauth2-proxy.log.pos <parse> @type regexp expression /^(?<time>[^ ]+) (?<stream>stdout|stderr) [^ ]* (?<log>.*)$/ time_format %Y-%m-%dT%H:%M:%S.%N%z </parse> </source> <filter kubernetes.**> @type kubernetes_metadata @id filter_kube_metadata </filter> <match kubernetes.**> @type gcs project YOUR_GCP_PROJECT_ID keyfile /etc/secrets/service-account-key.json bucket oauth2-proxy-logs-bucket path oauth2-proxy-logs/%Y/%m/%d/ object_key_format %{path}%{time_slice}_%{hostname}_%{index}.%{file_extension} <buffer tag,time> @type file path /var/log/fluentd/gcs timekey 300 timekey_wait 60 timekey_use_utc true chunk_limit_size 10MB </buffer> <format> @type json </format> </match>
מחליפים את הערכים הבאים:
-
YOUR_GCP_PROJECT_ID: מזהה הפרויקט ב- Google Cloud (לדוגמה,my-project-123456)
oauth2-proxy-logs-bucket: השם של הקטגוריה של Cloud Storage שיצרתם קודםמחילים את ה-ConfigMap:
kubectl apply -f fluentd-configmap.yaml
יצירת DaemonSet של Fluentd
יוצרים קובץ בשם
fluentd-daemonset.yamlעם התוכן הבא:apiVersion: apps/v1 kind: DaemonSet metadata: name: fluentd-gcs namespace: logging labels: k8s-app: fluentd-gcs spec: selector: matchLabels: k8s-app: fluentd-gcs template: metadata: labels: k8s-app: fluentd-gcs spec: tolerations: - key: node-role.kubernetes.io/control-plane effect: NoSchedule - key: node-role.kubernetes.io/master effect: NoSchedule containers: - name: fluentd-gcs image: fluent/fluentd-kubernetes-daemonset:v1-debian-gcs resources: limits: memory: 512Mi requests: cpu: 100m memory: 200Mi volumeMounts: - name: fluentd-gcs-config-volume mountPath: /fluentd/etc/fluent.conf subPath: fluent.conf readOnly: true - name: fluentd-gcs-secrets-volume mountPath: /etc/secrets/service-account-key.json subPath: service-account-key.json readOnly: true - name: varlog mountPath: /var/log - name: dockercontainerlogdirectory mountPath: /var/log/pods readOnly: true - name: fluentd-buffer mountPath: /var/log/fluentd terminationGracePeriodSeconds: 30 volumes: - name: fluentd-gcs-config-volume configMap: name: fluentd-gcs-config - name: fluentd-gcs-secrets-volume secret: secretName: fluentd-gcs-key - name: varlog hostPath: path: /var/log - name: dockercontainerlogdirectory hostPath: path: /var/log/pods - name: fluentd-buffer emptyDir: {}מחילים את ה-DaemonSet:
kubectl apply -f fluentd-daemonset.yaml
אימות הפריסה של Fluentd
מוודאים שה-pods של Fluentd פועלים בכל צומת:
kubectl get pods -n logging -l k8s-app=fluentd-gcsבודקים ביומנים של Fluentd אם הכתיבה ל-Cloud Storage בוצעה בהצלחה:
kubectl logs -l k8s-app=fluentd-gcs -n logging --tail=20מוודאים שקובצי היומן מופיעים בקטגוריה של Cloud Storage:
- במסוף Google Cloud , נכנסים לדף Cloud Storage > Buckets.
- לוחצים על הקטגוריה (לדוגמה,
oauth2-proxy-logs-bucket). - עוברים לתיקייה
oauth2-proxy-logs/. - מוודאים שקיימים קובצי
.jsonעם חותמות זמן עדכניות.
אחזור של חשבון השירות של Google SecOps
מערכת Google SecOps משתמשת בחשבון שירות ייחודי כדי לקרוא נתונים מהקטגוריה של Cloud Storage. אתם צריכים לתת לחשבון השירות הזה גישה לקטגוריה שלכם.
איך מקבלים את כתובת האימייל של חשבון השירות
- עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמת SIEM בלבד, עוברים אל הגדרות > פידים.
- לוחצים על הוספת פיד חדש.
- לוחצים על הגדרת פיד יחיד.
- בשדה שם הפיד, מזינים שם לפיד (לדוגמה,
OAuth2 Proxy Logs). - בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
- בוחרים באפשרות Kubernetes Auth Proxy בתור Log type.
לוחצים על Get Service Account (קבלת חשבון שירות). תוצג כתובת אימייל ייחודית של חשבון שירות, לדוגמה:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comמעתיקים את כתובת האימייל הזו כדי להשתמש בה בשלב הבא.
לוחצים על הבא.
מציינים ערכים לפרמטרים הבאים של הקלט:
כתובת ה-URL של קטגוריה של Cloud Storage: מזינים את ה-URI של קטגוריה של Cloud Storage עם נתיב הקידומת:
gs://oauth2-proxy-logs-bucket/oauth2-proxy-logs/מחליפים את
oauth2-proxy-logs-bucketבשם הקטגוריה שלכם ב-Cloud Storage.
אפשרות מחיקת המקור: בוחרים את אפשרות המחיקה המועדפת:
- אף פעם: לא מוחק קבצים אחרי העברות (מומלץ לבדיקה).
- מחיקת קבצים שהועברו: מחיקת קבצים אחרי שהועברו בהצלחה.
מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי העברה מוצלחת.
גיל הקובץ המקסימלי: הכללת קבצים ששונו במספר הימים האחרונים (ברירת המחדל היא 180 ימים)
מרחב השמות של הנכס: מרחב השמות של הנכס
תוויות הטמעה: התווית שתתווסף לאירועים מהפיד הזה
לוחצים על הבא.
בודקים את הגדרות הפיד החדש במסך סיום ולוחצים על שליחה.
הקצאת הרשאות IAM לחשבון השירות של Google SecOps
לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של Cloud Storage.
- נכנסים לדף Cloud Storage > Buckets.
- לוחצים על שם הקטגוריה (לדוגמה,
oauth2-proxy-logs-bucket). - עוברים לכרטיסייה Permissions.
- לוחצים על הענקת גישה.
- מזינים את פרטי ההגדרה הבאים:
- הוספת חשבונות משתמשים: מדביקים את כתובת האימייל של חשבון השירות של Google SecOps (לדוגמה,
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com) - הקצאת תפקידים: בוחרים באפשרות צפייה באובייקטים של אחסון.
- הוספת חשבונות משתמשים: מדביקים את כתובת האימייל של חשבון השירות של Google SecOps (לדוגמה,
- לוחצים על Save.
הפניה ליומן של שרת ה-Proxy של OAuth2
בטבלה הבאה מתוארים שדות היומן שנוצרו על ידי OAuth2 Proxy והרלוונטיות שלהם לאבטחה:
שדות ביומן האימות
| שדה | דוגמה | תיאור |
|---|---|---|
| לקוח | 10.0.0.1 |
כתובת IP של הלקוח/מרוחקת (משתמשת בכותרת X-Real-IP אם --reverse-proxy=true) |
| RequestID | 00010203-0405-4607-8809-0a0b0c0d0e0f |
מזהה הבקשה מהכותרת X-Request-Id (UUID אקראי אם הוא ריק) |
| שם משתמש | user@example.com |
כתובת האימייל או שם המשתמש של בקשת האימות |
| חותמת הזמן | 2024/01/15 10:30:00 |
התאריך והשעה של אירוע האימות |
| סטטוס | AuthSuccess |
תוצאת האימות: AuthSuccess, AuthFailure או AuthError |
| הודעה | Authenticated via OAuth2 |
פרטי ניסיון האימות |
שדות של יומן בקשות
| שדה | דוגמה | תיאור |
|---|---|---|
| לקוח | 10.0.0.1 |
כתובת IP של הלקוח או כתובת IP מרוחקת |
| RequestID | 00010203-0405-4607-8809-0a0b0c0d0e0f |
מזהה בקשה |
| שם משתמש | user@example.com |
כתובת האימייל של המשתמש המאומת |
| חותמת הזמן | 2024/01/15 10:30:01 |
התאריך והשעה של שליחת הבקשה |
| מארח | app.example.com |
הערך של כותרת המארח |
| RequestMethod | GET |
שיטת בקשת HTTP |
| Upstream | 10.0.0.5:8080 |
השרת במעלה הזרם שטיפל בבקשה |
| RequestURI | /dashboard |
נתיב ה-URI של הבקשה |
| פרוטוקול | HTTP/1.1 |
פרוטוקול הבקשה |
| UserAgent | Mozilla/5.0 |
תיאור מלא של סוכן המשתמש |
| StatusCode | 200 |
קוד הסטטוס של תגובת ה-HTTP |
| ResponseSize | 1234 |
גודל התשובה בבייטים |
| RequestDuration | 0.005 |
זמן עיבוד הבקשה בשניות |
טבלת מיפוי UDM
| שדה ביומן | מיפוי UDM | היגיון |
|---|---|---|
| מידע כללי | מידע כללי | מידע על האירוע |
| http_req_id_field | additional.fields | שדות נוספים שלא נכללים בסכימת UDM רגילה |
| http_req_path_field | additional.fields | |
| k8s_pod_app_field | additional.fields | |
| k8s_pod_template_hash_field | additional.fields | |
| k8s_pod_tls_mode_field | additional.fields | |
| k8s_pod_canonical_revision_field | additional.fields | |
| k8s_pod_canonical_name_field | additional.fields | |
| pod_name | additional.fields | |
| cntnr_name | additional.fields | |
| destination_canonical_revision | additional.fields | |
| requested_server | additional.fields | |
| nodename_label | additional.fields | |
| componentName_label | additional.fields | |
| componentVersion_label | additional.fields | |
| azureResourceID_label | additional.fields | |
| producer_label | additional.fields | |
| first_label | additional.fields | |
| last_label | additional.fields | |
| meta_name | additional.fields | |
| resource_version_label | additional.fields | |
| request_apiVersion | additional.fields | |
| request_kind_label | additional.fields | |
| request_type_label | additional.fields | |
| response_apiVersion | additional.fields | |
| response_kind_label | additional.fields | |
| response_type_label | additional.fields | |
| jsonPayload.message | metadata.description | תיאור האירוע |
| event_type | metadata.event_type | סוג האירוע |
| labels.request_id | metadata.product_log_id | מזהה יומן ספציפי למוצר |
| insertId | metadata.product_log_id | |
| jsonPayload.chartVersion | metadata.product_version | גרסת המוצר |
| httpRequest.protocol | network.application_protocol | פרוטוקול האפליקציה שמשמש בחיבור לרשת |
| network.direction | network.direction | כיוון התנועה ברשת |
| httpRequest.requestMethod | network.http.method | שיטת HTTP |
| http_method | network.http.method | |
| httpRequest.status | network.http.response_code | קוד תגובת HTTP |
| httpRequest.userAgent | network.http.user_agent | סוכן משתמש HTTP |
| requestMetadata.callerSuppliedUserAgent | network.http.user_agent | |
| labels.protocol | network.ip_protocol | פרוטוקול IP |
| httpRequest.responseSize | network.received_bytes | מספר הבייטים שהתקבלו |
| labels.total_received_bytes | network.received_bytes | |
| httpRequest.requestSize | network.sent_bytes | מספר הבייטים שנשלחו |
| labels.total_sent_bytes | network.sent_bytes | |
| jsonPayload.session | network.session_id | מזהה הסשן |
| labels.service_authentication_policy | network.tls.cipher | סט אלגוריתמים להצפנה (cipher suite) ב-TLS |
| משתמש (principal) | משתמש (principal) | הישות העיקרית שמעורבת באירוע |
| principal_hostname | principal.hostname | שם המארח של הישות המורשית |
| prin_userid | principal.user.userid | מזהה המשתמש של הישות המורשית |
| security_result | security_result | תוצאת הערכת האבטחה |
| target | target | ישות היעד שמעורבת באירוע |
| target_hostname | target.hostname | שם המארח של היעד |
| resource_sub_type | target.resource.resource_subtype | סוג המשנה של משאב המטרה |
| target_userid | target.user.userid | מזהה המשתמש של היעד |
| metadata.product_name | metadata.product_name | שם המוצר |
| metadata.vendor_name | metadata.vendor_name | שם הספק |
יומן שינויים
הצגת יומן השינויים של המנתח הזה
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.