איסוף יומנים של שרת Proxy ל-OAuth2

נתמכים ב:

במסמך הזה מוסבר איך להטמיע יומני OAuth2 Proxy ב-Google Security Operations באמצעות Cloud Storage V2.

‫OAuth2 Proxy הוא שרת proxy הפוך של CNCF Sandbox שמספק אימות באמצעות ספקי OAuth2/OIDC (כמו Google,‏ GitHub,‏ Keycloak,‏ Azure AD ואחרים) כדי לאמת חשבונות לפי אימייל, דומיין או קבוצה. הוא יוצר יומני אימות (הצלחה או כישלון בהתחברות), יומני בקשות (בקשות HTTP עם שרת proxy עם זהות משתמש) ויומני אפליקציות רגילים. מכיוון ש-OAuth2 Proxy פועל כקונטיינר ב-Kubernetes וכותב את כל היומנים ב-stdout, נעשה שימוש בכלי לאיסוף יומנים שמותאם ל-Kubernetes‏ (Fluentd) כדי להעביר את היומנים לקטגוריה של Cloud Storage לצורך הטמעה ב-Google SecOps.

לפני שמתחילים

חשוב לוודא שיש לכם את הדברים הבאים:

  • מכונה של Google SecOps
  • פרויקט ב- Google Cloud עם Cloud Storage API מופעל
  • הרשאות ליצירה ולניהול של קטגוריות של Cloud Storage
  • הרשאות לניהול כללי מדיניות של ניהול זהויות והרשאות גישה (IAM) בקטגוריות של Cloud Storage
  • אשכול Kubernetes פעיל עם OAuth2 Proxy פרוס (באמצעות תרשים Helm או פריסה ידנית)
  • גישת kubectl לאשכול Kubernetes עם הרשאות ליצירת DaemonSets,‏ ConfigMaps,‏ Secrets ומרחבי שמות
  • מפתח JSON של חשבון שירות של Google Cloud עם הרשאת storage.objects.create בקטגוריה של Cloud Storage

יצירת קטגוריה של Cloud Storage

  1. נכנסים למסוףGoogle Cloud .
  2. בוחרים פרויקט או יוצרים פרויקט חדש.
  3. בתפריט הניווט, לוחצים על Cloud Storage > Buckets.
  4. לוחצים על Create bucket.
  5. ממלאים את פרטי ההגדרה הבאים:

    הגדרה ערך
    Name your bucket מזינים שם ייחודי גלובלי (לדוגמה, oauth2-proxy-logs-bucket)
    סוג המיקום בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים)
    Location בוחרים את המיקום (לדוגמה, us-central1)
    סוג האחסון (storage class) רגיל (מומלץ ליומנים שהגישה אליהם תכופה)
    בקרת גישה אחיד (מומלץ)
    כלי הגנה אופציונלי: הפעלה של ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים
  6. לוחצים על יצירה.

הגדרת רישום ביומן של שרת Proxy מסוג OAuth2

‫OAuth2 Proxy כותב שלושה סוגים של יומנים ב-stdout: יומנים רגילים, יומני אימות ויומני בקשות. כל שלוש האפשרויות מופעלות כברירת מחדל. כדי לוודא שהיומנים מכילים כמה שיותר פרטים שרלוונטיים לאבטחה, צריך להגדיר את OAuth2 Proxy עם דגלי הרישום הבאים.

אפשרות 1: הגדרה באמצעות ערכים של תרשים Helm

  • אם פורסים את OAuth2 Proxy באמצעות תרשים Helm הרשמי, מוסיפים את הקוד הבא לקובץ values.yaml:

    config:
      configFile: |-
        standard_logging = true
        auth_logging = true
        request_logging = true
        silence_ping_logging = true
            standard_logging_format = "[{{.Timestamp}}] [{{.File}}] {{.Message}}"
        auth_logging_format = "{{.Client}} - {{.RequestID}} - {{.Username}} [{{.Timestamp}}] [{{.Status}}] {{.Message}}"
        request_logging_format = "{{.Client}} - {{.RequestID}} - {{.Username}} [{{.Timestamp}}] {{.Host}} {{.RequestMethod}} {{.Upstream}} {{.RequestURI}} {{.Protocol}} {{.UserAgent}} {{.StatusCode}} {{.ResponseSize}} {{.RequestDuration}}"
    
  • מחילים את ערכי Helm המעודכנים:

    helm upgrade oauth2-proxy oauth2-proxy/oauth2-proxy -f values.yaml -n <your-namespace>
    

אפשרות 2: הגדרה באמצעות דגלים של שורת הפקודה

  • אם OAuth2 Proxy נפרס באמצעות מניפסט של פריסת Kubernetes, צריך להוסיף את הארגומנטים הבאים למפרט של הקונטיינר:

    args:
      - --standard-logging=true
      - --auth-logging=true
      - --request-logging=true
      - --silence-ping-logging=true
    

אפשרות 3: הגדרה באמצעות משתני סביבה

  • מגדירים את משתני הסביבה הבאים בקונטיינר של שרת ה-Proxy של OAuth2:

    env:
      - name: OAUTH2_PROXY_STANDARD_LOGGING
        value: "true"
      - name: OAUTH2_PROXY_AUTH_LOGGING
        value: "true"
      - name: OAUTH2_PROXY_REQUEST_LOGGING
        value: "true"
      - name: OAUTH2_PROXY_SILENCE_PING_LOGGING
        value: "true"
    

אימות הרישום ביומן של OAuth2 Proxy

  • אחרי שמחילים את ההגדרה, מוודאים ש-OAuth2 Proxy יוצר יומנים:

    kubectl logs -l app=oauth2-proxy -n <your-namespace> --tail=20
    
  • הפלט כולל שורות שדומות לאלה:

    10.0.0.1 - abc123 - user@example.com [2024/01/15 10:30:00] [AuthSuccess] Authenticated via OAuth2
    10.0.0.1 - abc123 - user@example.com [2024/01/15 10:30:01] example.com GET 10.0.0.5:8080 "/dashboard" HTTP/1.1 "Mozilla/5.0" 200 1234 0.005
    

יצירת חשבון שירות ב- Google Cloud ל-Fluentd

כדי להשתמש ב-Fluentd, צריך Google Cloud חשבון שירות עם גישת כתיבה לקטגוריה של Cloud Storage.

  1. במסוף Google Cloud , נכנסים לדף IAM & Admin > Service Accounts.
  2. לוחצים על Create Service Account.
  3. מזינים את פרטי ההגדרה הבאים:
    • Service account name: מזינים fluentd-gcs-writer
    • Service account description: מזינים Service account for Fluentd to write OAuth2 Proxy logs to GCS
  4. לוחצים על יצירה והמשך.
  5. בקטע Grant this service account access to project:
    1. לוחצים על בחירת תפקיד.
    2. מחפשים את התפקיד Storage Object Admin ובוחרים אותו.
  6. לוחצים על Continue.
  7. לוחצים על סיום.

יצירה והורדה של מפתח לחשבון שירות

  1. ברשימה Service Accounts, לוחצים על חשבון השירות fluentd-gcs-writer.
  2. עוברים לכרטיסייה Keys.
  3. לוחצים על Add Key > Create new key.
  4. בוחרים באפשרות JSON בתור סוג המפתח.
  5. לוחצים על יצירה.
  6. שומרים את קובץ המפתח בפורמט JSON שהורדתם במקום בטוח. הקובץ הזה משמש בשלב הבא.

יצירת סוד של Kubernetes למפתח של חשבון השירות

  • יוצרים סוד של Kubernetes שמכיל את מפתח חשבון השירות של Google Cloud במרחב השמות שבו יתבצע הפריסה של Fluentd:

    kubectl create namespace logging
    kubectl create secret generic fluentd-gcs-key \
      --from-file=service-account-key.json=<path-to-downloaded-key>.json \
      -n logging
    

פריסת Fluentd DaemonSet לאיסוף יומני OAuth2 Proxy

פורסים את Fluentd כ-DaemonSet באשכול Kubernetes כדי לאסוף יומני קונטיינרים מפודים של OAuth2 Proxy ולהעביר אותם לקטגוריה של Cloud Storage.

יצירת ConfigMap של Fluentd

  • יוצרים קובץ בשם fluentd-configmap.yaml עם התוכן הבא:

    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: fluentd-gcs-config
      namespace: logging
    data:
      fluent.conf: |
        <source>
          @type tail
          read_from_head true
          tag kubernetes.*
          path /var/log/containers/*oauth2-proxy*.log
          pos_file /var/log/fluentd-oauth2-proxy.log.pos
          <parse>
            @type regexp
            expression /^(?<time>[^ ]+) (?<stream>stdout|stderr) [^ ]* (?<log>.*)$/
            time_format %Y-%m-%dT%H:%M:%S.%N%z
          </parse>
        </source>
    
        <filter kubernetes.**>
          @type kubernetes_metadata
          @id filter_kube_metadata
        </filter>
    
        <match kubernetes.**>
          @type gcs
          project YOUR_GCP_PROJECT_ID
          keyfile /etc/secrets/service-account-key.json
          bucket oauth2-proxy-logs-bucket
          path oauth2-proxy-logs/%Y/%m/%d/
          object_key_format %{path}%{time_slice}_%{hostname}_%{index}.%{file_extension}
          <buffer tag,time>
            @type file
            path /var/log/fluentd/gcs
            timekey 300
            timekey_wait 60
            timekey_use_utc true
            chunk_limit_size 10MB
          </buffer>
          <format>
            @type json
          </format>
        </match>
    

מחליפים את הערכים הבאים:

  • ‫YOUR_GCP_PROJECT_ID: מזהה הפרויקט ב- Google Cloud (לדוגמה, my-project-123456)
  • ‫oauth2-proxy-logs-bucket: השם של הקטגוריה של Cloud Storage שיצרתם קודם

  • מחילים את ה-ConfigMap:

    kubectl apply -f fluentd-configmap.yaml
    

יצירת DaemonSet של Fluentd

  • יוצרים קובץ בשם fluentd-daemonset.yaml עם התוכן הבא:

    apiVersion: apps/v1
    kind: DaemonSet
    metadata:
      name: fluentd-gcs
      namespace: logging
      labels:
        k8s-app: fluentd-gcs
    spec:
      selector:
        matchLabels:
          k8s-app: fluentd-gcs
      template:
        metadata:
          labels:
            k8s-app: fluentd-gcs
        spec:
          tolerations:
            - key: node-role.kubernetes.io/control-plane
              effect: NoSchedule
            - key: node-role.kubernetes.io/master
              effect: NoSchedule
          containers:
            - name: fluentd-gcs
              image: fluent/fluentd-kubernetes-daemonset:v1-debian-gcs
              resources:
                limits:
                  memory: 512Mi
                requests:
                  cpu: 100m
                  memory: 200Mi
              volumeMounts:
                - name: fluentd-gcs-config-volume
                  mountPath: /fluentd/etc/fluent.conf
                  subPath: fluent.conf
                  readOnly: true
                - name: fluentd-gcs-secrets-volume
                  mountPath: /etc/secrets/service-account-key.json
                  subPath: service-account-key.json
                  readOnly: true
                - name: varlog
                  mountPath: /var/log
                - name: dockercontainerlogdirectory
                  mountPath: /var/log/pods
                  readOnly: true
                - name: fluentd-buffer
                  mountPath: /var/log/fluentd
          terminationGracePeriodSeconds: 30
          volumes:
            - name: fluentd-gcs-config-volume
              configMap:
                name: fluentd-gcs-config
            - name: fluentd-gcs-secrets-volume
              secret:
                secretName: fluentd-gcs-key
            - name: varlog
              hostPath:
                path: /var/log
            - name: dockercontainerlogdirectory
              hostPath:
                path: /var/log/pods
            - name: fluentd-buffer
              emptyDir: {}
    
  • מחילים את ה-DaemonSet:

    kubectl apply -f fluentd-daemonset.yaml
    

אימות הפריסה של Fluentd

  1. מוודאים שה-pods של Fluentd פועלים בכל צומת:

    kubectl get pods -n logging -l k8s-app=fluentd-gcs
    
  2. בודקים ביומנים של Fluentd אם הכתיבה ל-Cloud Storage בוצעה בהצלחה:

    kubectl logs -l k8s-app=fluentd-gcs -n logging --tail=20
    
  3. מוודאים שקובצי היומן מופיעים בקטגוריה של Cloud Storage:

    1. במסוף Google Cloud , נכנסים לדף Cloud Storage > Buckets.
    2. לוחצים על הקטגוריה (לדוגמה, oauth2-proxy-logs-bucket).
    3. עוברים לתיקייה oauth2-proxy-logs/.
    4. מוודאים שקיימים קובצי .json עם חותמות זמן עדכניות.

אחזור של חשבון השירות של Google SecOps

מערכת Google SecOps משתמשת בחשבון שירות ייחודי כדי לקרוא נתונים מהקטגוריה של Cloud Storage. אתם צריכים לתת לחשבון השירות הזה גישה לקטגוריה שלכם.

איך מקבלים את כתובת האימייל של חשבון השירות

  1. עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמת SIEM בלבד, עוברים אל הגדרות > פידים.
  2. לוחצים על הוספת פיד חדש.
  3. לוחצים על הגדרת פיד יחיד.
  4. בשדה שם הפיד, מזינים שם לפיד (לדוגמה, OAuth2 Proxy Logs).
  5. בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
  6. בוחרים באפשרות Kubernetes Auth Proxy בתור Log type.
  7. לוחצים על Get Service Account (קבלת חשבון שירות). תוצג כתובת אימייל ייחודית של חשבון שירות, לדוגמה:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  8. מעתיקים את כתובת האימייל הזו כדי להשתמש בה בשלב הבא.

  9. לוחצים על הבא.

  10. מציינים ערכים לפרמטרים הבאים של הקלט:

    • כתובת ה-URL של קטגוריה של Cloud Storage: מזינים את ה-URI של קטגוריה של Cloud Storage עם נתיב הקידומת:

      gs://oauth2-proxy-logs-bucket/oauth2-proxy-logs/
      
    • מחליפים את oauth2-proxy-logs-bucket בשם הקטגוריה שלכם ב-Cloud Storage.

    • אפשרות מחיקת המקור: בוחרים את אפשרות המחיקה המועדפת:

      • אף פעם: לא מוחק קבצים אחרי העברות (מומלץ לבדיקה).
      • מחיקת קבצים שהועברו: מחיקת קבצים אחרי שהועברו בהצלחה.
      • מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי העברה מוצלחת.

    • גיל הקובץ המקסימלי: הכללת קבצים ששונו במספר הימים האחרונים (ברירת המחדל היא 180 ימים)

    • מרחב השמות של הנכס: מרחב השמות של הנכס

    • תוויות הטמעה: התווית שתתווסף לאירועים מהפיד הזה

  11. לוחצים על הבא.

  12. בודקים את הגדרות הפיד החדש במסך סיום ולוחצים על שליחה.

הקצאת הרשאות IAM לחשבון השירות של Google SecOps

לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של Cloud Storage.

  1. נכנסים לדף Cloud Storage > Buckets.
  2. לוחצים על שם הקטגוריה (לדוגמה, oauth2-proxy-logs-bucket).
  3. עוברים לכרטיסייה Permissions.
  4. לוחצים על הענקת גישה.
  5. מזינים את פרטי ההגדרה הבאים:
    • הוספת חשבונות משתמשים: מדביקים את כתובת האימייל של חשבון השירות של Google SecOps (לדוגמה, chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com)
    • הקצאת תפקידים: בוחרים באפשרות צפייה באובייקטים של אחסון.
  6. לוחצים על Save.

הפניה ליומן של שרת ה-Proxy של OAuth2

בטבלה הבאה מתוארים שדות היומן שנוצרו על ידי OAuth2 Proxy והרלוונטיות שלהם לאבטחה:

שדות ביומן האימות

שדה דוגמה תיאור
לקוח 10.0.0.1 כתובת IP של הלקוח/מרוחקת (משתמשת בכותרת X-Real-IP אם --reverse-proxy=true)
RequestID 00010203-0405-4607-8809-0a0b0c0d0e0f מזהה הבקשה מהכותרת X-Request-Id (UUID אקראי אם הוא ריק)
שם משתמש user@example.com כתובת האימייל או שם המשתמש של בקשת האימות
חותמת הזמן 2024/01/15 10:30:00 התאריך והשעה של אירוע האימות
סטטוס AuthSuccess תוצאת האימות: AuthSuccess,‏ AuthFailure או AuthError
הודעה Authenticated via OAuth2 פרטי ניסיון האימות

שדות של יומן בקשות

שדה דוגמה תיאור
לקוח 10.0.0.1 כתובת IP של הלקוח או כתובת IP מרוחקת
RequestID 00010203-0405-4607-8809-0a0b0c0d0e0f מזהה בקשה
שם משתמש user@example.com כתובת האימייל של המשתמש המאומת
חותמת הזמן 2024/01/15 10:30:01 התאריך והשעה של שליחת הבקשה
מארח app.example.com הערך של כותרת המארח
RequestMethod GET שיטת בקשת HTTP
Upstream 10.0.0.5:8080 השרת במעלה הזרם שטיפל בבקשה
RequestURI /dashboard נתיב ה-URI של הבקשה
פרוטוקול HTTP/1.1 פרוטוקול הבקשה
UserAgent Mozilla/5.0 תיאור מלא של סוכן המשתמש
StatusCode 200 קוד הסטטוס של תגובת ה-HTTP
ResponseSize 1234 גודל התשובה בבייטים
RequestDuration 0.005 זמן עיבוד הבקשה בשניות

טבלת מיפוי UDM

שדה ביומן מיפוי UDM היגיון
מידע כללי מידע כללי מידע על האירוע
http_req_id_field additional.fields שדות נוספים שלא נכללים בסכימת UDM רגילה
http_req_path_field additional.fields
k8s_pod_app_field additional.fields
k8s_pod_template_hash_field additional.fields
k8s_pod_tls_mode_field additional.fields
k8s_pod_canonical_revision_field additional.fields
k8s_pod_canonical_name_field additional.fields
pod_name additional.fields
cntnr_name additional.fields
destination_canonical_revision additional.fields
requested_server additional.fields
nodename_label additional.fields
componentName_label additional.fields
componentVersion_label additional.fields
azureResourceID_label additional.fields
producer_label additional.fields
first_label additional.fields
last_label additional.fields
meta_name additional.fields
resource_version_label additional.fields
request_apiVersion additional.fields
request_kind_label additional.fields
request_type_label additional.fields
response_apiVersion additional.fields
response_kind_label additional.fields
response_type_label additional.fields
jsonPayload.message metadata.description תיאור האירוע
event_type metadata.event_type סוג האירוע
labels.request_id metadata.product_log_id מזהה יומן ספציפי למוצר
insertId metadata.product_log_id
jsonPayload.chartVersion metadata.product_version גרסת המוצר
httpRequest.protocol network.application_protocol פרוטוקול האפליקציה שמשמש בחיבור לרשת
network.direction network.direction כיוון התנועה ברשת
httpRequest.requestMethod network.http.method שיטת HTTP
http_method network.http.method
httpRequest.status network.http.response_code קוד תגובת HTTP
httpRequest.userAgent network.http.user_agent סוכן משתמש HTTP
requestMetadata.callerSuppliedUserAgent network.http.user_agent
labels.protocol network.ip_protocol פרוטוקול IP
httpRequest.responseSize network.received_bytes מספר הבייטים שהתקבלו
labels.total_received_bytes network.received_bytes
httpRequest.requestSize network.sent_bytes מספר הבייטים שנשלחו
labels.total_sent_bytes network.sent_bytes
jsonPayload.session network.session_id מזהה הסשן
labels.service_authentication_policy network.tls.cipher סט אלגוריתמים להצפנה (cipher suite) ב-TLS
משתמש (principal) משתמש (principal) הישות העיקרית שמעורבת באירוע
principal_hostname principal.hostname שם המארח של הישות המורשית
prin_userid principal.user.userid מזהה המשתמש של הישות המורשית
security_result security_result תוצאת הערכת האבטחה
target target ישות היעד שמעורבת באירוע
target_hostname target.hostname שם המארח של היעד
resource_sub_type target.resource.resource_subtype סוג המשנה של משאב המטרה
target_userid target.user.userid מזהה המשתמש של היעד
metadata.product_name metadata.product_name שם המוצר
metadata.vendor_name metadata.vendor_name שם הספק

יומן שינויים

הצגת יומן השינויים של המנתח הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.