שילוב של AWS S3 עם Google SecOps

במסמך הזה מוסבר איך לשלב את AWS S3 עם Google Security Operations.

תרחישים לדוגמה

  1. ניהול קטגוריות
  2. הורדת קבצים מקטגוריות
  3. העלאת קבצים לקטגוריות

לפני שמתחילים

לפני שמגדירים את השילוב של AWS S3 ב-Google SecOps, צריך לוודא שסביבת הרשת ופרטי הכניסה ל-AWS עומדים בכל הדרישות המוקדמות לתפעול.

כדי להכין את הסביבה לשילוב, צריך לבצע את הפעולות הבאות:

  1. מוודאים שיש קו ראייה ברשת בין Google SecOps לבין נקודות הקצה של השירות האזורי של AWS S3.

  2. משיגים פרטי כניסה פרוגרמטיים ל-API של AWS (מזהה מפתח גישה ומפתח גישה סודי) עם הרשאות IAM מתאימות.

  3. מגדירים ובודקים את המכונה המשולבת ב-Google SecOps.

דרישות רשת

‫Google SecOps מתקשר ישירות עם שירות AWS S3 באמצעות ממשקי API בארכיטקטורת REST מסוג HTTPS ו-AWS Python SDK (boto3).

חשוב לוודא שסביבת הרשת עומדת בכללי הקישוריות הבאים:

  • גישה יוצאת ל-HTTPS: הפעילו תקשורת יוצאת של HTTPS מהמכונה של Google SecOps או מהסוכן המרוחק לנקודת הקצה האזורית של AWS S3 (s3.<region>.amazonaws.com או s3.amazonaws.com) דרך יציאה 443/TCP.

    למידע נוסף, קראו את המאמר AWS Service Endpoints במסמכי התיעוד של AWS.

  • הגדרת שרת proxy: אם הארגון שלכם מנתב תעבורת נתונים יוצאת דרך Proxy ל-HTTP/HTTPS, צריך להגדיר משתני סביבה סטנדרטיים של שרת proxy‏ (HTTP_PROXY,‏ HTTPS_PROXY,‏ NO_PROXY) בשרת Google SecOps או במארח של הסוכן המרוחק.

אימות ופרטי כניסה

כדי לשלב את AWS S3, צריך פרטי כניסה פרוגרמטיים ל-API כדי לאמת בקשות באמצעות AWS Signature Version 4.

חשוב לוודא שסביבת AWS עומדת בדרישות האימות הבאות:

  • פרטי כניסה פרוגרמטיים: משיגים מזהה מפתח גישה תקין ל-AWS ומפתח סודי ל-AWS שמשויכים למשתמש או לתפקיד ב-AWS IAM.

    למידע על יצירת זהויות IAM ופרטי כניסה, קראו את המאמרים ניהול מפתחות גישה למשתמשי IAM וזהויות IAM במסמכי התיעוד של AWS.

  • הרשאות מינימליות: הגבילו את ההרשאות רק לפעולות ולמשאבי הקטגוריות שנדרשים לתהליכי העבודה האוטומטיים, והחליפו את פרטי הכניסה מדי פעם.

    לפרטים על המלצות אבטחה, ראו שיטות מומלצות לאבטחה ב-IAM במסמכי התיעוד של AWS.

הגדרת הרשאות לפעולות

נותנים לזהות AWS IAM המאומתת את ההרשאות הספציפיות שנדרשות לפעולות שהפלייבוקים של Google SecOps מבצעים.

בטבלה הבאה מפורטות ההרשאות המינימליות לפעולות ב-AWS S3:

שם הפעולה הרשאת AWS IAM נדרשת (ActionName:Permission) הרשאה נדרשת תיאור / היקף המשאבים
הורדת קובץ מקטגוריה s3:GetObject s3:ListAllMyBuckets הורדת אובייקט מקטגוריית S3. מקור מידע: arn:aws:s3:::<bucket-name>/*.
Get Bucket Policy s3:GetBucketPolicy s3:ListAllMyBuckets אחזור של מדיניות הגישה לקטגוריה. מקור מידע: arn:aws:s3:::<bucket-name>.
הצגת רשימה של אובייקטים בקטגוריה s3:ListBucket s3:ListAllMyBuckets הצגת רשימה של אובייקטים בקטגוריית S3. מקור מידע: arn:aws:s3:::<bucket-name>.
הצגת רשימה של קטגוריות s3:ListAllMyBuckets — הצגת רשימה של כל הקטגוריות ב-S3 שבבעלות החשבון. המשאב: *.
פינג s3:ListAllMyBuckets — מאמת את הקישוריות של השילוב. המשאב: *.
הגדרת מדיניות לקטגוריה s3:PutBucketPolicy s3:ListAllMyBuckets הגדרה או שינוי של מדיניות הקטגוריות של S3. מקור מידע: arn:aws:s3:::<bucket-name>.
העלאת קובץ לקטגוריה s3:PutObject s3:ListAllMyBuckets העלאת אובייקט לקטגוריית S3. מקור מידע: arn:aws:s3:::<bucket-name>/*.

הסבר לסמלים שמופיעים בטבלה (ActionName:Permission)

כדי לבדוק מהן ההרשאות הנדרשות לכל פעולה, אפשר להיעזר בטבלה הבאה:

Ping: s3:ListAllMyBuckets
Download File From Bucket: s3:GetObject, s3:ListAllMyBuckets
Get Bucket Policy: s3:GetBucketPolicy, s3:ListAllMyBuckets
List Bucket Objects: s3:ListBucket, s3:ListAllMyBuckets
List Buckets: s3:ListAllMyBuckets
Set Bucket Policy: s3:PutBucketPolicy, s3:ListAllMyBuckets
Upload File To Bucket: s3:PutObject, s3:ListAllMyBuckets

דוגמה למדיניות IAM (הרשאות מינימליות)

המדיניות לדוגמה הבאה ממחישה את ההרשאות שנדרשות כדי להריץ את כל הפעולות של AWS S3 ב-Google SecOps.

במסמכי התיעוד של AWS מוסבר איך יוצרים ומצרפים כללי מדיניות IAM.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "SecOpsS3Discovery",
      "Effect": "Allow",
      "Action": [
        "s3:ListAllMyBuckets"
      ],
      "Resource": "*"
    },
    {
      "Sid": "SecOpsS3BucketOperations",
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket",
        "s3:GetBucketPolicy",
        "s3:PutBucketPolicy"
      ],
      "Resource": "arn:aws:s3:::*"
    },
    {
      "Sid": "SecOpsS3ObjectOperations",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:PutObject"
      ],
      "Resource": "arn:aws:s3:::*/*"
    }
  ]
}

פרמטרים של שילוב

כדי להגדיר את השילוב, משתמשים בפרמטרים הבאים:

השם המוצג של הפרמטר סוג ערך ברירת המחדל חובה תיאור
מזהה מפתח הגישה של AWS String לא רלוונטי כן מזהה מפתח הגישה ל-AWS שבו משתמשים בשילוב.
מפתח סודי של AWS סיסמה לא רלוונטי כן מפתח סודי של AWS לשימוש בשילוב.
אזור ברירת המחדל של AWS String לא רלוונטי כן אזור ברירת המחדל של AWS לשימוש בשילוב, לדוגמה us-west-2.
הפעלה מרחוק תיבת סימון התיבה לא מסומנת לא מסמנים את השדה כדי להפעיל את השילוב שהוגדר מרחוק. אחרי שמסמנים את התיבה, מופיעה האפשרות לבחור את המשתמש המרוחק (הנציג).

איך מגדירים שילובים ב-Google SecOps

אם צריך, אפשר לבצע שינויים בשלב מאוחר יותר. אחרי שמגדירים מופע של אינטגרציה, אפשר להשתמש בו בפלייבוקים. במאמר תמיכה במספר מופעים מוסבר איך להגדיר מספר מופעים ולתמוך בהם.

פעולות

מידע נוסף על פעולות זמין במאמרים מענה לפעולות בהמתנה משולחן העבודה והפעלה ידנית של פעולה בבקשת התמיכה.

הורדת קובץ מקטגוריה

מורידים את הקובץ מהקטגוריה ב-AWS S3.

פרמטרים

השם המוצג של הפרמטר סוג ערך ברירת המחדל חובה תיאור
נתיב הקובץ של הקטגוריה String s3://{bucket_name}/{file_name} כן מציינים את הנתיב לקובץ בקטגוריה. דוגמה: s3://siemplify/syslog/log.txt
נתיב ההורדה String לא רלוונטי כן מציינים את הנתיב להורדת הקובץ.

ריצה

הפעולה הזו לא פועלת על ישויות.

תוצאות הפעולה

תוצאת הסקריפט
שם תוצאת הסקריפט אפשרויות ערך דוגמה
is_success נכון/לא נכון is_success:False
תוצאת JSON
{
"bucket_file_path": "s3://testsiemplify/test/123.txt"
"download_path": "/usr/bin/share/download.txt"
}

קיר תיקים

סוג התוצאות ערך / תיאור סוג
הודעת פלט*

הפעולה לא אמורה להיכשל או להפסיק את ההפעלה של הפלייבוק:

If status code == 200 (is_success = true) "Successfully downloaded '{0}' from AWS S3".format(bucket_file_path)

אם קוד הסטטוס שונה (is_success=false): "הפעולה לא הצליחה להוריד את '{0}' מ-AWS S3. הסיבה: כבר קיים קובץ עם נתיב ההורדה הזה".

הפעולה אמורה להיכשל ולעצור את ההפעלה של הפלייבוק:

אם יש שגיאה חמורה, כמו פרטי כניסה שגויים, אין חיבור לשרת, שגיאות SDK, אחרות: "שגיאה בביצוע הפעולה "הורדת קובץ מ-Bucket". הסיבה: {0}''.format(error.Stacktrace)

כללי

אחזור מדיניות של קטגוריה

אחזור מידע על מדיניות הקטגוריה מ-AWS S3.

פרמטרים

השם המוצג של הפרמטר סוג ערך ברירת המחדל חובה תיאור
שם הקטגוריה String לא רלוונטי כן צריך לציין את שם הקטגוריה שממנה רוצים לאחזר את פרטי המדיניות.

ריצה

הפעולה הזו לא פועלת על ישויות.

תוצאות הפעולה

תוצאת הסקריפט
שם תוצאת הסקריפט אפשרויות ערך דוגמה
is_success נכון/לא נכון is_success:False
תוצאת JSON
{
    "Policy": {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Sid": "AddPerm",
                "Effect": "Allow",
                "Principal": "*",
                "Action": "s3:GetObject",
                "Resource": "arn:aws:s3:::testsiemplify/*"
            }
        ]
    }
קיר תיקים
סוג התוצאות ערך / תיאור סוג
הודעת פלט*

הפעולה לא אמורה להיכשל או להפסיק את ההפעלה של הפלייבוק:

אם קוד הסטטוס == 200 (is_success = true) "Successfully retrieved information about the policy of the "{0}" bucket in AWS S3".format(bucket_name)

אם קוד הסטטוס אחר (is_success=false): "Action wasn't able to return information about the policy of the '{0}' bucket in AWS S3".format(bucket_name)

הפעולה אמורה להיכשל ולעצור את ההפעלה של הפלייבוק:

אם יש שגיאה חמורה, כמו פרטי כניסה שגויים, אין חיבור לשרת, אחר: "שגיאה בביצוע הפעולה 'קבלת מדיניות קטגוריה'. הסיבה: {0}''.format(error.Stacktrace)

כללי

הצגת רשימה של אובייקטים בקטגוריה

מאפשרת למשתמש להשבית חשבון משתמש. גוף הבקשה מכיל את המשתמש שרוצים להשבית. המאפיין "חשבון מופעל" של החשבון צריך להיות מוגדר כ-false.

פרמטרים

השם המוצג של הפרמטר סוג ערך ברירת המחדל חובה תיאור
שם הקטגוריה String לא רלוונטי כן מציינים את שם הקטגוריה שממנה רוצים לאחזר אובייקטים.
מספר האובייקטים המקסימלי להחזרה מספר שלם לא רלוונטי לא מציינים כמה אובייקטים להחזיר.

ריצה

הפעולה הזו לא פועלת על ישויות.

תוצאות הפעולה

תוצאת הסקריפט
שם תוצאת הסקריפט אפשרויות ערך דוגמה
is_success נכון/לא נכון is_success:False
תוצאת JSON
"Contents": [
        {
            "Key": "text.txt",
            "LastModified": %Y-%m-%dT%H:%M:%S,
            "ETag": "d41d8cd98f00b204e9800998ecf8427e",
            "Size": 0,
            "StorageClass": "STANDARD",
            "Owner": {
                "DisplayName": "lab_aws",
                "ID": "935dc3fed0e1d2c5b12242cf9927370824f2438681a2d3c0523f254dbde41aba"
            }
        },
        {
            "Key": "text_1.txt",
            "LastModified": %Y-%m-%dT%H:%M:%S,
            "ETag": "d41d8cd98f00b204e9800998ecf8427e",
            "Size": 0,
            "StorageClass": "STANDARD",
            "Owner": {
                "DisplayName": "lab_aws",
                "ID": "935dc3fed0e1d2c5b12242cf9927370824f2438681a2d3c0523f254dbde41aba"
            }
        }
    ]
קיר תיקים
סוג התוצאות ערך / תיאור סוג
הודעת פלט*

הפעולה לא אמורה להיכשל או להפסיק את ההפעלה של הפלייבוק:

אם קוד הסטטוס == 200 (is_success = true) "Successfully returned objects of the "{0}" bucket in AWS S3".format(bucket_name)

אם קוד הסטטוס אחר (is_success=false): "Action wasn't able to return objects of the '{0}' bucket in AWS S3".format(bucket_name)

הפעולה אמורה להיכשל ולעצור את ההפעלה של הפלייבוק:

אם יש שגיאה חמורה, כמו פרטי כניסה שגויים, אין חיבור לשרת או בעיה אחרת: "שגיאה בביצוע הפעולה 'הצגת רשימה של אובייקטים בקטגוריה'. הסיבה: {0}''.format(error.Stacktrace)

כללי
שולחן קיר עם ויטרינה

שם הטבלה: אובייקטים בקטגוריה '{0}'

עמודות:

  • מפתח (ממופה כמפתח)
  • השינוי האחרון (ממופה כ-LastModified)
  • גודל (בייטים) (ממופה כ"גודל")
  • בעלים (ממופה כ-Owner/DisplayName)
  • סוג האחסון (ממופה כסוג האחסון)
כללי

הצגת רשימה של קטגוריות

אחזור רשימה של קטגוריות מ-AWS S3.

ריצה

הפעולה הזו לא פועלת על ישויות.

תוצאות הפעולה

תוצאת הסקריפט
שם תוצאת הסקריפט אפשרויות ערך דוגמה
is_success נכון/לא נכון is_success:False
תוצאת JSON
{
    "Buckets": [
        {
            "CreationDate": %Y-%m-%dT%H:%M:%S,
            "Name": "testsiemplify"
        }
    ],
    "Owner": {
        "DisplayName": "lab_aws",
        "ID": "935dc3fed0e1d2c5b12242cf9927370824f2438681a2d3c0523f254dbde41aba"
    },
קיר תיקים
סוג התוצאות ערך / תיאור סוג
הודעת פלט*

הפעולה לא אמורה להיכשל או להפסיק את ההפעלה של הפלייבוק:

אם קוד הסטטוס == 200 (is_success = true), "הקטגוריות הזמינות ב-AWS S3 הוצגו בהצלחה".

אם מופיע קוד סטטוס אחר (is_success=false): "הפעולה לא הצליחה להציג את הקטגוריות הזמינות ב-AWS S3.

הפעולה אמורה להיכשל ולעצור את ההפעלה של הפלייבוק:

אם יש שגיאה חמורה, כמו פרטי כניסה שגויים, אין חיבור לשרת או בעיה אחרת: "שגיאה בביצוע הפעולה "רשימת קטגוריות". הסיבה: {0}''.format(error.Stacktrace)

כללי

פינג

בודקים את הקישוריות ל-AWS S3 באמצעות הפרמטרים שצוינו בדף הגדרת השילוב ב-Google SecOps Content Hub.

תרחישים לדוגמה

בדיקת הקישוריות.

ריצה

הפעולה הזו לא פועלת על ישויות.

תוצאות הפעולה

תוצאת הסקריפט
שם תוצאת הסקריפט אפשרויות ערך דוגמה
is_success נכון/לא נכון is_success:False
קיר תיקים
סוג התוצאות ערך / תיאור סוג
הודעת פלט*

הפעולה לא אמורה להיכשל או להפסיק את ההפעלה של הפלייבוק:

אם התגובה הצליחה:

"החיבור לשרת AWS S3 בוצע בהצלחה באמצעות פרמטרי החיבור שסופקו"

הפעולה אמורה להיכשל ולעצור את ההפעלה של הפלייבוק:

אם התגובה נכשלה:

"החיבור לשרת AWS S3 נכשל. השגיאה היא {0}".format(exception.stacktrace)

כללי

הגדרת מדיניות לקטגוריה

מגדירים מדיניות בקטגוריה מ-AWS S3.

פרמטרים

השם המוצג של הפרמטר סוג ערך ברירת המחדל חובה תיאור
שם הקטגוריה String לא רלוונטי כן מציינים את שם הקטגוריה שבה רוצים לעדכן את המדיניות.
אובייקט JSON של המדיניות String לא רלוונטי כן מציינים את אובייקט ה-JSON של המדיניות שרוצים להגדיר לקטגוריה. אפשר למצוא דוגמאות כאן: https://docs.aws.amazon.com/AmazonS3/latest/dev/example-bucket-policies.html.

ריצה

הפעולה הזו לא פועלת על ישויות.

תוצאות הפעולה

תוצאת הסקריפט
שם תוצאת הסקריפט אפשרויות ערך דוגמה
is_success נכון/לא נכון is_success:False
תוצאת JSON
bucket_policy = {
    'Version': '2012-10-17',
    'Statement': [{
        'Sid': 'AddPerm',
        'Effect': 'Allow',
        'Principal': '*',
        'Action': ['s3:GetObject'],
        'Resource': f'arn:aws:s3:::{bucket_name}/*'
    }]
}
קיר תיקים
סוג התוצאות ערך / תיאור סוג
הודעת פלט*

הפעולה לא אמורה להיכשל או להפסיק את ההפעלה של הפלייבוק:

If status code == 204 (is_success = true) "Successfully updated policy of the "{0}" bucket in AWS S3".format(bucket_name)

אם קוד הסטטוס אחר (is_success=false): "Action wasn't able to update the policy of the '{0}' bucket in AWS S3".format(bucket_name)

הפעולה אמורה להיכשל ולעצור את ההפעלה של הפלייבוק:

אם יש שגיאה חמורה, כמו פרטי כניסה שגויים, אין חיבור לשרת, אחר: "שגיאה בביצוע הפעולה "הגדרת מדיניות קטגוריה". הסיבה: {0}''.format(error.Stacktrace)

העלאת קובץ לקטגוריה

מעלים את הקובץ לקטגוריה ב-AWS S3.

פרמטרים

השם המוצג של הפרמטר סוג ערך ברירת המחדל חובה תיאור
נתיב הקובץ String לא רלוונטי כן מציינים את הנתיב לקובץ שרוצים להעלות.
נתיב ההעלאה של הקטגוריה String s3://{bucket_name}/{file_name} כן מציינים את הנתיב בקטגוריה שאליו צריך להעלות את הנתיב. דוגמה: s3://siemplify/syslog/log.txt

ריצה

הפעולה הזו לא פועלת על ישויות.

תוצאות הפעולה

תוצאת הסקריפט
שם תוצאת הסקריפט אפשרויות ערך דוגמה
is_success נכון/לא נכון is_success:False
תוצאת JSON
{
"bucket_upload_path": "s3://testsiemplify/test/123.txt"
"file_path": "/usr/bin/share/download.txt"
}
קיר תיקים
סוג התוצאות ערך / תיאור סוג
הודעת פלט*

הפעולה לא אמורה להיכשל או להפסיק את ההפעלה של הפלייבוק:

אם קוד הסטטוס == 200 (is_success = true) "Successfully uploaded '{0}' to AWS S3 {1} bucket".format(file_path, bucket name aka first string after s3://)

אם הקובץ לא קיים (is_success = false) "הפעולה לא הצליחה להעלות את '{0}' ל-AWS S3. הסיבה: אין קובץ עם נתיב ההעלאה הזה".

הפעולה אמורה להיכשל ולעצור את ההפעלה של הפלייבוק:

אם יש שגיאה חמורה, כמו פרטי כניסה שגויים, אין חיבור לשרת, שגיאות SDK, אחרות: "שגיאה בביצוע הפעולה 'העלאת קובץ לקטגוריה'. הסיבה: {0}''.format(error.Stacktrace)

כללי

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.