收集 Akamai DataStream 2 日志

支持的平台：

本文档介绍了如何使用 Amazon S3 将 Akamai DataStream 2 日志注入到 Google Security Operations。

准备工作

请确保满足以下前提条件：

  • Google SecOps 实例
  • 对 Akamai Control Center 的特权访问权限（DataStream 2 配置访问权限）
  • 对 AWS (S3、IAM) 的特权访问权限

为 Google SecOps 配置 AWS S3 存储桶和 IAM

  1. 按照以下用户指南创建 Amazon S3 存储桶：创建存储桶
  2. 保存存储桶名称和区域以供日后参考（例如 akamai-cloud-monitor）。
  3. 按照以下用户指南创建用户：创建 IAM 用户。
  4. 选择创建的用户。
  5. 选择安全凭据标签页。
  6. 在访问密钥部分中，点击创建访问密钥。
  7. 选择第三方服务作为使用情形。
  8. 点击下一步。
  9. 可选：添加说明标记。
  10. 点击创建访问密钥。
  11. 点击下载 CSV 文件，保存访问密钥和不公开的访问密钥以供日后使用。
  12. 点击完成。
  13. 选择权限标签页。
  14. 在权限政策部分中，点击添加权限。
  15. 选择添加权限。
  16. 选择直接附加政策
  17. 搜索并选择 AmazonS3FullAccess 政策。
  18. 点击下一步。
  19. 点击添加权限。

为 S3 上传配置 IAM 政策和角色

  1. 在 AWS 控制台中，依次前往 IAM > 政策 > 创建政策 > JSON 标签页。

  2. 输入以下政策：

    {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowAkamaiWriteToS3",
      "Effect": "Allow",
      "Action": ["s3:PutObject"],
      "Resource": "arn:aws:s3:::akamai-datastream-2-logs/akamai/datastream2/json/*"
    }
  ]
}
    • 如果您输入了其他存储桶名称，请替换 akamai-datastream-2-logs。

  3. 依次点击下一步 > 创建政策。

  4. 依次前往 IAM >“用户”>“创建用户”。

  5. 将用户命名为 akamai-datastream-writer。

  6. 附加新创建的政策。

  7. 为该用户创建访问密钥，以便在 Akamai DataStream 2 配置中使用。

配置 Akamai DataStream 2 以将日志传送到 Amazon S3

  1. 在 Akamai 控制中心内，前往 DataStream 2。
  2. 点击创建数据流。
  3. 选择适合您媒体资源的日志类型（例如 Delivery、Edge DNS、GTM）。
  4. 在数据集中，选择所需的字段。除非有特殊需求，否则请保留默认值。
  5. 依次前往交付 > 目的地，然后选择 Amazon S3。
  6. 使用新创建的存储桶填写 S3 目标详细信息：
    • 存储分区：akamai-datastream-2-logs
    • 文件夹路径：akamai/datastream2/json/
    • 区域：您的存储桶区域
    • 访问密钥 ID：之前创建的用户访问密钥
    • 私有访问密钥：之前创建的用户私有访问密钥
  7. 将日志格式设置为 JSON。
  8. 可选：在传送选项中，将推送频率设置为 30 秒。
  9. 依次点击验证并保存 > 下一步 > 启用。

可选：为 Google SecOps 创建只读 IAM 用户和密钥

  1. 依次前往 AWS 控制台> IAM > 用户 > 添加用户。
  2. 点击 Add users（添加用户）。
  3. 提供以下配置详细信息：
    • 用户：输入 secops-reader。
    • 访问类型：选择访问密钥 - 以程序化方式访问。
  4. 点击创建用户。
  5. 附加最低限度的读取政策（自定义）：用户 > secops-reader > 权限 > 添加权限 > 直接附加政策 > 创建政策。

  6. 在 JSON 编辑器中，输入以下政策：

    {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:GetObject"],
      "Resource": "arn:aws:s3:::akamai-datastream-2-logs/*"
    },
    {
      "Effect": "Allow",
      "Action": ["s3:ListBucket"],
      "Resource": "arn:aws:s3:::akamai-datastream-2-logs"
    }
  ]
}

  7. 将名称设置为 secops-reader-policy。

  8. 依次前往创建政策 > 搜索/选择 > 下一步 > 添加权限。

  9. 依次前往安全凭据 > 访问密钥 > 创建访问密钥。

  10. 下载 CSV（这些值会输入到 Feed 中）。

在 Google SecOps 中配置 Feed 以注入 Akamai DataStream 2 日志

  1. 依次前往 SIEM 设置 > Feed。
  2. 点击 + 添加新 Feed。
  3. 在Feed 名称字段中，输入 Feed 的名称（例如 Akamai DataStream 2 logs）。
  4. 选择 Amazon S3 V2 作为来源类型。
  5. 选择 Akamai DataStream 2 作为日志类型。
  6. 点击下一步。
  7. 为以下输入参数指定值：
    • S3 URI：s3://akamai-datastream-2-logs/akamai/datastream2/json/
    • 源删除选项：根据您的偏好选择删除选项。
    • 文件存在时间上限：包含在过去指定天数内修改的文件。默认值为 180 天。
    • 访问密钥 ID：有权访问 S3 存储桶的用户访问密钥。
    • 私有访问密钥：有权访问 S3 存储桶的用户私有密钥。
    • 资产命名空间：资产命名空间。
    • 注入标签：应用于此 Feed 中事件的标签。
  8. 点击下一步。
  9. 在最终确定界面中查看新的 Feed 配置，然后点击提交。

支持的 Akamai Datastream 2 示例日志

  • JSON

{ "logName": "projects/monotaro-akamai-log/logs/akamai_data_stream", "resource": { "type": "cloud_run_revision", "labels": { "service_name": "akamai-datastream2", "configuration_name": "hhhhh", "location": "asia-northeast1", "project_id": "monotaro-akamai-log", "revision_name": "akamai-datastream2-brpwf" } }, "jsonPayload": { "cliip": "0.0.0.0", "cookie": "sid=MASKED_SESSION_ID", "reqtimesec": "1704844800.068", "trace": "projects/monotaro-akamai-log/traces/acc4d1aeffecdf96896e5aff5cf1fbf5", "errorcode": "-", "totalbytes": "27489", "reqport": "443", "overheadbytes": "1160", "reqhost": "www.example.com", "tlsversion": "TLSv1.3", "referer": "masked 网址", "reqendtimemsec": "15", "acclang": "-", "reqid": "80c241bc", "city": "TOKYO", "maxagesec": "-", "cp": "1219543", "uncompressedsize": "-", "proto": "HTTP/2", "querystr": "s=MASKED_QUERY_PARAM&v=other_param", "range": "-", "objsize": "25510", "transfertimemsec": "1", "reqmethod": "GET", "rspcontentlen": "25510", "statuscode": "200", "dnslookuptimemsec": "-", "turnaroundtimemsec": "83", "xforwardedfor": "-", "ua": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) MASKED_UA", "cachestatus": "0", "rspcontenttype": "application/json", "bytes": "25510", "version": "3", "tlsoverheadtimemsec": "0", "country": "JP", "reqpath": "recsys/v1/recommend", "customfield": "MASKED_CUSTOM_FIELD_1,MASKED_CUSTOM_FIELD_2", "securityrules": "mntr_25916||" }, "timestamp": "2024-01-10T00:00:00.068+00:00", "receiveTimestamp": "2024-01-10T00:00:19.987565+00:00", "insertId": "148w3lkg16liikb" }


Need more help? Get answers from Community members and Google SecOps professionals.