Fastly CDN のログを収集する

パーサーのバージョン: 2.0

以下でサポートされています。

このドキュメントでは、Amazon S3 を使用して Fastly CDN ログを Google Security Operations に取り込む方法について説明します。

Fastly は、リアルタイムのコンテンツ配信、セキュリティ、エッジ コンピューティング サービスを提供するコンテンツ配信ネットワーク(CDN)およびエッジ クラウド プラットフォームです。Fastly のリアルタイム ログ ストリーミング機能は、CDN アクセスログ、WAF イベント、その他のテレメトリー データを、セキュリティ モニタリングと分析のために Amazon S3 などのさまざまな宛先に送信できます。

始める前に

次の前提条件を満たしていることを確認します。

  • Google SecOps インスタンス
  • Fastly コントロール パネルまたは API への特権アクセス
  • AWS(S3、IAM)への特権アクセス
  • global または global:read スコープを持つ Fastly API トークン

Fastly API トークンを作成する

  1. https://manage.fastly.com で Fastly コントロール パネルにログインします。
  2. 右上にあるユーザー アイコンをクリックします。
  3. [アカウント] > [個人用 API トークン] に移動します。
  4. [トークンの作成] をクリックします。
  5. [Create API Token] ダイアログで、次の情報を入力します。
    • [名前]: わかりやすい名前を入力します(例: Google SecOps S3 Logging Configuration)。
    • Type: [User token] を選択します。
    • スコープ: [グローバル アクセス] を選択します(ロギング エンドポイントの構成に必要)。
    • 有効期限: [無期限] を選択するか、適切な有効期限を設定します。
  6. [トークンの作成] をクリックします。
  7. API トークンをコピーして安全に保存します。

Google SecOps 用に AWS S3 バケットと IAM を構成する

  1. バケットの作成のユーザーガイドに沿って、Amazon S3 バケットを作成します。
  2. バケットの名前とリージョンを保存して、後で参照できるようにします(例: fastly-cdn-logs)。
  3. IAM ユーザーの作成のユーザーガイドに沿って、ユーザーを作成します。
  4. 作成したユーザーを選択します。
  5. [セキュリティ認証情報] タブを選択します。
  6. [Access Keys] セクションで [Create Access Key] をクリックします。
  7. [ユースケース] として [サードパーティのサービス] を選択します。
  8. [次へ] をクリックします。
  9. 省略可: 説明タグを追加します。
  10. [アクセスキーを作成] をクリックします。
  11. [.csv ファイルをダウンロード] をクリックし、[アクセスキー] と [シークレット アクセスキー] を保存して、今後の参照に備えます。
  12. [完了] をクリックします。
  13. [権限] タブを選択します。
  14. [権限ポリシー] セクションで [権限を追加] をクリックします。
  15. [権限を追加] を選択します。
  16. [ポリシーを直接アタッチする] を選択します。
  17. AmazonS3FullAccess ポリシーを検索します。
  18. ポリシーを選択します。
  19. [次へ] をクリックします。
  20. [権限を追加] をクリックします。

Fastly S3 ロギング エンドポイントを構成する

オプション A: Fastly コントロール パネルで構成する

  1. https://manage.fastly.com で Fastly コントロール パネルにログインします。
  2. ロギングを構成するサービスを選択します。
  3. [Edit configuration] をクリックし、[Clone active version] を選択して、新しいドラフト バージョンを作成します。
  4. 左側のナビゲーション メニューで [ロギング] をクリックします。
  5. [Amazon Web Services S3] セクションで、[エンドポイントを作成] をクリックします。
  6. [Amazon S3 エンドポイントを作成する] フォームで、次の構成の詳細を指定します。

    • 基本設定:

      • [名前]: わかりやすい名前を入力します(例: secops-s3-logs)。
      • プレースメント: [フォーマット バージョンのデフォルト](推奨)を選択します。
      • ログ形式: 次の JSON 形式の文字列を入力します。

        {"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","geo_region":"%{client.geo.region}V","datacenter":"%{server.datacenter}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","request_protocol":"%{json.escape(req.proto)}V","request_referer":"%{json.escape(req.http.referer)}V","request_user_agent":"%{json.escape(req.http.User-Agent)}V","response_state":"%{json.escape(fastly_info.state)}V","response_status":%{resp.status}V,"response_reason":%{if(resp.response, "\"%22\"+json.escape(resp.response)+\"%22\", \"null\")}V,"response_body_size":%{resp.body_bytes_written}V,"response_header_size":%{resp.header_bytes_written}V,"request_body_size":%{req.body_bytes_read}V,"request_header_size":%{req.header_bytes_read}V,"cache_status":"%{fastly_info.state}V","is_tls":"%{if(req.is_ssl, \"true\", \"false\")}V","tls_protocol":"%{cstr_escape(tls.client.protocol)}V","tls_cipher":"%{cstr_escape(tls.client.cipher)}V","server_identity":"%{json.escape(server.identity)}V","is_edge":%{if(fastly.ff.visits_this_service == 0, "true", "false")}V,"time_elapsed_usec":%{time.elapsed.usec}V,"time_start_sec":%{time.start.sec}V}
        
      • タイムスタンプ形式: デフォルト(strftime 互換文字列)のままにします。

    S3 バケットの構成:

    • バケット名: S3 バケット名を入力します(例: fastly-cdn-logs)。
    • ドメイン: バケットが米国標準リージョンにある場合は、空白のままにします。他のリージョンの場合は、適切な S3 エンドポイントを入力します(例: us-west-2 リージョンの場合は s3-us-west-2.amazonaws.com)。
    • アクセス方法: [ユーザー認証情報] を選択します。
    • アクセスキー: 手順 11 の AWS アクセスキーを入力します。
    • シークレット キー: 手順 11 の AWS シークレット アクセスキーを入力します。
    • 期間: 3600 を入力します(ログは 1 時間ごとに確定されます)。
  7. [詳細オプション] をクリックして、追加の設定を開きます。

    詳細設定:

    • パス: fastly-cdn/ を入力します(バケット内のログを整理するためのオプションの接頭辞)。
    • PGP 公開鍵: 空白のままにします(この統合では暗号化は必要ありません)。
    • ログ行の形式を選択する: [空白] を選択します(カスタム JSON 形式を使用します)。
    • 圧縮: [gzip] を選択します(ストレージ費用を削減するため、推奨)。
    • 冗長性レベル: [標準] を選択します。
    • ACL: [private](推奨)を選択します。
    • サーバーサイドの暗号化: [なし] を選択します(または、セキュリティ要件に従って構成します)。
    • 最大バイト数: 「0」と入力します(ファイルサイズの上限はありません)。
  8. [作成] をクリックして、ロギング エンドポイントを作成します。

  9. 右上にある [有効にする] をクリックします。

  10. [Activate on Production] を選択して、構成の変更をデプロイします。

  11. 確認ダイアログで [有効にする] をクリックして確定します。

オプション B: Fastly API を介して構成する

API を使用してロギングを構成する場合は、次の方法を使用します。

  1. コントロール パネルから、またはサービスを一覧表示して、Fastly サービス ID を取得します。

    curl -H "Fastly-Key: YOUR_FASTLY_TOKEN" https://api.fastly.com/service
    
  2. 有効なバージョンをクローンして、新しいドラフト バージョンを作成します。

    curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \
      "https://api.fastly.com/service/SERVICE_ID/version/ACTIVE_VERSION/clone"
    
  3. 新しいドラフト バージョンに S3 ロギング エンドポイントを作成します。

    curl -X POST -H "Fastly-Key: YOUR_FASTLY_TOKEN" \
      -H "Content-Type: application/x-www-form-urlencoded" \
      "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/logging/s3" \
      --data-urlencode 'name=secops-s3-logs' \
      --data-urlencode 'bucket_name=fastly-cdn-logs' \
      --data-urlencode 'access_key=YOUR_AWS_ACCESS_KEY' \
      --data-urlencode 'secret_key=YOUR_AWS_SECRET_KEY' \
      --data-urlencode 'path=fastly-cdn/' \
      --data-urlencode 'period=3600' \
      --data-urlencode 'gzip_level=9' \
      --data-urlencode 'format_version=2' \
      --data-urlencode 'format={"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","response_status":%{resp.status}V,"cache_status":"%{fastly_info.state}V"}'
    
  4. 新しいバージョンを有効にします。

    curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \
      "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/activate"
    

S3 へのログ配信を確認する

  1. 最初のログファイルが確定するまで、約 1 時間(構成された期間に基づく)待ちます。
  2. AWS コンソールで、[S3] > [Buckets] に移動します。
  3. バケット名(fastly-cdn-logs など)をクリックします。
  4. fastly-cdn/ 接頭辞フォルダに移動します。
  5. 次のような命名パターンでログファイルが作成されていることを確認します。

    fastly-cdn/YYYY-MM-DD-HH-MM-SS-RANDOM_STRING.log.gz
    
  6. サンプル ログファイルをダウンロードし、JSON 形式が構成と一致していることを確認します。

Fastly CDN のログを取り込むように Google SecOps でフィードを構成する

  1. [設定] > [データ管理] > [フィード] に移動します。SIEM のみのプラットフォームを使用している場合は、[設定] > [フィード] に移動します。
  2. [Add New Feed] をクリックします。
  3. 次のページで、[単一のフィードを構成する] をクリックします。
  4. [Feed name] に一意の名前を入力します。
  5. [ソースタイプ] として [Amazon S3 V2] を選択します。
  6. [ログタイプ] として [Fastly CDN] を選択します。
  7. [次へ] をクリックしてから、[送信] をクリックします。
  8. 次のフィールドに値を指定します。

    • S3 URI: s3://fastly-cdn-logs/fastly-cdn/。
    • Source deletion option: 必要に応じて削除オプションを選択します。
    • ファイルの最長存続期間: 過去数日間に変更されたファイルを含めます(デフォルトは 180 日)。
    • アクセスキー ID: S3 バケットにアクセスできるユーザー アクセスキー。
    • シークレット アクセスキー: S3 バケットにアクセスできるユーザーのシークレット キー。
    • Asset namespace: アセットの名前空間。
    • Ingestion labels: このフィードのイベントに適用されるラベル。
  9. [次へ] をクリックしてから、[送信] をクリックします。

UDM マッピング テーブル

ログフィールド UDM マッピング ロジック
request_protocol, response_state, response_reason, response_body_size, fastly_server, fastly_is_edge additional.fields 空でない場合は、各フィールドから作成されたラベルと統合されます。
metadata.event_type 「GENERIC_EVENT」に設定し、principal_mid_present が true の場合は「STATUS_UPDATE」に設定します。
request_method network.http.method 値が直接コピーされる
request_user_agent network.http.parsed_user_agent parseduseragent に変換され、名前が変更されます。
request_referer network.http.referral_url 値が直接コピーされる
response_status network.http.response_code 文字列に変換してから整数に変換
request_user_agent network.http.user_agent 値が直接コピーされる
ホスト principal.asset.hostname 値が直接コピーされる
client_ip principal.asset.ip 値が直接コピーされる(IP としての grok 検証後)
ホスト principal.hostname 値が直接コピーされる
client_ip principal.ip 値が直接コピーされる(IP としての grok 検証後)
geo_city principal.location.city 値が直接コピーされる
geo_country principal.location.country_or_region 値が直接コピーされる
security_result security_result 値が直接コピーされる
URL target.url 値が直接コピーされる
metadata.product_name 「FASTLY_CDN」に設定します。
metadata.vendor_name 「FASTLY_CDN」に設定します。

変更ログ

このパーサーの変更ログを表示する

さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。