Fastly CDN のログを収集する
パーサーのバージョン: 2.0
このドキュメントでは、Amazon S3 を使用して Fastly CDN ログを Google Security Operations に取り込む方法について説明します。
Fastly は、リアルタイムのコンテンツ配信、セキュリティ、エッジ コンピューティング サービスを提供するコンテンツ配信ネットワーク(CDN)およびエッジ クラウド プラットフォームです。Fastly のリアルタイム ログ ストリーミング機能は、CDN アクセスログ、WAF イベント、その他のテレメトリー データを、セキュリティ モニタリングと分析のために Amazon S3 などのさまざまな宛先に送信できます。
始める前に
次の前提条件を満たしていることを確認します。
- Google SecOps インスタンス
- Fastly コントロール パネルまたは API への特権アクセス
- AWS(S3、IAM)への特権アクセス
globalまたはglobal:readスコープを持つ Fastly API トークン
Fastly API トークンを作成する
- https://manage.fastly.com で Fastly コントロール パネルにログインします。
- 右上にあるユーザー アイコンをクリックします。
- [アカウント] > [個人用 API トークン] に移動します。
- [トークンの作成] をクリックします。
- [Create API Token] ダイアログで、次の情報を入力します。
- [名前]: わかりやすい名前を入力します(例:
Google SecOps S3 Logging Configuration)。 - Type: [User token] を選択します。
- スコープ: [グローバル アクセス] を選択します(ロギング エンドポイントの構成に必要)。
- 有効期限: [無期限] を選択するか、適切な有効期限を設定します。
- [名前]: わかりやすい名前を入力します(例:
- [トークンの作成] をクリックします。
- API トークンをコピーして安全に保存します。
Google SecOps 用に AWS S3 バケットと IAM を構成する
- バケットの作成のユーザーガイドに沿って、Amazon S3 バケットを作成します。
- バケットの名前とリージョンを保存して、後で参照できるようにします(例:
fastly-cdn-logs)。 - IAM ユーザーの作成のユーザーガイドに沿って、ユーザーを作成します。
- 作成したユーザーを選択します。
- [セキュリティ認証情報] タブを選択します。
- [Access Keys] セクションで [Create Access Key] をクリックします。
- [ユースケース] として [サードパーティのサービス] を選択します。
- [次へ] をクリックします。
- 省略可: 説明タグを追加します。
- [アクセスキーを作成] をクリックします。
- [.csv ファイルをダウンロード] をクリックし、[アクセスキー] と [シークレット アクセスキー] を保存して、今後の参照に備えます。
- [完了] をクリックします。
- [権限] タブを選択します。
- [権限ポリシー] セクションで [権限を追加] をクリックします。
- [権限を追加] を選択します。
- [ポリシーを直接アタッチする] を選択します。
- AmazonS3FullAccess ポリシーを検索します。
- ポリシーを選択します。
- [次へ] をクリックします。
- [権限を追加] をクリックします。
Fastly S3 ロギング エンドポイントを構成する
オプション A: Fastly コントロール パネルで構成する
- https://manage.fastly.com で Fastly コントロール パネルにログインします。
- ロギングを構成するサービスを選択します。
- [Edit configuration] をクリックし、[Clone active version] を選択して、新しいドラフト バージョンを作成します。
- 左側のナビゲーション メニューで [ロギング] をクリックします。
- [Amazon Web Services S3] セクションで、[エンドポイントを作成] をクリックします。
[Amazon S3 エンドポイントを作成する] フォームで、次の構成の詳細を指定します。
基本設定:
- [名前]: わかりやすい名前を入力します(例:
secops-s3-logs)。 - プレースメント: [フォーマット バージョンのデフォルト](推奨)を選択します。
ログ形式: 次の JSON 形式の文字列を入力します。
{"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","geo_region":"%{client.geo.region}V","datacenter":"%{server.datacenter}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","request_protocol":"%{json.escape(req.proto)}V","request_referer":"%{json.escape(req.http.referer)}V","request_user_agent":"%{json.escape(req.http.User-Agent)}V","response_state":"%{json.escape(fastly_info.state)}V","response_status":%{resp.status}V,"response_reason":%{if(resp.response, "\"%22\"+json.escape(resp.response)+\"%22\", \"null\")}V,"response_body_size":%{resp.body_bytes_written}V,"response_header_size":%{resp.header_bytes_written}V,"request_body_size":%{req.body_bytes_read}V,"request_header_size":%{req.header_bytes_read}V,"cache_status":"%{fastly_info.state}V","is_tls":"%{if(req.is_ssl, \"true\", \"false\")}V","tls_protocol":"%{cstr_escape(tls.client.protocol)}V","tls_cipher":"%{cstr_escape(tls.client.cipher)}V","server_identity":"%{json.escape(server.identity)}V","is_edge":%{if(fastly.ff.visits_this_service == 0, "true", "false")}V,"time_elapsed_usec":%{time.elapsed.usec}V,"time_start_sec":%{time.start.sec}V}
- タイムスタンプ形式: デフォルト(strftime 互換文字列)のままにします。
- [名前]: わかりやすい名前を入力します(例:
S3 バケットの構成:
- バケット名: S3 バケット名を入力します(例:
fastly-cdn-logs)。 - ドメイン: バケットが米国標準リージョンにある場合は、空白のままにします。他のリージョンの場合は、適切な S3 エンドポイントを入力します(例: us-west-2 リージョンの場合は
s3-us-west-2.amazonaws.com)。 - アクセス方法: [ユーザー認証情報] を選択します。
- アクセスキー: 手順 11 の AWS アクセスキーを入力します。
- シークレット キー: 手順 11 の AWS シークレット アクセスキーを入力します。
- 期間:
3600を入力します(ログは 1 時間ごとに確定されます)。
[詳細オプション] をクリックして、追加の設定を開きます。
詳細設定:
- パス:
fastly-cdn/を入力します(バケット内のログを整理するためのオプションの接頭辞)。 - PGP 公開鍵: 空白のままにします(この統合では暗号化は必要ありません)。
- ログ行の形式を選択する: [空白] を選択します(カスタム JSON 形式を使用します)。
- 圧縮: [gzip] を選択します(ストレージ費用を削減するため、推奨)。
- 冗長性レベル: [標準] を選択します。
- ACL: [private](推奨)を選択します。
- サーバーサイドの暗号化: [なし] を選択します(または、セキュリティ要件に従って構成します)。
- 最大バイト数: 「
0」と入力します(ファイルサイズの上限はありません)。
- パス:
[作成] をクリックして、ロギング エンドポイントを作成します。
右上にある [有効にする] をクリックします。
[Activate on Production] を選択して、構成の変更をデプロイします。
確認ダイアログで [有効にする] をクリックして確定します。
オプション B: Fastly API を介して構成する
API を使用してロギングを構成する場合は、次の方法を使用します。
コントロール パネルから、またはサービスを一覧表示して、Fastly サービス ID を取得します。
curl -H "Fastly-Key: YOUR_FASTLY_TOKEN" https://api.fastly.com/service有効なバージョンをクローンして、新しいドラフト バージョンを作成します。
curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \ "https://api.fastly.com/service/SERVICE_ID/version/ACTIVE_VERSION/clone"新しいドラフト バージョンに S3 ロギング エンドポイントを作成します。
curl -X POST -H "Fastly-Key: YOUR_FASTLY_TOKEN" \ -H "Content-Type: application/x-www-form-urlencoded" \ "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/logging/s3" \ --data-urlencode 'name=secops-s3-logs' \ --data-urlencode 'bucket_name=fastly-cdn-logs' \ --data-urlencode 'access_key=YOUR_AWS_ACCESS_KEY' \ --data-urlencode 'secret_key=YOUR_AWS_SECRET_KEY' \ --data-urlencode 'path=fastly-cdn/' \ --data-urlencode 'period=3600' \ --data-urlencode 'gzip_level=9' \ --data-urlencode 'format_version=2' \ --data-urlencode 'format={"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","response_status":%{resp.status}V,"cache_status":"%{fastly_info.state}V"}'新しいバージョンを有効にします。
curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \ "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/activate"
S3 へのログ配信を確認する
- 最初のログファイルが確定するまで、約 1 時間(構成された期間に基づく)待ちます。
- AWS コンソールで、[S3] > [Buckets] に移動します。
- バケット名(
fastly-cdn-logsなど)をクリックします。 fastly-cdn/接頭辞フォルダに移動します。次のような命名パターンでログファイルが作成されていることを確認します。
fastly-cdn/YYYY-MM-DD-HH-MM-SS-RANDOM_STRING.log.gzサンプル ログファイルをダウンロードし、JSON 形式が構成と一致していることを確認します。
Fastly CDN のログを取り込むように Google SecOps でフィードを構成する
- [設定] > [データ管理] > [フィード] に移動します。SIEM のみのプラットフォームを使用している場合は、[設定] > [フィード] に移動します。
- [Add New Feed] をクリックします。
- 次のページで、[単一のフィードを構成する] をクリックします。
- [Feed name] に一意の名前を入力します。
- [ソースタイプ] として [Amazon S3 V2] を選択します。
- [ログタイプ] として [Fastly CDN] を選択します。
- [次へ] をクリックしてから、[送信] をクリックします。
次のフィールドに値を指定します。
- S3 URI:
s3://fastly-cdn-logs/fastly-cdn/。 - Source deletion option: 必要に応じて削除オプションを選択します。
- ファイルの最長存続期間: 過去数日間に変更されたファイルを含めます(デフォルトは 180 日)。
- アクセスキー ID: S3 バケットにアクセスできるユーザー アクセスキー。
- シークレット アクセスキー: S3 バケットにアクセスできるユーザーのシークレット キー。
- Asset namespace: アセットの名前空間。
- Ingestion labels: このフィードのイベントに適用されるラベル。
- S3 URI:
[次へ] をクリックしてから、[送信] をクリックします。
UDM マッピング テーブル
| ログフィールド | UDM マッピング | ロジック |
|---|---|---|
| request_protocol, response_state, response_reason, response_body_size, fastly_server, fastly_is_edge | additional.fields | 空でない場合は、各フィールドから作成されたラベルと統合されます。 |
| metadata.event_type | 「GENERIC_EVENT」に設定し、principal_mid_present が true の場合は「STATUS_UPDATE」に設定します。 | |
| request_method | network.http.method | 値が直接コピーされる |
| request_user_agent | network.http.parsed_user_agent | parseduseragent に変換され、名前が変更されます。 |
| request_referer | network.http.referral_url | 値が直接コピーされる |
| response_status | network.http.response_code | 文字列に変換してから整数に変換 |
| request_user_agent | network.http.user_agent | 値が直接コピーされる |
| ホスト | principal.asset.hostname | 値が直接コピーされる |
| client_ip | principal.asset.ip | 値が直接コピーされる(IP としての grok 検証後) |
| ホスト | principal.hostname | 値が直接コピーされる |
| client_ip | principal.ip | 値が直接コピーされる(IP としての grok 検証後) |
| geo_city | principal.location.city | 値が直接コピーされる |
| geo_country | principal.location.country_or_region | 値が直接コピーされる |
| security_result | security_result | 値が直接コピーされる |
| URL | target.url | 値が直接コピーされる |
| metadata.product_name | 「FASTLY_CDN」に設定します。 | |
| metadata.vendor_name | 「FASTLY_CDN」に設定します。 |
変更ログ
さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。