Splunk Attack Analyzer ログを収集する

以下でサポートされています。

このドキュメントでは、Google Cloud Storage V2 を使用して Splunk Attack Analyzer ログを Google Security Operations に取り込む方法について説明します。

Splunk Attack Analyzer（旧 TwinWave）は、行動分析を通じてフィッシングやマルウェアを検出する自動脅威分析プラットフォームです。完了したジョブの結果と正規化されたフォレンジック データは、REST API を介して提供されます。

始める前に

次の前提条件を満たしていることを確認してください。

  • Google SecOps インスタンス
  • Cloud Storage API が有効になっている GCP プロジェクト
  • GCS バケットを作成および管理する権限
  • GCS バケットの IAM ポリシーを管理する権限
  • Cloud Run サービス、Pub/Sub トピック、Cloud Scheduler ジョブを作成する権限
  • API キー生成権限を持つ Splunk Attack Analyzer への特権アクセス

Google Cloud Storage バケットを作成する

  1. Google Cloud コンソールに移動します。
  2. プロジェクトを選択するか、新しいプロジェクトを作成します。
  3. ナビゲーション メニューで、[Cloud Storage > バケット] に移動します。
  4. [バケットを作成] をクリックします。

  5. 次の構成情報を提供してください。

    設定 値
    バケットに名前を付ける グローバルに一意の名前を入力します（例: splunk-attack-analyzer-logs）。
    ロケーション タイプ ニーズに基づいて選択します（リージョン、デュアルリージョン、マルチリージョン）。
    ロケーション ロケーションを選択します（例: us-central1）。
    ストレージ クラス Standard（頻繁にアクセスされるログにおすすめ）
    アクセス制御 均一（推奨）
    保護ツール 省略可: オブジェクトのバージョニングまたは保持ポリシーを有効にする

  6. [作成] をクリックします。

Splunk Attack Analyzer API 認証情報を収集する

API キーを生成

  1. Splunk Attack Analyzer にログインします。
  2. 右上にあるユーザー名を選択し、[API キー] を選択します。
  3. [+ 新しい鍵] をクリックします。
  4. 鍵のわかりやすい名前（Google Security Operations Integration など）を入力します。
  5. [作成] をクリックします。

  6. モーダルに表示された API シークレットをコピーして、安全な場所に保存します。

権限を確認する

API キーに必要なアクセス権があることを確認するには:

  1. Splunk Attack Analyzer にログインします。
  2. 右上にあるユーザー名を選択し、[API キー] を選択します。

  3. API キーがリストに表示され、有効になっていることを確認します。

テスト API へのアクセス

  • 統合に進む前に、認証情報をテストします。

    # Replace with your actual API key
API_KEY="your-api-key"

# Test API access - list completed jobs
curl -v -H "Authorization: Bearer ${API_KEY}" \
  "https://app.twinwave.io/api/v1/jobs?done=true&limit=1"

Cloud Run functions のサービス アカウントを作成する

Cloud Run 関数には、GCS バケットに書き込み、Pub/Sub によって呼び出される権限を持つサービス アカウントが必要です。

サービス アカウントの作成

  1. GCP Console で、[IAM と管理>サービス アカウント] に移動します。
  2. [サービス アカウントを作成] をクリックします。
  3. 次の構成の詳細を入力します。
    • サービス アカウント名: 「saa-collector-sa」と入力します。
    • サービス アカウントの説明: 「Service account for Cloud Run function to collect Splunk Attack Analyzer logs」と入力します。
  4. [作成して続行] をクリックします。
  5. [このサービス アカウントにプロジェクトへのアクセスを許可する] セクションで、次のロールを追加します。
    1. [ロールを選択] をクリックします。
    2. [ストレージ オブジェクト管理者] を検索して選択します。
    3. [+ 別のロールを追加] をクリックします。
    4. [Cloud Run 起動元] を検索して選択します。
    5. [+ 別のロールを追加] をクリックします。
    6. [Cloud Functions 起動元] を検索して選択します。
  6. [続行] をクリックします。
  7. [完了] をクリックします。

これらのロールは、次の操作に必要です。

  • Storage オブジェクト管理者: ログを GCS バケットに書き込み、状態ファイルを管理する
  • Cloud Run 起動元: Pub/Sub が関数を呼び出すことを許可します
  • Cloud Functions 起動元: 関数の呼び出しを許可する

GCS バケットに対する IAM 権限を付与する

GCS バケットに対する書き込み権限をサービス アカウントに付与します。

  1. [Cloud Storage] > [バケット] に移動します。
  2. バケット名（splunk-attack-analyzer-logs など）をクリックします。
  3. [権限] タブに移動します。
  4. [アクセス権を付与] をクリックします。
  5. 次の構成の詳細を入力します。
    • プリンシパルを追加: サービス アカウントのメールアドレス（例: saa-collector-sa@your-project.iam.gserviceaccount.com）を入力します。
    • ロールを割り当てる: [ストレージ オブジェクト管理者] を選択します。
  6. [保存] をクリックします。

Pub/Sub トピックの作成

Cloud Scheduler がパブリッシュし、Cloud Run functions の関数がサブスクライブする Pub/Sub トピックを作成します。

  1. GCP Console で、[Pub/Sub> トピック] に移動します。
  2. [トピックを作成] をクリックします。
  3. 次の構成の詳細を入力します。
    • トピック ID: 「saa-trigger」と入力します。
    • その他の設定はデフォルトのままにします。
  4. [作成] をクリックします。

ログを収集する Cloud Run 関数を作成する

Cloud Run 関数は、Cloud Scheduler からの Pub/Sub メッセージによってトリガーされ、Splunk Attack Analyzer API からログを取得して GCS に書き込みます。

  1. GCP Console で、[Cloud Run] に移動します。
  2. [サービスを作成] をクリックします。
  3. [関数] を選択します（インライン エディタを使用して関数を作成します）。

  4. [構成] セクションで、次の構成の詳細を指定します。

    設定 値
    サービス名 saa-collector
    リージョン GCS バケットと一致するリージョンを選択します（例: us-central1）。
    ランタイム [Python 3.12] 以降を選択します。

  5. [トリガー（省略可）] セクションで、次の操作を行います。

    1. [+ トリガーを追加] をクリックします。
    2. [Cloud Pub/Sub] を選択します。
    3. [Cloud Pub/Sub トピックを選択してください] で、トピック saa-trigger を選択します。
    4. [保存] をクリックします。

  6. [認証] セクションで次の操作を行います。

    1. [認証が必要] を選択します。
    2. Identity and Access Management（IAM）を確認します。

  7. 下にスクロールして、[コンテナ、ネットワーキング、セキュリティ] を開きます。

  8. [セキュリティ] タブに移動します。

    • サービス アカウント: サービス アカウント saa-collector-sa を選択します。

  9. [コンテナ] タブに移動します。

    1. [変数とシークレット] をクリックします。
    2. 環境変数ごとに [+ 変数を追加] をクリックします。
    変数名 値の例 説明
    GCS_BUCKET splunk-attack-analyzer-logs GCS バケット名
    GCS_PREFIX saa ログファイルの接頭辞
    STATE_KEY saa/state.json 状態ファイルのパス
    API_KEY your-api-key Splunk Attack Analyzer API キー
    API_BASE https://app.twinwave.io API ベース URL
    MAX_RECORDS 5000 実行あたりの最大レコード数
    PAGE_SIZE 100 1 ページあたりのレコード数
    LOOKBACK_HOURS 24 最初のルックバック期間

  10. [変数とシークレット] タブで [リクエスト] まで下にスクロールします。

    • リクエストのタイムアウト: 600 秒（10 分）を入力します。

  11. [コンテナ] の [設定] タブに移動します。

    • [リソース] セクションで次の操作を行います。
      • メモリ: 512 MiB 以上を選択します。
      • CPU: [1] を選択します。

  12. [リビジョン スケーリング] セクションで、次の操作を行います。

    • [インスタンスの最小数] に「0」と入力します。
    • インスタンスの最大数: 100 と入力します（または、予想される負荷に基づいて調整します）。

  13. [作成] をクリックします。

  14. サービスが作成されるまで待ちます（1 ～ 2 分）。

  15. サービスが作成されると、インライン コードエディタが自動的に開きます。

関数コードを追加する

  1. [関数のエントリ ポイント] に「main」と入力します。

  2. インライン コードエディタで、次の 2 つのファイルを作成します。

    • 最初のファイル: main.py:

      import functions_framework
from google.cloud import storage
import json
import os
import urllib3
from datetime import datetime, timezone, timedelta
import time

# Initialize HTTP client with timeouts
http = urllib3.PoolManager(
  timeout=urllib3.Timeout(connect=5.0, read=30.0),
  retries=False,
)

# Initialize Storage client
storage_client = storage.Client()

# Environment variables
GCS_BUCKET = os.environ.get('GCS_BUCKET')
GCS_PREFIX = os.environ.get('GCS_PREFIX', 'saa')
STATE_KEY = os.environ.get('STATE_KEY', 'saa/state.json')
API_KEY = os.environ.get('API_KEY', '')
API_BASE = os.environ.get('API_BASE', 'https://app.twinwave.io').rstrip('/')
MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '5000'))
PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100'))
LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24'))

def parse_datetime(value: str) -> datetime:
  """Parse ISO datetime string to datetime object."""
  if value.endswith("Z"):
    value = value[:-1] + "+00:00"
  return datetime.fromisoformat(value)

@functions_framework.cloud_event
def main(cloud_event):
  """
  Cloud Run function triggered by Pub/Sub to fetch Splunk Attack Analyzer logs and write to GCS.

  Args:
    cloud_event: CloudEvent object containing Pub/Sub message
  """

  if not all([GCS_BUCKET, API_KEY]):
    print('Error: Missing required environment variables')
    return

  try:
    bucket = storage_client.bucket(GCS_BUCKET)

    # Load state
    state = load_state(bucket, STATE_KEY)

    # Determine time window
    now = datetime.now(timezone.utc)
    last_time = None

    if isinstance(state, dict) and state.get("last_event_time"):
      try:
        last_time = parse_datetime(state["last_event_time"])
        last_time = last_time - timedelta(minutes=2)
      except Exception as e:
        print(f"Warning: Could not parse last_event_time: {e}")

    if last_time is None:
      last_time = now - timedelta(hours=LOOKBACK_HOURS)

    print(f"Fetching jobs from {last_time.isoformat()} to {now.isoformat()}")

    # Fetch completed jobs
    jobs, newest_event_time = fetch_jobs(
      start_time=last_time,
      end_time=now,
      page_size=PAGE_SIZE,
      max_records=MAX_RECORDS,
    )

    if not jobs:
      print("No new completed jobs found.")
      save_state(bucket, STATE_KEY, now.isoformat())
      return

    # Fetch forensics for each job
    all_records = []
    for job in jobs:
      job_id = job.get('id', '')
      if not job_id:
        continue

      forensics = fetch_forensics(job_id)
      if forensics:
        # Combine job metadata with forensics
        record = {
          'job': job,
          'forensics': forensics
        }
        all_records.append(record)

    if not all_records:
      print("No forensics data retrieved.")
      save_state(bucket, STATE_KEY, now.isoformat())
      return

    # Write to GCS as NDJSON
    timestamp = now.strftime('%Y%m%d_%H%M%S')
    object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson"
    blob = bucket.blob(object_key)

    ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in all_records]) + '\n'
    blob.upload_from_string(ndjson, content_type='application/x-ndjson')

    print(f"Wrote {len(all_records)} records to gs://{GCS_BUCKET}/{object_key}")

    if newest_event_time:
      save_state(bucket, STATE_KEY, newest_event_time)
    else:
      save_state(bucket, STATE_KEY, now.isoformat())

    print(f"Successfully processed {len(all_records)} records")

  except Exception as e:
    print(f'Error processing logs: {str(e)}')
    raise

def load_state(bucket, key):
  """Load state from GCS."""
  try:
    blob = bucket.blob(key)
    if blob.exists():
      state_data = blob.download_as_text()
      return json.loads(state_data)
  except Exception as e:
    print(f"Warning: Could not load state: {e}")

  return {}

def save_state(bucket, key, last_event_time_iso: str):
  """Save the last event timestamp to GCS state file."""
  try:
    state = {'last_event_time': last_event_time_iso}
    blob = bucket.blob(key)
    blob.upload_from_string(
      json.dumps(state, indent=2),
      content_type='application/json'
    )
    print(f"Saved state: last_event_time={last_event_time_iso}")
  except Exception as e:
    print(f"Warning: Could not save state: {e}")

def fetch_jobs(start_time: datetime, end_time: datetime, page_size: int, max_records: int):
  """
  Fetch completed jobs from Splunk Attack Analyzer API with pagination and rate limiting.

  Args:
    start_time: Start time for job query
    end_time: End time for job query
    page_size: Number of records per page
    max_records: Maximum total records to fetch

  Returns:
    Tuple of (jobs list, newest_event_time ISO string)
  """
  endpoint = f"{API_BASE}/api/v1/jobs"

  headers = {
    'Authorization': f'Bearer {API_KEY}',
    'Accept': 'application/json',
    'User-Agent': 'GoogleSecOps-SAACollector/1.0'
  }

  records = []
  newest_time = None
  page_num = 0
  backoff = 1.0
  offset = 0

  while True:
    page_num += 1

    if len(records) >= max_records:
      print(f"Reached max_records limit ({max_records})")
      break

    current_limit = min(page_size, max_records - len(records))
    url = f"{endpoint}?done=true&limit={current_limit}&offset={offset}"

    try:
      response = http.request('GET', url, headers=headers)

      if response.status == 429:
        retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
        print(f"Rate limited (429). Retrying after {retry_after}s...")
        time.sleep(retry_after)
        backoff = min(backoff * 2, 30.0)
        continue

      backoff = 1.0

      if response.status != 200:
        print(f"HTTP Error: {response.status}")
        response_text = response.data.decode('utf-8')
        print(f"Response body: {response_text}")
        return [], None

      data = json.loads(response.data.decode('utf-8'))

      page_results = data.get('jobs', [])

      if not page_results:
        print(f"No more results (empty page)")
        break

      # Filter by time window
      filtered = []
      for job in page_results:
        created = job.get('created_at', '')
        if created:
          try:
            job_time = parse_datetime(created)
            if start_time <= job_time <= end_time:
              filtered.append(job)
              if newest_time is None or job_time > parse_datetime(newest_time):
                newest_time = created
          except Exception as e:
            print(f"Warning: Could not parse job time: {e}")
            filtered.append(job)

      print(f"Page {page_num}: Retrieved {len(page_results)} jobs, {len(filtered)} in time window")
      records.extend(filtered)

      if len(page_results) < page_size:
        print(f"Reached last page (size={len(page_results)} < limit={page_size})")
        break

      offset += len(page_results)

    except Exception as e:
      print(f"Error fetching jobs: {e}")
      return [], None

  print(f"Retrieved {len(records)} total jobs from {page_num} pages")
  return records, newest_time

def fetch_forensics(job_id: str):
  """
  Fetch normalized forensics for a specific job.

  Args:
    job_id: The job ID

  Returns:
    Forensics data dict or None
  """
  endpoint = f"{API_BASE}/api/v1/jobs/{job_id}/normalizedforensics"

  headers = {
    'Authorization': f'Bearer {API_KEY}',
    'Accept': 'application/json',
    'User-Agent': 'GoogleSecOps-SAACollector/1.0'
  }

  backoff = 1.0
  max_retries = 3

  for attempt in range(max_retries):
    try:
      response = http.request('GET', endpoint, headers=headers)

      if response.status == 429:
        retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
        print(f"Rate limited (429) on forensics for job {job_id}. Retrying after {retry_after}s...")
        time.sleep(retry_after)
        backoff = min(backoff * 2, 30.0)
        continue

      if response.status != 200:
        print(f"Warning: Could not fetch forensics for job {job_id}: HTTP {response.status}")
        return None

      return json.loads(response.data.decode('utf-8'))

    except Exception as e:
      print(f"Warning: Error fetching forensics for job {job_id}: {e}")
      if attempt < max_retries - 1:
        time.sleep(backoff)
        backoff = min(backoff * 2, 30.0)
        continue
      return None

  return None

    • 2 つ目のファイル: requirements.txt:

      functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

  3. [デプロイ] をクリックして、関数を保存してデプロイします。

  4. デプロイが完了するまで待ちます（2 ～ 3 分）。

Cloud Scheduler ジョブの作成

Cloud Scheduler は、定期的に Pub/Sub トピックにメッセージをパブリッシュし、Cloud Run functions の関数をトリガーします。

  1. GCP Console で、[Cloud Scheduler] に移動します。
  2. [ジョブを作成] をクリックします。

  3. 次の構成情報を提供してください。

    設定 値
    名前 saa-collector-hourly
    リージョン Cloud Run functions と同じリージョンを選択する
    周波数 0 * * * *（1 時間ごとに正時）
    タイムゾーン タイムゾーンを選択します（UTC を推奨）
    ターゲット タイプ Pub/Sub
    トピック トピック saa-trigger を選択します。
    メッセージ本文 {}（空の JSON オブジェクト）

  4. [作成] をクリックします。

スケジュールの頻度のオプション

ログの量とレイテンシの要件に基づいて頻度を選択します。

頻度 CRON 式 ユースケース
5 分おき */5 * * * * 大容量、低レイテンシ
15 分ごと */15 * * * * 検索ボリュームが普通
1 時間ごと 0 * * * * 標準（推奨）
6 時間ごと 0 */6 * * * 少量、バッチ処理
毎日 0 0 * * * 過去のデータの収集

統合をテストする

  1. Cloud Scheduler コンソールで、ジョブ（saa-collector-hourly）を見つけます。
  2. [強制実行] をクリックして手動でトリガーします。
  3. 数秒待ってから、[Cloud Run> サービス> saa-collector > ログ] に移動します。

  4. 関数が正常に実行されたことを確認します。以下のものを探します。

    Fetching jobs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00
Page 1: Retrieved X jobs, Y in time window
Wrote Z records to gs://splunk-attack-analyzer-logs/saa/logs_YYYYMMDD_HHMMSS.ndjson
Successfully processed Z records

  5. GCS バケット（splunk-attack-analyzer-logs）をチェックして、ログが書き込まれたことを確認します。

ログにエラーが表示された場合:

  • HTTP 401: 環境変数で API キーを確認する
  • HTTP 403: API キーに必要な権限があることを確認する
  • HTTP 429: レート制限 - 関数はバックオフで自動的に再試行されます
  • 環境変数が不足している: 必要な変数がすべて設定されていることを確認します

Splunk Attack Analyzer のログを取り込むように Google SecOps でフィードを構成する

  1. [SIEM 設定] > [フィード] に移動します。
  2. [Add New Feed] をクリックします。
  3. [単一フィードを設定] をクリックします。
  4. [フィード名] フィールドに、フィードの名前を入力します（例: Splunk Attack Analyzer Logs）。
  5. [ソースタイプ] として [Google Cloud Storage V2] を選択します。
  6. [ログタイプ] として [Splunk Attack Analyzer] を選択します。

  7. [サービス アカウントを取得する] をクリックします。一意のサービス アカウントのメールアドレスが表示されます（例:）。

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com

  8. このメールアドレスをコピーします。次のステップでこれを使用します。

  9. [次へ] をクリックします。

  10. 次の入力パラメータの値を指定します。

    • ストレージ バケットの URL: 接頭辞パスを含む GCS バケット URI を入力します。

      gs://splunk-attack-analyzer-logs/saa/
      • 次のように置き換えます。
        • splunk-attack-analyzer-logs: GCS バケット名。
        • saa: ログが保存されるオプションの接頭辞/フォルダパス（ルートの場合は空のままにします）。

    • Source deletion option: 必要に応じて削除オプションを選択します。

      • なし: 転送後にファイルを削除しません（テストにおすすめ）。
      • 転送されたファイルを削除する: 転送が完了した後にファイルを削除します。

      • 転送されたファイルと空のディレクトリを削除する: 転送が完了した後にファイルと空のディレクトリを削除します。

    • ファイルの最大経過日数: 指定した日数以内に変更されたファイルを含めます（デフォルトは 180 日）。

    • アセットの名前空間: アセットの名前空間。

    • Ingestion labels: このフィードのイベントに適用されるラベル。

  11. [次へ] をクリックします。

  12. [Finalize] 画面で新しいフィードの設定を確認し、[送信] をクリックします。

Google SecOps サービス アカウントに IAM 権限を付与する

Google SecOps サービス アカウントには、GCS バケットに対する Storage オブジェクト閲覧者ロールが必要です。

  1. [Cloud Storage] > [バケット] に移動します。
  2. バケット名（splunk-attack-analyzer-logs）をクリックします。
  3. [権限] タブに移動します。
  4. [アクセス権を付与] をクリックします。
  5. 次の構成の詳細を入力します。
    • プリンシパルを追加: Google SecOps サービス アカウントのメールアドレスを貼り付けます。
    • ロールを割り当てる: [Storage オブジェクト閲覧者] を選択します。

  6. [保存] をクリックします。

UDM マッピング テーブル

ログフィールド UDM マッピング ロジック
when metadata.event_timestamp イベントの発生時間
deviceName principal.hostname プリンシパルのホスト名
messageid metadata.id イベントの固有識別子
アクション security_result.action セキュリティ プロダクトによって実行されたアクション
プロトコル network.ip_protocol IP プロトコル
srcAddr principal.ip プリンシパルの IP アドレス
srcPort principal.port プリンシパルのポート番号
dstAddr target.ip ターゲットの IP アドレス
dstPort target.port ターゲットのポート番号
metadata.event_type イベントのタイプ
metadata.product_name 商品名
metadata.vendor_name ベンダー/会社名

さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。