Snyk グループレベルの監査ログを収集する

以下でサポートされています。

Google SecOps SIEM

このドキュメントでは、Google Cloud Storage を使用して Snyk グループレベルの監査ログを Google Security Operations に取り込む方法について説明します。パーサーは、まず未加工のログから不要なフィールドをクリーンアップします。次に、ユーザーの詳細、イベントタイプ、タイムスタンプなどの関連情報を抽出し、標準化されたセキュリティログ表現のために、Google SecOps UDM スキーマに変換してマッピングします。

始める前に

次の前提条件を満たしていることを確認します。

Google SecOps インスタンス
Cloud Storage API が有効になっている GCP プロジェクト
GCS バケットを作成および管理する権限
GCS バケットの IAM ポリシーを管理する権限
Cloud Run サービス、Pub/Sub トピック、Cloud Scheduler ジョブを作成する権限
Snyk への特権アクセス（グループ管理者）と、グループへのアクセス権を持つ API トークン
Snyk Enterprise プラン（監査ログエンドポイントは Enterprise プランでのみ利用可能）

Snyk グループレベルの監査ログの前提条件（ID、API キー、組織 ID、トークン）を収集する

Snyk で、アバター > [Account settings] > [API token] をクリックします。
[取り消して再生成]（または [生成]）をクリックして、トークンをコピーします。
このトークンを SNYK_API_TOKEN 環境変数として保存します。
Snyk で、グループに切り替えます（左上の切り替え）。
[グループ設定] に移動します。
URL から <GROUP_ID> をコピーします（https://app.snyk.io/group/<GROUP_ID>/settings）。
- または、REST API GET https://api.snyk.io/rest/groups?version=2024-01-04 を使用して id を選択します。
トークンユーザーに [監査ログの表示]（group.audit.read）権限があることを確認します。

権限を確認する

アカウントに必要な権限があることを確認するには:

Snyk にログインします。
グループに切り替えます（左上の切り替え）。
[グループ設定] に移動します。
左側のナビゲーションに [監査ログ] オプションが表示されている場合は、必要な権限があります。
このオプションが表示されない場合は、管理者に連絡して、監査ログの表示（group.audit.read）権限を付与してもらってください。

注: 監査ログエンドポイントには Snyk Enterprise プランが必要です。構成が正しいにもかかわらず API 呼び出しが 403 エラーで失敗する場合は、サブスクリプションレベルを確認してください。

テスト API アクセス

統合に進む前に、認証情報をテストします。

# Replace with your actual credentials
SNYK_API_TOKEN="your-token-here"
SNYK_GROUP_ID="your-group-id-here"
SNYK_API_VERSION="2024-01-04"

# Test API access
curl -v -H "Authorization: token ${SNYK_API_TOKEN}" \
  "https://api.snyk.io/rest/groups/${SNYK_GROUP_ID}/audit_logs/search?version=${SNYK_API_VERSION}&size=10"

Google Cloud Storage バケットを作成する

Google Cloud Console に移動します。
プロジェクトを選択するか、新しいプロジェクトを作成します。
ナビゲーションメニューで、[Cloud Storage > バケット] に移動します。
[バケットを作成] をクリックします。

次の構成情報を提供してください。

設定	値
バケットに名前を付ける	グローバルに一意の名前（`snyk-audit` など）を入力します。
ロケーションタイプ	ニーズに基づいて選択します（リージョン、デュアルリージョン、マルチリージョン）。
ロケーション	ロケーションを選択します（例: `us-central1`）。
ストレージクラス	Standard（頻繁にアクセスされるログにおすすめ）
アクセス制御	均一（推奨）
保護ツール	省略可: オブジェクトのバージョニングまたは保持ポリシーを有効にする

[作成] をクリックします。

Cloud Run functions のサービスアカウントを作成する

Cloud Run 関数には、GCS バケットに書き込み、Pub/Sub によって呼び出される権限を持つサービスアカウントが必要です。

サービスアカウントの作成

GCP Console で、[IAM と管理>サービスアカウント] に移動します。
[サービスアカウントを作成] をクリックします。
次の構成の詳細を指定します。
- サービスアカウント名: 「snyk-audit-collector-sa」と入力します。
- サービスアカウントの説明: 「Service account for Cloud Run function to collect Snyk group-level audit logs」と入力します。
[作成して続行] をクリックします。
[このサービスアカウントにプロジェクトへのアクセスを許可する] セクションで、次のロールを追加します。
1. [ロールを選択] をクリックします。
2. [ストレージオブジェクト管理者] を検索して選択します。
3. [+ 別のロールを追加] をクリックします。
4. [Cloud Run 起動元] を検索して選択します。
5. [+ 別のロールを追加] をクリックします。
6. [Cloud Functions 起動元] を検索して選択します。
[続行] をクリックします。
[完了] をクリックします。

これらのロールは、次の目的で必要です。

Storage オブジェクト管理者: ログを GCS バケットに書き込み、状態ファイルを管理する
Cloud Run 起動元: Pub/Sub が関数を呼び出すことを許可する
Cloud Functions 起動元: 関数の呼び出しを許可する

GCS バケットに対する IAM 権限を付与する

GCS バケットに対する書き込み権限をサービスアカウントに付与します。

[Cloud Storage] > [バケット] に移動します。
バケット名（snyk-audit など）をクリックします。
[権限] タブに移動します。
[アクセス権を付与] をクリックします。
次の構成の詳細を指定します。
- プリンシパルを追加: サービスアカウントのメールアドレス（例: snyk-audit-collector-sa@PROJECT_ID.iam.gserviceaccount.com）を入力します。
- ロールを割り当てる: [Storage オブジェクト管理者] を選択します。
[保存] をクリックします。

Pub/Sub トピックの作成

Cloud Scheduler がパブリッシュし、Cloud Run functions がサブスクライブする Pub/Sub トピックを作成します。

GCP Console で、[Pub/Sub> トピック] に移動します。
[トピックを作成] をクリックします。
次の構成の詳細を指定します。
- トピック ID: 「snyk-audit-trigger」と入力します。
- その他の設定はデフォルトのままにします。
[作成] をクリックします。

ログを収集する Cloud Run 関数を作成する

Cloud Run 関数は、Cloud Scheduler からの Pub/Sub メッセージによってトリガーされ、Snyk API からログを取得して GCS に書き込みます。

GCP Console で、[Cloud Run] に移動します。
[サービスを作成] をクリックします。
[関数] を選択します（インラインエディタを使用して関数を作成します）。

[構成] セクションで、次の構成の詳細を指定します。

設定	値
サービス名	`snyk-audit-collector`
リージョン	GCS バケットと一致するリージョンを選択します（例: `us-central1`）。
ランタイム	[Python 3.12] 以降を選択します。

[トリガー（省略可）] セクションで、次の操作を行います。
1. [+ トリガーを追加] をクリックします。
2. [Cloud Pub/Sub] を選択します。
3. [Cloud Pub/Sub トピックを選択してください] で、Pub/Sub トピック（snyk-audit-trigger）を選択します。
4. [保存] をクリックします。
[認証] セクションで、次の操作を行います。
1. [認証が必要] を選択します。
2. Identity and Access Management（IAM）を確認します。
注: Pub/Sub は、関数を呼び出すときに認証を自動的に処理します。
下にスクロールして、[コンテナ、ネットワーキング、セキュリティ] を開きます。
[セキュリティ] タブに移動します。
- サービスアカウント: サービスアカウントを選択します（snyk-audit-collector-sa）。

[コンテナ] タブに移動します。

[変数とシークレット] をクリックします。
環境変数ごとに [+ 変数を追加] をクリックします。

変数名	値の例
`GCS_BUCKET`	`snyk-audit`
`GCS_PREFIX`	`snyk/audit/`
`STATE_KEY`	`snyk/audit/state.json`
`SNYK_GROUP_ID`	`<your_group_id>`
`SNYK_API_TOKEN`	`xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx`
`SNYK_API_BASE`	`https://api.snyk.io`（任意）
`SNYK_API_VERSION`	`2024-01-04`
`SIZE`	`100`
`MAX_PAGES`	`20`
`LOOKBACK_SECONDS`	`3600`
`EVENTS`	（省略可）`group.create,org.user.add`
`EXCLUDE_EVENTS`	（省略可）`api.access`

[変数とシークレット] セクションで、[リクエスト] まで下にスクロールします。
- リクエストのタイムアウト: 600 秒（10 分）を入力します。
[設定] タブに移動します。
- [リソース] セクションで次の操作を行います。
  - メモリ: 512 MiB 以上を選択します。
  - CPU: [1] を選択します。
[リビジョンスケーリング] セクションで、次の操作を行います。
- [インスタンスの最小数] に「0」と入力します。
- インスタンスの最大数: 100 と入力します（または、予想される負荷に基づいて調整します）。
[作成] をクリックします。
サービスが作成されるまで待ちます（1 ～ 2 分）。
サービスを作成すると、インラインコードエディタが自動的に開きます。

関数コードを追加する

[関数のエントリポイント] に「main」と入力します。

インラインコードエディタで、次の 2 つのファイルを作成します。

最初のファイル: main.py:

import functions_framework
from google.cloud import storage
import json
import os
import urllib3
from datetime import datetime, timezone
import time
import urllib.parse

# Initialize HTTP client
http = urllib3.PoolManager()

# Initialize Storage client
storage_client = storage.Client()

@functions_framework.cloud_event
def main(cloud_event):
    """
    Cloud Run function triggered by Pub/Sub to fetch Snyk group-level audit logs and write to GCS.

    Args:
        cloud_event: CloudEvent object containing Pub/Sub message
    """

    # Get environment variables
    bucket_name = os.environ.get('GCS_BUCKET')
    prefix = os.environ.get('GCS_PREFIX', 'snyk/audit/')
    state_key = os.environ.get('STATE_KEY', 'snyk/audit/state.json')

    # Snyk API configuration
    api_base = os.environ.get('SNYK_API_BASE', 'https://api.snyk.io').rstrip('/')
    group_id = os.environ.get('SNYK_GROUP_ID', '').strip()
    api_token = os.environ.get('SNYK_API_TOKEN', '').strip()
    api_version = os.environ.get('SNYK_API_VERSION', '2024-01-04').strip()

    size = int(os.environ.get('SIZE', '100'))
    max_pages = int(os.environ.get('MAX_PAGES', '20'))
    lookback_seconds = int(os.environ.get('LOOKBACK_SECONDS', '3600'))

    events_csv = os.environ.get('EVENTS', '').strip()
    exclude_events_csv = os.environ.get('EXCLUDE_EVENTS', '').strip()

    if not all([bucket_name, group_id, api_token]):
        print('Error: Missing required environment variables')
        return

    try:
        # Get GCS bucket
        bucket = storage_client.bucket(bucket_name)

        # Load state (last cursor)
        state = load_state(bucket, state_key)
        cursor = state.get('cursor')

        print(f'Starting log collection with cursor: {cursor}')

        # Prepare headers for Snyk REST API
        headers = {
            'Authorization': f'token {api_token}',
            'Accept': 'application/vnd.api+json'
        }

        pages = 0
        total = 0
        last_cursor = cursor

        # Only for the very first run (no saved cursor), constrain the time window
        first_run_from_iso = None
        if not cursor and lookback_seconds > 0:
            first_run_from_iso = time.strftime(
                '%Y-%m-%dT%H:%M:%SZ',
                time.gmtime(time.time() - lookback_seconds)
            )

        while pages < max_pages:
            payload = fetch_page(
                api_base, group_id, headers, api_version, size,
                cursor, first_run_from_iso, events_csv, exclude_events_csv
            )

            # Write payload to GCS
            write_to_gcs(bucket, prefix, payload)

            # Extract items count
            data_obj = payload.get('data') or {}
            items = data_obj.get('items') or []
            if isinstance(items, list):
                total += len(items)

            # Parse next cursor
            cursor = parse_next_cursor_from_links(payload.get('links'))
            pages += 1

            if not cursor:
                break

            # After first page, disable from-filter
            first_run_from_iso = None

        # Save state
        if cursor and cursor != last_cursor:
            save_state(bucket, state_key, {'cursor': cursor})

        print(f'Successfully processed {total} events across {pages} pages. Next cursor: {cursor}')

    except Exception as e:
        print(f'Error processing logs: {str(e)}')
        raise

def load_state(bucket, key):
    """Load state from GCS."""
    try:
        blob = bucket.blob(key)
        if blob.exists():
            state_data = blob.download_as_text()
            return json.loads(state_data)
    except Exception as e:
        print(f'Warning: Could not load state: {str(e)}')
    return {}

def save_state(bucket, key, state):
    """Save state to GCS."""
    try:
        blob = bucket.blob(key)
        blob.upload_from_string(
            json.dumps(state),
            content_type='application/json'
        )
    except Exception as e:
        print(f'Warning: Could not save state: {str(e)}')

def write_to_gcs(bucket, prefix, payload):
    """Write payload to GCS."""
    ts = time.strftime('%Y/%m/%d/%H%M%S', time.gmtime())
    key = f"{prefix.rstrip('/')}/{ts}-snyk-group-audit.json"
    blob = bucket.blob(key)
    blob.upload_from_string(
        json.dumps(payload, separators=(',', ':')),
        content_type='application/json'
    )
    print(f'Wrote payload to {key}')

def parse_next_cursor_from_links(links):
    """Parse next cursor from links object."""
    if not links:
        return None
    nxt = links.get('next')
    if not nxt:
        return None
    try:
        q = urllib.parse.urlparse(nxt).query
        params = urllib.parse.parse_qs(q)
        cur = params.get('cursor')
        return cur[0] if cur else None
    except Exception:
        return None

def as_list(csv_str):
    """Convert comma-separated string to list."""
    return [x.strip() for x in csv_str.split(',') if x.strip()]

def fetch_page(api_base, group_id, headers, api_version, size, cursor, first_run_from_iso, events_csv, exclude_events_csv):
    """Fetch a single page from Snyk audit logs API."""
    base_path = f'/rest/groups/{group_id}/audit_logs/search'
    params = {
        'version': api_version,
        'size': size,
    }

    if cursor:
        params['cursor'] = cursor
    elif first_run_from_iso:
        params['from'] = first_run_from_iso

    events = as_list(events_csv)
    exclude_events = as_list(exclude_events_csv)

    if events and exclude_events:
        exclude_events = []

    if events:
        params['events'] = events
    if exclude_events:
        params['exclude_events'] = exclude_events

    url = f"{api_base}{base_path}?{urllib.parse.urlencode(params, doseq=True)}"

    response = http.request('GET', url, headers=headers, timeout=60.0)

    if response.status == 429 or response.status >= 500:
        retry_after = int(response.headers.get('Retry-After', '1'))
        time.sleep(max(1, retry_after))
        response = http.request('GET', url, headers=headers, timeout=60.0)

    if response.status != 200:
        raise Exception(f'API request failed with status {response.status}: {response.data.decode("utf-8")}')

    return json.loads(response.data.decode('utf-8'))

2 つ目のファイル: requirements.txt:

functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

[デプロイ] をクリックして、関数を保存してデプロイします。
デプロイが完了するまで待ちます（2 ～ 3 分）。

注: Pub/Sub トリガー構成では、必要なサブスクリプションと権限が自動的に作成されます。

Cloud Scheduler ジョブの作成

Cloud Scheduler は、定期的に Pub/Sub トピックにメッセージをパブリッシュし、Cloud Run functions の関数をトリガーします。

GCP Console で、[Cloud Scheduler] に移動します。
[ジョブを作成] をクリックします。

次の構成情報を提供してください。

設定	値
名前	`snyk-audit-collector-hourly`
リージョン	Cloud Run functions と同じリージョンを選択する
周波数	`0 * * * *`（1 時間ごとに正時）
タイムゾーン	タイムゾーンを選択します（UTC を推奨）。
ターゲットタイプ	Pub/Sub
トピック	Pub/Sub トピック（`snyk-audit-trigger`）を選択する
メッセージ本文	`{}`

[作成] をクリックします。

スケジュールの頻度のオプション

ログの量とレイテンシの要件に基づいて頻度を選択します。

頻度	CRON 式	ユースケース
5 分毎	`/5 * * *`	大容量、低レイテンシ
15 分ごと	`/15 * * *`	検索量が普通
1 時間ごと	`0 * * * *`	標準（推奨）
6 時間ごと	`0 /6 * *`	少量、バッチ処理
毎日	`0 0 * * *`	履歴データの収集

統合をテストする

Cloud Scheduler コンソールで、ジョブ（snyk-audit-collector-hourly）を見つけます。
[強制実行] をクリックして、ジョブを手動でトリガーします。
数秒待ちます。
Cloud Run > サービスに移動します。
関数名（snyk-audit-collector）をクリックします。
[Logs] タブをクリックします。

関数が正常に実行されたことを確認します。次の内容を確認します。

Starting log collection with cursor: None
Page 1: Retrieved X events
Wrote payload to snyk/audit/YYYY/MM/DD/HHMMSS-snyk-group-audit.json
Successfully processed X events across Y pages. Next cursor: ...

[Cloud Storage] > [バケット] に移動します。
バケット名（snyk-audit など）をクリックします。
プレフィックスフォルダ（snyk/audit/）に移動します。
現在のタイムスタンプで新しい .json ファイルが作成されたことを確認します。

ログにエラーが表示された場合:

HTTP 401: 環境変数の SNYK_API_TOKEN を確認する
HTTP 403: トークンユーザーに group.audit.read 権限があり、Snyk サブスクリプションが Enterprise プランであることを確認します。
HTTP 429: レート制限 - 関数はバックオフで自動的に再試行されます
環境変数が不足している: 必要な変数（GCS_BUCKET、SNYK_GROUP_ID、SNYK_API_TOKEN）がすべて設定されていることを確認します。

Google SecOps サービスアカウントを取得する

Google SecOps は、一意のサービスアカウントを使用して GCS バケットからデータを読み取ります。このサービスアカウントにバケットへのアクセス権を付与する必要があります。

サービスアカウントのメールアドレスを取得する

[SIEM 設定] > [フィード] に移動します。
[Add New Feed] をクリックします。
[単一フィードを設定] をクリックします。
[フィード名] フィールドに、フィードの名前を入力します（例: Snyk Group Audit Logs）。
[ソースタイプ] として [Google Cloud Storage V2] を選択します。
[ログタイプ] として [Snyk Group level audit Logs] を選択します。
[サービスアカウントを取得する] をクリックします。一意のサービスアカウントメールアドレスが表示されます（例:）。
```
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
```
このメールアドレスをコピーして、次のステップで使用します。

注: 各 Google SecOps インスタンスには一意のサービスアカウントがあります。他のドキュメントや例のサービスアカウントは使用しないでください。

Google SecOps サービスアカウントに IAM 権限を付与する

Google SecOps サービスアカウントには、GCS バケットに対する Storage オブジェクト閲覧者ロールが必要です。

[Cloud Storage] > [バケット] に移動します。
バケット名（snyk-audit など）をクリックします。
[権限] タブに移動します。
[アクセス権を付与] をクリックします。
次の構成の詳細を指定します。
- プリンシパルを追加: Google SecOps サービスアカウントのメールアドレスを貼り付けます。
- ロールを割り当てる: [ストレージオブジェクト閲覧者] を選択します。
[保存] をクリックします。

注: 削除オプションの [転送されたファイルを削除] または [転送されたファイルと空のディレクトリを削除] を使用する場合は、Storage オブジェクト閲覧者ではなく、Storage オブジェクト管理者ロールを付与します。

Snyk グループレベルの監査ログを取り込むように Google SecOps でフィードを構成する

[SIEM 設定] > [フィード] に移動します。
[Add New Feed] をクリックします。
[単一フィードを設定] をクリックします。
[フィード名] フィールドに、フィードの名前を入力します（例: Snyk Group Audit Logs）。
[ソースタイプ] として [Google Cloud Storage V2] を選択します。
[ログタイプ] として [Snyk Group level audit Logs] を選択します。
[次へ] をクリックします。
次の入力パラメータの値を指定します。
- ストレージバケットの URL: 接頭辞パスを含む GCS バケット URI を入力します。
```
gs://snyk-audit/snyk/audit/
```
  - 次のように置き換えます。
    - snyk-audit: GCS バケット名。
    - snyk/audit/: ログが保存される接頭辞/フォルダパス。
  注: URI の末尾には常にスラッシュ（/）を付けます。
- Source deletion option: 必要に応じて削除オプションを選択します。
  - なし: 転送後にファイルを削除しません（テストにおすすめ）。
  - 転送されたファイルを削除する: 転送が完了した後にファイルを削除します。
  - 転送されたファイルと空のディレクトリを削除する: 転送が完了した後にファイルと空のディレクトリを削除します。
    
    注: 削除オプションを選択する場合は、サービスアカウントに Storage オブジェクト閲覧者ではなく、Storage オブジェクト管理者のロールが必要です。必要に応じて IAM 権限を更新します。
- ファイルの最大経過日数: 指定した日数以内に変更されたファイルを含めます。デフォルトは 180 日です。
- アセットの Namespace: snyk.group_audit
- 取り込みラベル: 必要に応じて追加します。
[次へ] をクリックします。
[Finalize] 画面で新しいフィードの設定を確認し、[送信] をクリックします。

UDM マッピングテーブル

ログフィールド	UDM マッピング	論理
content.url	principal.url	未加工ログの content.url フィールドから直接マッピングされます。
created	metadata.event_timestamp	ISO8601 形式を使用して、未加工ログの created フィールドから解析されます。
イベント	metadata.product_event_type	未加工ログのイベントフィールドから直接マッピングされます。
groupId	principal.user.group_identifiers	未加工ログの groupId フィールドから直接マッピングされます。
orgId	principal.user.attribute.labels.key	「orgId」に設定します。
orgId	principal.user.attribute.labels.value	未加工ログの orgId フィールドから直接マッピングされます。
userId	principal.user.userid	未加工ログの userId フィールドから直接マッピングされます。
なし	metadata.event_type	パーサーコードで「USER_UNCATEGORIZED」にハードコードされます。
なし	metadata.log_type	パーサーコードで「SNYK_SDLC」にハードコードされます。
なし	metadata.product_name	パーサーコードで「SNYK SDLC」にハードコードされます。
なし	metadata.vendor_name	パーサーコードで「SNYK_SDLC」にハードコードされます。

ご不明な点がございましたら、コミュニティメンバーや Google SecOps のプロフェッショナルから回答を得ることができます。