Box の JSON ログを収集する

以下でサポートされています。

このドキュメントでは、Google Cloud Storage を使用して Box JSON ログを Google Security Operations に取り込む方法について説明します。パーサーは、JSON 形式の Box イベントログを処理し、統合データモデル(UDM)にマッピングします。未加工のログから関連するフィールドを抽出し、名前の変更や統合などのデータ変換を行い、中間情報でデータを拡充してから、構造化されたイベントデータを出力します。

始める前に

次の前提条件を満たしていることを確認します。

  • Google SecOps インスタンス
  • Cloud Storage API が有効になっている GCP プロジェクト
  • GCS バケットを作成および管理する権限
  • GCS バケットの IAM ポリシーを管理する権限
  • Cloud Run サービス、Pub/Sub トピック、Cloud Scheduler ジョブを作成する権限
  • Box への特権アクセス(管理コンソールとデベロッパー コンソール)

Box Developer Console(クライアント認証情報)を構成する

  1. Box 開発者コンソールにログインします。
  2. サーバー認証(クライアント認証情報の権限付与)を使用してカスタムアプリを作成します。
  3. [Application Access] を [App + Enterprise Access] に設定します。
  4. [Application Scopes] で、[Manage enterprise properties] を有効にします。
  5. 管理コンソール > [アプリ] > [カスタム アプリ マネージャー] で、クライアント ID を使用してアプリを承認します。
  6. クライアント IDクライアント シークレットをコピーして、安全な場所に保存します。
  7. 管理コンソール > [アカウントと請求] > [アカウント情報] に移動します。
  8. Enterprise ID をコピーして安全な場所に保存します。

Google Cloud Storage バケットを作成する

  1. Google Cloud Console に移動します。
  2. プロジェクトを選択するか、新しいプロジェクトを作成します。
  3. ナビゲーション メニューで、[Cloud Storage > バケット] に移動します。
  4. [バケットを作成] をクリックします。
  5. 次の構成情報を提供してください。

    設定
    バケットに名前を付ける グローバルに一意の名前(box-collaboration-logs など)を入力します。
    ロケーション タイプ ニーズに基づいて選択します(リージョン、デュアルリージョン、マルチリージョン)。
    ロケーション ロケーションを選択します(例: us-central1)。
    ストレージ クラス Standard(頻繁にアクセスされるログにおすすめ)
    アクセス制御 均一(推奨)
    保護ツール 省略可: オブジェクトのバージョニングまたは保持ポリシーを有効にする
  6. [作成] をクリックします。

Cloud Run functions のサービス アカウントを作成する

Cloud Run 関数には、GCS バケットに書き込み、Pub/Sub によって呼び出される権限を持つサービス アカウントが必要です。

サービス アカウントの作成

  1. GCP Console で、[IAM と管理>サービス アカウント] に移動します。
  2. [サービス アカウントを作成] をクリックします。
  3. 次の構成の詳細を指定します。
    • サービス アカウント名: 「box-collaboration-collector-sa」と入力します。
    • サービス アカウントの説明: 「Service account for Cloud Run function to collect Box Collaboration logs」と入力します。
  4. [作成して続行] をクリックします。
  5. [このサービス アカウントにプロジェクトへのアクセスを許可する] セクションで、次のロールを追加します。
    1. [ロールを選択] をクリックします。
    2. [ストレージ オブジェクト管理者] を検索して選択します。
    3. [+ 別のロールを追加] をクリックします。
    4. [Cloud Run 起動元] を検索して選択します。
    5. [+ 別のロールを追加] をクリックします。
    6. [Cloud Functions 起動元] を検索して選択します。
  6. [続行] をクリックします。
  7. [完了] をクリックします。

これらのロールは、次の目的で必要です。

  • Storage オブジェクト管理者: ログを GCS バケットに書き込み、状態ファイルを管理する
  • Cloud Run 起動元: Pub/Sub が関数を呼び出すことを許可する
  • Cloud Functions 起動元: 関数の呼び出しを許可する

GCS バケットに対する IAM 権限を付与する

GCS バケットに対する書き込み権限をサービス アカウントに付与します。

  1. [Cloud Storage] > [バケット] に移動します。
  2. バケット名をクリックします。
  3. [権限] タブに移動します。
  4. [アクセス権を付与] をクリックします。
  5. 次の構成の詳細を指定します。
    • プリンシパルを追加: サービス アカウントのメールアドレス(box-collaboration-collector-sa@PROJECT_ID.iam.gserviceaccount.com)を入力します。
    • ロールを割り当てる: [Storage オブジェクト管理者] を選択します。
  6. [保存] をクリックします。

Pub/Sub トピックの作成

Cloud Scheduler がパブリッシュし、Cloud Run functions がサブスクライブする Pub/Sub トピックを作成します。

  1. GCP Console で、[Pub/Sub> トピック] に移動します。
  2. [トピックを作成] をクリックします。
  3. 次の構成の詳細を指定します。
    • トピック ID: 「box-collaboration-trigger」と入力します。
    • その他の設定はデフォルトのままにします。
  4. [作成] をクリックします。

ログを収集する Cloud Run 関数を作成する

Cloud Run 関数は、Cloud Scheduler からの Pub/Sub メッセージによってトリガーされ、Box API からログを取得して GCS に書き込みます。

  1. GCP Console で、[Cloud Run] に移動します。
  2. [サービスを作成] をクリックします。
  3. [関数] を選択します(インライン エディタを使用して関数を作成します)。
  4. [構成] セクションで、次の構成の詳細を指定します。

    設定
    サービス名 box-collaboration-collector
    リージョン GCS バケットと一致するリージョンを選択します(例: us-central1)。
    ランタイム [Python 3.12] 以降を選択します。
  5. [トリガー(省略可)] セクションで、次の操作を行います。

    1. [+ トリガーを追加] をクリックします。
    2. [Cloud Pub/Sub] を選択します。
    3. [Cloud Pub/Sub トピックを選択してください] で、Pub/Sub トピック(box-collaboration-trigger)を選択します。
    4. [保存] をクリックします。
  6. [認証] セクションで、次の操作を行います。

    1. [認証が必要] を選択します。
    2. Identity and Access Management(IAM)を確認します。
  7. 下にスクロールして、[コンテナ、ネットワーキング、セキュリティ] を開きます。

  8. [セキュリティ] タブに移動します。

    • サービス アカウント: サービス アカウントを選択します(box-collaboration-collector-sa)。
  9. [コンテナ] タブに移動します。

    1. [変数とシークレット] をクリックします。
    2. 環境変数ごとに [+ 変数を追加] をクリックします。
    変数名 値の例
    GCS_BUCKET box-collaboration-logs
    GCS_PREFIX box/collaboration/
    STATE_KEY box/collaboration/state.json
    BOX_CLIENT_ID Box クライアント ID を入力する
    BOX_CLIENT_SECRET Box クライアント シークレットを入力する
    BOX_ENTERPRISE_ID Box エンタープライズ ID を入力する
    STREAM_TYPE admin_logs_streaming
    LIMIT 500
  10. [変数とシークレット] セクションで、[リクエスト] まで下にスクロールします。

    • リクエストのタイムアウト: 600 秒(10 分)を入力します。
  11. [設定] タブに移動します。

    • [リソース] セクションで次の操作を行います。
      • メモリ: 512 MiB 以上を選択します。
      • CPU: [1] を選択します。
  12. [リビジョン スケーリング] セクションで、次の操作を行います。

    • [インスタンスの最小数] に「0」と入力します。
    • インスタンスの最大数: 100 と入力します(または、予想される負荷に基づいて調整します)。
  13. [作成] をクリックします。

  14. サービスが作成されるまで待ちます(1 ~ 2 分)。

  15. サービスを作成すると、インライン コードエディタが自動的に開きます。

関数コードを追加する

  1. [関数のエントリ ポイント] に「main」と入力します。
  2. インライン コードエディタで、次の 2 つのファイルを作成します。

    • 最初のファイル: main.py:
    import functions_framework
    from google.cloud import storage
    import json
    import os
    import urllib3
    from datetime import datetime, timezone
    import base64
    
    # Initialize HTTP client with timeouts
    http = urllib3.PoolManager(
        timeout=urllib3.Timeout(connect=5.0, read=30.0),
        retries=False,
    )
    
    # Initialize Storage client
    storage_client = storage.Client()
    
    TOKEN_URL = "https://api.box.com/oauth2/token"
    EVENTS_URL = "https://api.box.com/2.0/events"
    
    @functions_framework.cloud_event
    def main(cloud_event):
        """
        Cloud Run function triggered by Pub/Sub to fetch Box enterprise events and write to GCS.
    
        Args:
            cloud_event: CloudEvent object containing Pub/Sub message
        """
    
        # Get environment variables
        bucket_name = os.environ.get('GCS_BUCKET')
        prefix = os.environ.get('GCS_PREFIX', 'box/collaboration/')
        state_key = os.environ.get('STATE_KEY', 'box/collaboration/state.json')
    
        client_id = os.environ.get('BOX_CLIENT_ID')
        client_secret = os.environ.get('BOX_CLIENT_SECRET')
        enterprise_id = os.environ.get('BOX_ENTERPRISE_ID')
        stream_type = os.environ.get('STREAM_TYPE', 'admin_logs_streaming')
        limit = int(os.environ.get('LIMIT', '500'))
    
        if not all([bucket_name, client_id, client_secret, enterprise_id]):
            print('Error: Missing required environment variables')
            return
    
        try:
            # Get GCS bucket
            bucket = storage_client.bucket(bucket_name)
    
            # Get OAuth token
            token = get_token(client_id, client_secret, enterprise_id)
    
            # Load state (stream position)
            state = load_state(bucket, state_key)
            stream_position = state.get('stream_position')
    
            print(f'Processing events from stream position: {stream_position}')
    
            total_events = 0
            idx = 0
    
            while True:
                # Fetch events page
                page = fetch_events(token, stream_type, limit, stream_position)
                entries = page.get('entries') or []
    
                if not entries:
                    next_pos = page.get('next_stream_position') or stream_position
                    if next_pos and next_pos != stream_position:
                        save_state(bucket, state_key, {'stream_position': next_pos})
                    break
    
                # Write page to GCS
                timestamp = datetime.now(timezone.utc).strftime('%Y/%m/%d/%H%M%S')
                blob_name = f"{prefix}{timestamp}-box-events-{idx:03d}.json"
                blob = bucket.blob(blob_name)
                blob.upload_from_string(
                    json.dumps(page, separators=(',', ':')),
                    content_type='application/json'
                )
    
                idx += 1
                total_events += len(entries)
                stream_position = page.get('next_stream_position') or stream_position
    
                # Save state after each page
                if stream_position:
                    save_state(bucket, state_key, {'stream_position': stream_position})
    
                # Break if fewer entries than limit (last page)
                if len(entries) < limit:
                    break
    
            print(f'Successfully processed {total_events} events, final position: {stream_position}')
    
        except Exception as e:
            print(f'Error processing Box events: {str(e)}')
            raise
    
    def get_token(client_id, client_secret, enterprise_id):
        """Get OAuth 2.0 access token using client credentials grant."""
        fields = {
            'grant_type': 'client_credentials',
            'client_id': client_id,
            'client_secret': client_secret,
            'box_subject_type': 'enterprise',
            'box_subject_id': enterprise_id
        }
    
        response = http.request(
            'POST',
            TOKEN_URL,
            fields=fields,
            headers={'Content-Type': 'application/x-www-form-urlencoded'}
        )
    
        token_data = json.loads(response.data.decode('utf-8'))
        return token_data['access_token']
    
    def fetch_events(token, stream_type, limit, stream_position=None, timeout=60, max_retries=5):
        """Fetch events from Box API with retry logic."""
        params = {
            'stream_type': stream_type,
            'limit': str(limit),
            'stream_position': stream_position or 'now'
        }
    
        # Build query string
        query_string = '&'.join([f"{k}={v}" for k, v in params.items()])
        url = f"{EVENTS_URL}?{query_string}"
    
        attempt = 0
        backoff = 1.0
    
        while True:
            try:
                response = http.request(
                    'GET',
                    url,
                    headers={'Authorization': f'Bearer {token}'},
                    timeout=timeout
                )
    
                if response.status == 200:
                    return json.loads(response.data.decode('utf-8'))
                elif response.status == 429 and attempt < max_retries:
                    # Rate limited - retry with backoff
                    retry_after = response.headers.get('Retry-After')
                    delay = int(retry_after) if retry_after and retry_after.isdigit() else int(backoff)
                    print(f'Rate limited, retrying after {delay} seconds')
                    import time
                    time.sleep(max(1, delay))
                    attempt += 1
                    backoff *= 2
                    continue
                elif 500 <= response.status <= 599 and attempt < max_retries:
                    # Server error - retry with backoff
                    print(f'Server error {response.status}, retrying after {backoff} seconds')
                    import time
                    time.sleep(backoff)
                    attempt += 1
                    backoff *= 2
                    continue
                else:
                    raise Exception(f'Box API error: {response.status} {response.data.decode("utf-8")}')
            except Exception as e:
                if attempt < max_retries:
                    print(f'Request error: {str(e)}, retrying after {backoff} seconds')
                    import time
                    time.sleep(backoff)
                    attempt += 1
                    backoff *= 2
                    continue
                raise
    
    def load_state(bucket, key):
        """Load state from GCS."""
        try:
            blob = bucket.blob(key)
            if blob.exists():
                state_data = blob.download_as_text()
                return json.loads(state_data)
        except Exception as e:
            print(f'Warning: Could not load state: {str(e)}')
        return {}
    
    def save_state(bucket, key, state):
        """Save state to GCS."""
        try:
            blob = bucket.blob(key)
            blob.upload_from_string(
                json.dumps(state, separators=(',', ':')),
                content_type='application/json'
            )
        except Exception as e:
            print(f'Warning: Could not save state: {str(e)}')
    
    • 2 つ目のファイル: requirements.txt:
    functions-framework==3.*
    google-cloud-storage==2.*
    urllib3>=2.0.0
    
  3. [デプロイ] をクリックして、関数を保存してデプロイします。

  4. デプロイが完了するまで待ちます(2 ~ 3 分)。

Cloud Scheduler ジョブの作成

Cloud Scheduler は、定期的に Pub/Sub トピックにメッセージをパブリッシュし、Cloud Run functions の関数をトリガーします。

  1. GCP Console で、[Cloud Scheduler] に移動します。
  2. [ジョブを作成] をクリックします。
  3. 次の構成情報を提供してください。

    設定
    名前 box-collaboration-schedule-15min
    リージョン Cloud Run functions と同じリージョンを選択する
    周波数 */15 * * * *(15 分ごと)
    タイムゾーン タイムゾーンを選択します(UTC を推奨)。
    ターゲット タイプ Pub/Sub
    トピック Pub/Sub トピック(box-collaboration-trigger)を選択する
    メッセージ本文 {}(空の JSON オブジェクト)
  4. [作成] をクリックします。

スケジュールの頻度のオプション

  • ログの量とレイテンシの要件に基づいて頻度を選択します。

    頻度 CRON 式 ユースケース
    5 分毎 */5 * * * * 大容量、低レイテンシ
    15 分ごと */15 * * * * 中程度の音量(推奨)
    1 時間ごと 0 * * * * 標準
    6 時間ごと 0 */6 * * * 少量、バッチ処理
    毎日 0 0 * * * 履歴データの収集

統合をテストする

  1. Cloud Scheduler コンソールで、ジョブを見つけます。
  2. [強制実行] をクリックして、ジョブを手動でトリガーします。
  3. 数秒待ちます。
  4. Cloud Run > サービスに移動します。
  5. 関数名(box-collaboration-collector)をクリックします。
  6. [Logs] タブをクリックします。
  7. 関数が正常に実行されたことを確認します。次の内容を確認します。

    Processing events from stream position: ...
    Page 1: Retrieved X events
    Wrote X records to gs://box-collaboration-logs/box/collaboration/...
    Successfully processed X events
    
  8. [Cloud Storage] > [バケット] に移動します。

  9. バケット名をクリックします。

  10. プレフィックス フォルダ(box/collaboration/)に移動します。

  11. 現在のタイムスタンプで新しい .json ファイルが作成されたことを確認します。

ログにエラーが表示された場合:

  • HTTP 401: 環境変数で Box API の認証情報を確認する
  • HTTP 403: Box アプリに必要な権限が付与されており、管理コンソールで承認されていることを確認する
  • HTTP 429: レート制限 - 関数はバックオフで自動的に再試行されます
  • 環境変数が不足している: 必要な変数がすべて設定されていることを確認します

Google SecOps サービス アカウントを取得する

Google SecOps は、一意のサービス アカウントを使用して GCS バケットからデータを読み取ります。このサービス アカウントにバケットへのアクセス権を付与する必要があります。

サービス アカウントのメールアドレスを取得する

  1. [SIEM 設定] > [フィード] に移動します。
  2. [Add New Feed] をクリックします。
  3. [単一フィードを設定] をクリックします。
  4. [フィード名] フィールドに、フィードの名前を入力します(例: Box Collaboration)。
  5. [ソースタイプ] として [Google Cloud Storage V2] を選択します。
  6. [ログタイプ] として [Box] を選択します。
  7. [サービス アカウントを取得する] をクリックします。一意のサービス アカウント メールアドレスが表示されます(例:)。

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  8. このメールアドレスをコピーして、次のステップで使用します。

Google SecOps サービス アカウントに IAM 権限を付与する

Google SecOps サービス アカウントには、GCS バケットに対する Storage オブジェクト閲覧者ロールが必要です。

  1. [Cloud Storage] > [バケット] に移動します。
  2. バケット名をクリックします。
  3. [権限] タブに移動します。
  4. [アクセス権を付与] をクリックします。
  5. 次の構成の詳細を指定します。
    • プリンシパルを追加: Google SecOps サービス アカウントのメールアドレスを貼り付けます。
    • ロールを割り当てる: [ストレージ オブジェクト閲覧者] を選択します。
  6. [保存] をクリックします。

Box のログを取り込むように Google SecOps でフィードを構成する

  1. [SIEM 設定] > [フィード] に移動します。
  2. [Add New Feed] をクリックします。
  3. [単一フィードを設定] をクリックします。
  4. [フィード名] フィールドに、フィードの名前を入力します(例: Box Collaboration)。
  5. [ソースタイプ] として [Google Cloud Storage V2] を選択します。
  6. [ログタイプ] として [Box] を選択します。
  7. [次へ] をクリックします。
  8. 次の入力パラメータの値を指定します。

    • ストレージ バケットの URL: 接頭辞パスを含む GCS バケット URI を入力します。

      gs://box-collaboration-logs/box/collaboration/
      
      • 次のように置き換えます。

        • box-collaboration-logs: GCS バケット名。
        • box/collaboration/: ログが保存される接頭辞/フォルダパス。
      • 例:

        • ルートバケット: gs://company-logs/
        • 接頭辞あり: gs://company-logs/box-logs/
        • サブフォルダあり: gs://company-logs/box/collaboration/
    • Source deletion option: 必要に応じて削除オプションを選択します。

      • なし: 転送後にファイルを削除しません(テストにおすすめ)。
      • 転送されたファイルを削除する: 転送が完了した後にファイルを削除します。
      • 転送されたファイルと空のディレクトリを削除する: 転送が完了した後にファイルと空のディレクトリを削除します。

    • ファイルの最大経過日数: 指定した日数以内に変更されたファイルを含めます。デフォルトは 180 日です。

    • アセットの名前空間: アセットの名前空間

    • Ingestion labels: このフィードのイベントに適用されるラベル。

  9. [次へ] をクリックします。

  10. [Finalize] 画面で新しいフィードの設定を確認し、[送信] をクリックします。

UDM マッピング テーブル

ログフィールド UDM マッピング 論理
additional_details.ekm_id additional.fields additional_details.ekm_id から取得された値
additional_details.service_id additional.fields additional_details.service_id から取得された値
additional_details.service_name additional.fields additional_details.service_name から取得された値
additional_details.shared_link_id additional.fields additional_details.shared_link_id から取得した値
additional_details.size target.file.size additional_details.size から取得された値
additional_details.version_id additional.fields additional_details.version_id から取得した値
created_at metadata.event_timestamp created_at から取得した値
created_by.id principal.user.userid created_by.id から取得した値
created_by.login principal.user.email_addresses created_by.login から取得された値
created_by.name principal.user.user_display_name created_by.name から取得された値
event_id metadata.product_log_id event_id から取得した値
event_type metadata.product_event_type event_type から取得された値
ip_address principal.ip ip_address から取得した値
source.item_id target.file.product_object_id source.item_id から取得された値
source.item_name target.file.full_path source.item_name から取得した値
source.item_type マッピングされていません
source.login target.user.email_addresses source.login から取得された値
source.name target.user.user_display_name source.name から取得された値
source.owned_by.id target.user.userid source.owned_by.id から取得した値
source.owned_by.login target.user.email_addresses source.owned_by.login から取得された値
source.owned_by.name target.user.user_display_name source.owned_by.name から取得した値
source.parent.id マッピングされていません
source.parent.name マッピングされていません
source.parent.type マッピングされていません
source.type マッピングされていません
type metadata.log_type 型から取得された値
metadata.vendor_name ハードコードされた値
metadata.product_name ハードコードされた値
security_result.action event_type から取得されます。event_type が FAILED_LOGIN の場合は BLOCK、event_type が USER_LOGIN の場合は ALLOW、それ以外の場合は UNSPECIFIED。
extensions.auth.type event_type から取得されます。event_type が USER_LOGIN または ADMIN_LOGIN の場合は MACHINE、それ以外の場合は UNSPECIFIED。
extensions.auth.mechanism event_type から取得されます。event_type が USER_LOGIN または ADMIN_LOGIN の場合は USERNAME_PASSWORD、それ以外の場合は UNSPECIFIED。

ご不明な点がございましたら、コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。