Box の JSON ログを収集する
このドキュメントでは、Google Cloud Storage を使用して Box JSON ログを Google Security Operations に取り込む方法について説明します。パーサーは、JSON 形式の Box イベントログを処理し、統合データモデル(UDM)にマッピングします。未加工のログから関連するフィールドを抽出し、名前の変更や統合などのデータ変換を行い、中間情報でデータを拡充してから、構造化されたイベントデータを出力します。
始める前に
次の前提条件を満たしていることを確認します。
- Google SecOps インスタンス
- Cloud Storage API が有効になっている GCP プロジェクト
- GCS バケットを作成および管理する権限
- GCS バケットの IAM ポリシーを管理する権限
- Cloud Run サービス、Pub/Sub トピック、Cloud Scheduler ジョブを作成する権限
- Box への特権アクセス(管理コンソールとデベロッパー コンソール)
Box Developer Console(クライアント認証情報)を構成する
- Box 開発者コンソールにログインします。
- サーバー認証(クライアント認証情報の権限付与)を使用してカスタムアプリを作成します。
- [Application Access] を [App + Enterprise Access] に設定します。
- [Application Scopes] で、[Manage enterprise properties] を有効にします。
- 管理コンソール > [アプリ] > [カスタム アプリ マネージャー] で、クライアント ID を使用してアプリを承認します。
- クライアント ID とクライアント シークレットをコピーして、安全な場所に保存します。
- 管理コンソール > [アカウントと請求] > [アカウント情報] に移動します。
- Enterprise ID をコピーして安全な場所に保存します。
Google Cloud Storage バケットを作成する
- Google Cloud Console に移動します。
- プロジェクトを選択するか、新しいプロジェクトを作成します。
- ナビゲーション メニューで、[Cloud Storage > バケット] に移動します。
- [バケットを作成] をクリックします。
次の構成情報を提供してください。
設定 値 バケットに名前を付ける グローバルに一意の名前( box-collaboration-logsなど)を入力します。ロケーション タイプ ニーズに基づいて選択します(リージョン、デュアルリージョン、マルチリージョン)。 ロケーション ロケーションを選択します(例: us-central1)。ストレージ クラス Standard(頻繁にアクセスされるログにおすすめ) アクセス制御 均一(推奨) 保護ツール 省略可: オブジェクトのバージョニングまたは保持ポリシーを有効にする [作成] をクリックします。
Cloud Run functions のサービス アカウントを作成する
Cloud Run 関数には、GCS バケットに書き込み、Pub/Sub によって呼び出される権限を持つサービス アカウントが必要です。
サービス アカウントの作成
- GCP Console で、[IAM と管理>サービス アカウント] に移動します。
- [サービス アカウントを作成] をクリックします。
- 次の構成の詳細を指定します。
- サービス アカウント名: 「
box-collaboration-collector-sa」と入力します。 - サービス アカウントの説明: 「
Service account for Cloud Run function to collect Box Collaboration logs」と入力します。
- サービス アカウント名: 「
- [作成して続行] をクリックします。
- [このサービス アカウントにプロジェクトへのアクセスを許可する] セクションで、次のロールを追加します。
- [ロールを選択] をクリックします。
- [ストレージ オブジェクト管理者] を検索して選択します。
- [+ 別のロールを追加] をクリックします。
- [Cloud Run 起動元] を検索して選択します。
- [+ 別のロールを追加] をクリックします。
- [Cloud Functions 起動元] を検索して選択します。
- [続行] をクリックします。
- [完了] をクリックします。
これらのロールは、次の目的で必要です。
- Storage オブジェクト管理者: ログを GCS バケットに書き込み、状態ファイルを管理する
- Cloud Run 起動元: Pub/Sub が関数を呼び出すことを許可する
- Cloud Functions 起動元: 関数の呼び出しを許可する
GCS バケットに対する IAM 権限を付与する
GCS バケットに対する書き込み権限をサービス アカウントに付与します。
- [Cloud Storage] > [バケット] に移動します。
- バケット名をクリックします。
- [権限] タブに移動します。
- [アクセス権を付与] をクリックします。
- 次の構成の詳細を指定します。
- プリンシパルを追加: サービス アカウントのメールアドレス(
box-collaboration-collector-sa@PROJECT_ID.iam.gserviceaccount.com)を入力します。 - ロールを割り当てる: [Storage オブジェクト管理者] を選択します。
- プリンシパルを追加: サービス アカウントのメールアドレス(
- [保存] をクリックします。
Pub/Sub トピックの作成
Cloud Scheduler がパブリッシュし、Cloud Run functions がサブスクライブする Pub/Sub トピックを作成します。
- GCP Console で、[Pub/Sub> トピック] に移動します。
- [トピックを作成] をクリックします。
- 次の構成の詳細を指定します。
- トピック ID: 「
box-collaboration-trigger」と入力します。 - その他の設定はデフォルトのままにします。
- トピック ID: 「
- [作成] をクリックします。
ログを収集する Cloud Run 関数を作成する
Cloud Run 関数は、Cloud Scheduler からの Pub/Sub メッセージによってトリガーされ、Box API からログを取得して GCS に書き込みます。
- GCP Console で、[Cloud Run] に移動します。
- [サービスを作成] をクリックします。
- [関数] を選択します(インライン エディタを使用して関数を作成します)。
[構成] セクションで、次の構成の詳細を指定します。
設定 値 サービス名 box-collaboration-collectorリージョン GCS バケットと一致するリージョンを選択します(例: us-central1)。ランタイム [Python 3.12] 以降を選択します。 [トリガー(省略可)] セクションで、次の操作を行います。
- [+ トリガーを追加] をクリックします。
- [Cloud Pub/Sub] を選択します。
- [Cloud Pub/Sub トピックを選択してください] で、Pub/Sub トピック(
box-collaboration-trigger)を選択します。 - [保存] をクリックします。
[認証] セクションで、次の操作を行います。
- [認証が必要] を選択します。
- Identity and Access Management(IAM)を確認します。
下にスクロールして、[コンテナ、ネットワーキング、セキュリティ] を開きます。
[セキュリティ] タブに移動します。
- サービス アカウント: サービス アカウントを選択します(
box-collaboration-collector-sa)。
- サービス アカウント: サービス アカウントを選択します(
[コンテナ] タブに移動します。
- [変数とシークレット] をクリックします。
- 環境変数ごとに [+ 変数を追加] をクリックします。
変数名 値の例 GCS_BUCKETbox-collaboration-logsGCS_PREFIXbox/collaboration/STATE_KEYbox/collaboration/state.jsonBOX_CLIENT_IDBox クライアント ID を入力する BOX_CLIENT_SECRETBox クライアント シークレットを入力する BOX_ENTERPRISE_IDBox エンタープライズ ID を入力する STREAM_TYPEadmin_logs_streamingLIMIT500[変数とシークレット] セクションで、[リクエスト] まで下にスクロールします。
- リクエストのタイムアウト:
600秒(10 分)を入力します。
- リクエストのタイムアウト:
[設定] タブに移動します。
- [リソース] セクションで次の操作を行います。
- メモリ: 512 MiB 以上を選択します。
- CPU: [1] を選択します。
- [リソース] セクションで次の操作を行います。
[リビジョン スケーリング] セクションで、次の操作を行います。
- [インスタンスの最小数] に「
0」と入力します。 - インスタンスの最大数:
100と入力します(または、予想される負荷に基づいて調整します)。
- [インスタンスの最小数] に「
[作成] をクリックします。
サービスが作成されるまで待ちます(1 ~ 2 分)。
サービスを作成すると、インライン コードエディタが自動的に開きます。
関数コードを追加する
- [関数のエントリ ポイント] に「main」と入力します。
インライン コードエディタで、次の 2 つのファイルを作成します。
- 最初のファイル: main.py:
import functions_framework from google.cloud import storage import json import os import urllib3 from datetime import datetime, timezone import base64 # Initialize HTTP client with timeouts http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=5.0, read=30.0), retries=False, ) # Initialize Storage client storage_client = storage.Client() TOKEN_URL = "https://api.box.com/oauth2/token" EVENTS_URL = "https://api.box.com/2.0/events" @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function triggered by Pub/Sub to fetch Box enterprise events and write to GCS. Args: cloud_event: CloudEvent object containing Pub/Sub message """ # Get environment variables bucket_name = os.environ.get('GCS_BUCKET') prefix = os.environ.get('GCS_PREFIX', 'box/collaboration/') state_key = os.environ.get('STATE_KEY', 'box/collaboration/state.json') client_id = os.environ.get('BOX_CLIENT_ID') client_secret = os.environ.get('BOX_CLIENT_SECRET') enterprise_id = os.environ.get('BOX_ENTERPRISE_ID') stream_type = os.environ.get('STREAM_TYPE', 'admin_logs_streaming') limit = int(os.environ.get('LIMIT', '500')) if not all([bucket_name, client_id, client_secret, enterprise_id]): print('Error: Missing required environment variables') return try: # Get GCS bucket bucket = storage_client.bucket(bucket_name) # Get OAuth token token = get_token(client_id, client_secret, enterprise_id) # Load state (stream position) state = load_state(bucket, state_key) stream_position = state.get('stream_position') print(f'Processing events from stream position: {stream_position}') total_events = 0 idx = 0 while True: # Fetch events page page = fetch_events(token, stream_type, limit, stream_position) entries = page.get('entries') or [] if not entries: next_pos = page.get('next_stream_position') or stream_position if next_pos and next_pos != stream_position: save_state(bucket, state_key, {'stream_position': next_pos}) break # Write page to GCS timestamp = datetime.now(timezone.utc).strftime('%Y/%m/%d/%H%M%S') blob_name = f"{prefix}{timestamp}-box-events-{idx:03d}.json" blob = bucket.blob(blob_name) blob.upload_from_string( json.dumps(page, separators=(',', ':')), content_type='application/json' ) idx += 1 total_events += len(entries) stream_position = page.get('next_stream_position') or stream_position # Save state after each page if stream_position: save_state(bucket, state_key, {'stream_position': stream_position}) # Break if fewer entries than limit (last page) if len(entries) < limit: break print(f'Successfully processed {total_events} events, final position: {stream_position}') except Exception as e: print(f'Error processing Box events: {str(e)}') raise def get_token(client_id, client_secret, enterprise_id): """Get OAuth 2.0 access token using client credentials grant.""" fields = { 'grant_type': 'client_credentials', 'client_id': client_id, 'client_secret': client_secret, 'box_subject_type': 'enterprise', 'box_subject_id': enterprise_id } response = http.request( 'POST', TOKEN_URL, fields=fields, headers={'Content-Type': 'application/x-www-form-urlencoded'} ) token_data = json.loads(response.data.decode('utf-8')) return token_data['access_token'] def fetch_events(token, stream_type, limit, stream_position=None, timeout=60, max_retries=5): """Fetch events from Box API with retry logic.""" params = { 'stream_type': stream_type, 'limit': str(limit), 'stream_position': stream_position or 'now' } # Build query string query_string = '&'.join([f"{k}={v}" for k, v in params.items()]) url = f"{EVENTS_URL}?{query_string}" attempt = 0 backoff = 1.0 while True: try: response = http.request( 'GET', url, headers={'Authorization': f'Bearer {token}'}, timeout=timeout ) if response.status == 200: return json.loads(response.data.decode('utf-8')) elif response.status == 429 and attempt < max_retries: # Rate limited - retry with backoff retry_after = response.headers.get('Retry-After') delay = int(retry_after) if retry_after and retry_after.isdigit() else int(backoff) print(f'Rate limited, retrying after {delay} seconds') import time time.sleep(max(1, delay)) attempt += 1 backoff *= 2 continue elif 500 <= response.status <= 599 and attempt < max_retries: # Server error - retry with backoff print(f'Server error {response.status}, retrying after {backoff} seconds') import time time.sleep(backoff) attempt += 1 backoff *= 2 continue else: raise Exception(f'Box API error: {response.status} {response.data.decode("utf-8")}') except Exception as e: if attempt < max_retries: print(f'Request error: {str(e)}, retrying after {backoff} seconds') import time time.sleep(backoff) attempt += 1 backoff *= 2 continue raise def load_state(bucket, key): """Load state from GCS.""" try: blob = bucket.blob(key) if blob.exists(): state_data = blob.download_as_text() return json.loads(state_data) except Exception as e: print(f'Warning: Could not load state: {str(e)}') return {} def save_state(bucket, key, state): """Save state to GCS.""" try: blob = bucket.blob(key) blob.upload_from_string( json.dumps(state, separators=(',', ':')), content_type='application/json' ) except Exception as e: print(f'Warning: Could not save state: {str(e)}')- 2 つ目のファイル: requirements.txt:
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0[デプロイ] をクリックして、関数を保存してデプロイします。
デプロイが完了するまで待ちます(2 ~ 3 分)。
Cloud Scheduler ジョブの作成
Cloud Scheduler は、定期的に Pub/Sub トピックにメッセージをパブリッシュし、Cloud Run functions の関数をトリガーします。
- GCP Console で、[Cloud Scheduler] に移動します。
- [ジョブを作成] をクリックします。
次の構成情報を提供してください。
設定 値 名前 box-collaboration-schedule-15minリージョン Cloud Run functions と同じリージョンを選択する 周波数 */15 * * * *(15 分ごと)タイムゾーン タイムゾーンを選択します(UTC を推奨)。 ターゲット タイプ Pub/Sub トピック Pub/Sub トピック( box-collaboration-trigger)を選択するメッセージ本文 {}(空の JSON オブジェクト)[作成] をクリックします。
スケジュールの頻度のオプション
ログの量とレイテンシの要件に基づいて頻度を選択します。
頻度 CRON 式 ユースケース 5 分毎 */5 * * * *大容量、低レイテンシ 15 分ごと */15 * * * *中程度の音量(推奨) 1 時間ごと 0 * * * *標準 6 時間ごと 0 */6 * * *少量、バッチ処理 毎日 0 0 * * *履歴データの収集
統合をテストする
- Cloud Scheduler コンソールで、ジョブを見つけます。
- [強制実行] をクリックして、ジョブを手動でトリガーします。
- 数秒待ちます。
- Cloud Run > サービスに移動します。
- 関数名(
box-collaboration-collector)をクリックします。 - [Logs] タブをクリックします。
関数が正常に実行されたことを確認します。次の内容を確認します。
Processing events from stream position: ... Page 1: Retrieved X events Wrote X records to gs://box-collaboration-logs/box/collaboration/... Successfully processed X events[Cloud Storage] > [バケット] に移動します。
バケット名をクリックします。
プレフィックス フォルダ(
box/collaboration/)に移動します。現在のタイムスタンプで新しい
.jsonファイルが作成されたことを確認します。
ログにエラーが表示された場合:
- HTTP 401: 環境変数で Box API の認証情報を確認する
- HTTP 403: Box アプリに必要な権限が付与されており、管理コンソールで承認されていることを確認する
- HTTP 429: レート制限 - 関数はバックオフで自動的に再試行されます
- 環境変数が不足している: 必要な変数がすべて設定されていることを確認します
Google SecOps サービス アカウントを取得する
Google SecOps は、一意のサービス アカウントを使用して GCS バケットからデータを読み取ります。このサービス アカウントにバケットへのアクセス権を付与する必要があります。
サービス アカウントのメールアドレスを取得する
- [SIEM 設定] > [フィード] に移動します。
- [Add New Feed] をクリックします。
- [単一フィードを設定] をクリックします。
- [フィード名] フィールドに、フィードの名前を入力します(例:
Box Collaboration)。 - [ソースタイプ] として [Google Cloud Storage V2] を選択します。
- [ログタイプ] として [Box] を選択します。
[サービス アカウントを取得する] をクリックします。一意のサービス アカウント メールアドレスが表示されます(例:)。
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comこのメールアドレスをコピーして、次のステップで使用します。
Google SecOps サービス アカウントに IAM 権限を付与する
Google SecOps サービス アカウントには、GCS バケットに対する Storage オブジェクト閲覧者ロールが必要です。
- [Cloud Storage] > [バケット] に移動します。
- バケット名をクリックします。
- [権限] タブに移動します。
- [アクセス権を付与] をクリックします。
- 次の構成の詳細を指定します。
- プリンシパルを追加: Google SecOps サービス アカウントのメールアドレスを貼り付けます。
- ロールを割り当てる: [ストレージ オブジェクト閲覧者] を選択します。
[保存] をクリックします。
Box のログを取り込むように Google SecOps でフィードを構成する
- [SIEM 設定] > [フィード] に移動します。
- [Add New Feed] をクリックします。
- [単一フィードを設定] をクリックします。
- [フィード名] フィールドに、フィードの名前を入力します(例:
Box Collaboration)。 - [ソースタイプ] として [Google Cloud Storage V2] を選択します。
- [ログタイプ] として [Box] を選択します。
- [次へ] をクリックします。
次の入力パラメータの値を指定します。
ストレージ バケットの URL: 接頭辞パスを含む GCS バケット URI を入力します。
gs://box-collaboration-logs/box/collaboration/次のように置き換えます。
box-collaboration-logs: GCS バケット名。box/collaboration/: ログが保存される接頭辞/フォルダパス。
例:
- ルートバケット:
gs://company-logs/ - 接頭辞あり:
gs://company-logs/box-logs/ - サブフォルダあり:
gs://company-logs/box/collaboration/
- ルートバケット:
Source deletion option: 必要に応じて削除オプションを選択します。
- なし: 転送後にファイルを削除しません(テストにおすすめ)。
- 転送されたファイルを削除する: 転送が完了した後にファイルを削除します。
転送されたファイルと空のディレクトリを削除する: 転送が完了した後にファイルと空のディレクトリを削除します。
ファイルの最大経過日数: 指定した日数以内に変更されたファイルを含めます。デフォルトは 180 日です。
アセットの名前空間: アセットの名前空間。
Ingestion labels: このフィードのイベントに適用されるラベル。
[次へ] をクリックします。
[Finalize] 画面で新しいフィードの設定を確認し、[送信] をクリックします。
UDM マッピング テーブル
| ログフィールド | UDM マッピング | 論理 |
|---|---|---|
| additional_details.ekm_id | additional.fields | additional_details.ekm_id から取得された値 |
| additional_details.service_id | additional.fields | additional_details.service_id から取得された値 |
| additional_details.service_name | additional.fields | additional_details.service_name から取得された値 |
| additional_details.shared_link_id | additional.fields | additional_details.shared_link_id から取得した値 |
| additional_details.size | target.file.size | additional_details.size から取得された値 |
| additional_details.version_id | additional.fields | additional_details.version_id から取得した値 |
| created_at | metadata.event_timestamp | created_at から取得した値 |
| created_by.id | principal.user.userid | created_by.id から取得した値 |
| created_by.login | principal.user.email_addresses | created_by.login から取得された値 |
| created_by.name | principal.user.user_display_name | created_by.name から取得された値 |
| event_id | metadata.product_log_id | event_id から取得した値 |
| event_type | metadata.product_event_type | event_type から取得された値 |
| ip_address | principal.ip | ip_address から取得した値 |
| source.item_id | target.file.product_object_id | source.item_id から取得された値 |
| source.item_name | target.file.full_path | source.item_name から取得した値 |
| source.item_type | マッピングされていません | |
| source.login | target.user.email_addresses | source.login から取得された値 |
| source.name | target.user.user_display_name | source.name から取得された値 |
| source.owned_by.id | target.user.userid | source.owned_by.id から取得した値 |
| source.owned_by.login | target.user.email_addresses | source.owned_by.login から取得された値 |
| source.owned_by.name | target.user.user_display_name | source.owned_by.name から取得した値 |
| source.parent.id | マッピングされていません | |
| source.parent.name | マッピングされていません | |
| source.parent.type | マッピングされていません | |
| source.type | マッピングされていません | |
| type | metadata.log_type | 型から取得された値 |
| metadata.vendor_name | ハードコードされた値 | |
| metadata.product_name | ハードコードされた値 | |
| security_result.action | event_type から取得されます。event_type が FAILED_LOGIN の場合は BLOCK、event_type が USER_LOGIN の場合は ALLOW、それ以外の場合は UNSPECIFIED。 | |
| extensions.auth.type | event_type から取得されます。event_type が USER_LOGIN または ADMIN_LOGIN の場合は MACHINE、それ以外の場合は UNSPECIFIED。 | |
| extensions.auth.mechanism | event_type から取得されます。event_type が USER_LOGIN または ADMIN_LOGIN の場合は USERNAME_PASSWORD、それ以外の場合は UNSPECIFIED。 |
ご不明な点がございましたら、コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。