Recordia のログを収集する

以下でサポートされています。

Google SecOps SIEM

このドキュメントでは、Google Cloud Storage V2 を使用して Recordia ログを Google Security Operations に取り込む方法について説明します。

Recordia（Comunycarse 製）は、金融サービスとコンタクト センター向けの通話録音とコンプライアンス プラットフォームです。音声と動画のやり取りをキャプチャしてアーカイブし、品質管理、規制遵守、分析のためのツールを提供します。パーサーは、Recordia の通話メタデータと監査イベントからフィールドを抽出し、統合データモデル（UDM）にマッピングして、セッションの詳細、発信者/受信者の情報、ユーザー アクティビティ、セキュリティの重大度をキャプチャします。

始める前に

次の前提条件を満たしていることを確認します。

• Google SecOps インスタンス
• Cloud Storage API が有効になっている GCP プロジェクト
• GCS バケットを作成および管理する権限
• GCS バケットの IAM ポリシーを管理する権限
• Cloud Run サービス、Pub/Sub トピック、Cloud Scheduler ジョブを作成する権限
• API アクセスが有効になっている Recordia プラットフォームへの特権アクセス（API 認証情報を取得するには、Comunycarse サポートにお問い合わせください）

Google Cloud Storage バケットを作成する

1. Google Cloud コンソールに移動します。
2. プロジェクトを選択するか、新しいプロジェクトを作成します。
3. ナビゲーション メニューで、[Cloud Storage > バケット] に移動します。
4. [バケットを作成] をクリックします。

5. 次の構成情報を提供してください。

   設定	値
   バケットに名前を付ける	グローバルに一意の名前（recordia-logs など）を入力します。
   ロケーション タイプ	ニーズに応じて選択します（リージョン、デュアルリージョン、マルチリージョン）。
   ロケーション	場所を選択します（例: us-central1）。
   ストレージ クラス	Standard（頻繁にアクセスされるログにおすすめ）
   アクセス制御	均一（推奨）
   保護ツール	省略可: オブジェクトのバージョニングまたは保持ポリシーを有効にする

6. [作成] をクリックします。

Recordia API 認証情報を収集する

API 認証情報を取得する

1. API へのアクセスをリクエストするには、Recordia アカウント マネージャーまたは Comunycarse サポートにお問い合わせください。

2. 次の認証情報を取得します。

   • API ベース URL: Recordia インスタンスのベース URL（https://api.recordia.net など）
   • API トークン: 認証用の Bearer トークン
   注: API 認証情報とエンドポイントは、デプロイによって異なる場合があります。正確な認証方法と使用可能なエンドポイントについては、Recordia API のドキュメントをご覧ください。

権限を確認する

API 認証情報に必要な権限があることを確認するには:

1. Recordia 管理ポータルにログインします。
2. [設定] または [API] セクションに移動します。
3. アカウントで API アクセスが有効になっていることを確認します。
4. API 設定にアクセスできない場合は、Comunycarse サポートにお問い合わせください。

テスト API へのアクセス

• 統合に進む前に、認証情報をテストします。

  # Replace with your actual credentials
  API_TOKEN="<your-api-token>"
  API_BASE="https://api.recordia.net"
  
  # Test API access - list recordings
  curl -v -H "Authorization: Bearer ${API_TOKEN}" \
    "${API_BASE}/v1/recordings?from=2024-01-01T00:00:00Z&to=2024-01-02T00:00:00Z"
  

Cloud Run functions のサービス アカウントを作成する

Cloud Run 関数には、GCS バケットに書き込み、Pub/Sub によって呼び出される権限を持つサービス アカウントが必要です。

サービス アカウントの作成

1. GCP Console で、[IAM と管理>サービス アカウント] に移動します。
2. [サービス アカウントを作成] をクリックします。
3. 次の構成の詳細を指定します。
   • サービス アカウント名: 「recordia-collector-sa」と入力します。
   • サービス アカウントの説明: Service account for Cloud Run function to collect Recordia logs と入力します。
4. [作成して続行] をクリックします。
5. [このサービス アカウントにプロジェクトへのアクセスを許可する] セクションで、次のロールを追加します。
   1. [ロールを選択] をクリックします。
   2. [ストレージ オブジェクト管理者] を検索して選択します。
   3. [+ 別のロールを追加] をクリックします。
   4. [Cloud Run 起動元] を検索して選択します。
   5. [+ 別のロールを追加] をクリックします。
   6. [Cloud Functions 起動元] を検索して選択します。
6. [続行] をクリックします。
7. [完了] をクリックします。

これらのロールは、次の操作に必要です。

• Storage オブジェクト管理者: ログを GCS バケットに書き込み、状態ファイルを管理する
• Cloud Run 起動元: Pub/Sub が関数を呼び出すことを許可します
• Cloud Functions 起動元: 関数の呼び出しを許可する

GCS バケットに対する IAM 権限を付与する

GCS バケットに対する書き込み権限をサービス アカウントに付与します。

1. [Cloud Storage] > [バケット] に移動します。
2. バケット名（例: recordia-logs）をクリックします。
3. [権限] タブに移動します。
4. [アクセス権を付与] をクリックします。
5. 次の構成の詳細を指定します。
   • プリンシパルを追加: サービス アカウントのメールアドレス（例: recordia-collector-sa@PROJECT_ID.iam.gserviceaccount.com）を入力します。
   • ロールを割り当てる: [ストレージ オブジェクト管理者] を選択します。
6. [保存] をクリックします。

Pub/Sub トピックの作成

Cloud Scheduler がパブリッシュし、Cloud Run functions の関数がサブスクライブする Pub/Sub トピックを作成します。

1. GCP Console で、[Pub/Sub>トピック] に移動します。
2. [トピックを作成] をクリックします。
3. 次の構成の詳細を指定します。
   • トピック ID: 「recordia-logs-trigger」と入力します。
   • その他の設定はデフォルトのままにします。
4. [作成] をクリックします。

ログを収集する Cloud Run 関数を作成する

Cloud Run 関数は、Cloud Scheduler からの Pub/Sub メッセージによってトリガーされ、Recordia API から録音メタデータと監査イベントを取得して GCS に書き込みます。

1. GCP Console で、[Cloud Run] に移動します。
2. [サービスを作成] をクリックします。
3. [関数] を選択します（インライン エディタを使用して関数を作成します）。

4. [構成] セクションで、次の構成の詳細を指定します。

   設定	値
   サービス名	recordia-collector
   リージョン	GCS バケットと一致するリージョンを選択します（例: us-central1）。
   ランタイム	[Python 3.12] 以降を選択します。

5. [トリガー（省略可）] セクションで、次の操作を行います。

   1. [+ トリガーを追加] をクリックします。
   2. [Cloud Pub/Sub] を選択します。
   3. [Cloud Pub/Sub トピックを選択してください] で、Pub/Sub トピック（recordia-logs-trigger）を選択します。
   4. [保存] をクリックします。

6. [認証] セクションで次の操作を行います。

   1. [認証が必要] を選択します。
   2. Identity and Access Management（IAM）を確認します。
   注: Pub/Sub は、関数を呼び出すときに認証を自動的に処理します。

7. 下にスクロールして、[コンテナ、ネットワーキング、セキュリティ] を開きます。

8. [セキュリティ] タブに移動します。

   • サービス アカウント: サービス アカウントを選択します（recordia-collector-sa）。

9. [コンテナ] タブに移動します。

   1. [変数とシークレット] をクリックします。
   2. 環境変数ごとに [+ 変数を追加] をクリックします。

   変数名	値の例	説明
   GCS_BUCKET	recordia-logs	GCS バケット名
   GCS_PREFIX	recordia	ログファイルの接頭辞
   STATE_KEY	recordia/state.json	状態ファイルのパス
   API_BASE	https://api.recordia.net	Recordia API のベース URL
   API_TOKEN	your-bearer-token	Recordia API 署名なしトークン
   MAX_RECORDS	1000	実行あたりの最大レコード数
   PAGE_SIZE	100	1 ページあたりのレコード数
   LOOKBACK_HOURS	24	最初のルックバック期間

10. [変数とシークレット] セクションで、[リクエスト] まで下にスクロールします。

    • リクエストのタイムアウト: 600 秒（10 分）を入力します。

11. [設定] タブに移動します。

    • [リソース] セクションで次の操作を行います。
      • メモリ: 512 MiB 以上を選択します。
      • CPU: 1 を選択します。

12. [リビジョン スケーリング] セクションで、次の操作を行います。

    • [インスタンスの最小数]: 「0」と入力します。
    • インスタンスの最大数: 100 と入力します（または、予想される負荷に基づいて調整します）。

13. [作成] をクリックします。

14. サービスが作成されるまで待ちます（1 ～ 2 分）。

15. サービスが作成されると、インライン コードエディタが自動的に開きます。

関数コードを追加する

1. [エントリ ポイント] フィールドに「main」と入力します。

2. インライン コードエディタで、次の 2 つのファイルを作成します。

   • 最初のファイル - main.py:

     import functions_framework
     from google.cloud import storage
     import json
     import os
     import urllib3
     from datetime import datetime, timezone, timedelta
     import time
     
     # Initialize HTTP client with timeouts
     http = urllib3.PoolManager(
       timeout=urllib3.Timeout(connect=5.0, read=30.0),
       retries=False,
     )
     
     # Initialize Storage client
     storage_client = storage.Client()
     
     # Environment variables
     GCS_BUCKET = os.environ.get('GCS_BUCKET')
     GCS_PREFIX = os.environ.get('GCS_PREFIX', 'recordia')
     STATE_KEY = os.environ.get('STATE_KEY', 'recordia/state.json')
     API_BASE = os.environ.get('API_BASE')
     API_TOKEN = os.environ.get('API_TOKEN')
     MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '1000'))
     PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100'))
     LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24'))
     
     def parse_datetime(value: str) -> datetime:
       """Parse ISO datetime string to datetime object."""
       if value.endswith("Z"):
         value = value[:-1] + "+00:00"
       return datetime.fromisoformat(value)
     
     @functions_framework.cloud_event
     def main(cloud_event):
       """
       Cloud Run function triggered by Pub/Sub to fetch Recordia
       recording metadata and audit events and write to GCS.
     
       Args:
         cloud_event: CloudEvent object containing Pub/Sub message
       """
     
       if not all([GCS_BUCKET, API_BASE, API_TOKEN]):
         print('Error: Missing required environment variables')
         return
     
       try:
         # Get GCS bucket
         bucket = storage_client.bucket(GCS_BUCKET)
     
         # Load state
         state = load_state(bucket, STATE_KEY)
     
         # Determine time window
         now = datetime.now(timezone.utc)
         last_time = None
     
         if isinstance(state, dict) and state.get("last_event_time"):
           try:
             last_time = parse_datetime(state["last_event_time"])
             last_time = last_time - timedelta(minutes=2)
           except Exception as e:
             print(f"Warning: Could not parse last_event_time: {e}")
     
         if last_time is None:
           last_time = now - timedelta(hours=LOOKBACK_HOURS)
     
         print(f"Fetching logs from {last_time.isoformat()} to {now.isoformat()}")
     
         # Fetch recordings
         records, newest_event_time = fetch_recordings(
           api_base=API_BASE,
           token=API_TOKEN,
           start_time=last_time,
           end_time=now,
           page_size=PAGE_SIZE,
           max_records=MAX_RECORDS,
         )
     
         if not records:
           print("No new log records found.")
           save_state(bucket, STATE_KEY, now.isoformat())
           return
     
         # Write to GCS as NDJSON
         timestamp = now.strftime('%Y%m%d_%H%M%S')
         object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson"
         blob = bucket.blob(object_key)
     
         ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in records]) + '\n'
         blob.upload_from_string(ndjson, content_type='application/x-ndjson')
     
         print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}")
     
         # Update state with newest event time
         if newest_event_time:
           save_state(bucket, STATE_KEY, newest_event_time)
         else:
           save_state(bucket, STATE_KEY, now.isoformat())
     
         print(f"Successfully processed {len(records)} records")
     
       except Exception as e:
         print(f'Error processing logs: {str(e)}')
         raise
     
     def load_state(bucket, key):
       """Load state from GCS."""
       try:
         blob = bucket.blob(key)
         if blob.exists():
           state_data = blob.download_as_text()
           return json.loads(state_data)
       except Exception as e:
         print(f"Warning: Could not load state: {e}")
     
       return {}
     
     def save_state(bucket, key, last_event_time_iso: str):
       """Save the last event timestamp to GCS state file."""
       try:
         state = {'last_event_time': last_event_time_iso}
         blob = bucket.blob(key)
         blob.upload_from_string(
           json.dumps(state, indent=2),
           content_type='application/json'
         )
         print(f"Saved state: last_event_time={last_event_time_iso}")
       except Exception as e:
         print(f"Warning: Could not save state: {e}")
     
     def fetch_recordings(api_base: str, token: str, start_time: datetime, end_time: datetime, page_size: int, max_records: int):
       """
       Fetch recording metadata from Recordia API with pagination.
     
       Args:
         api_base: API base URL
         token: Bearer token for authentication
         start_time: Start time for log query
         end_time: End time for log query
         page_size: Number of records per page
         max_records: Maximum total records to fetch
     
       Returns:
         Tuple of (records list, newest_event_time ISO string)
       """
       base_url = api_base.rstrip('/')
       endpoint = f"{base_url}/v1/recordings"
     
       headers = {
         'Authorization': f'Bearer {token}',
         'Accept': 'application/json',
         'Content-Type': 'application/json',
         'User-Agent': 'GoogleSecOps-RecordiaCollector/1.0',
       }
     
       records = []
       newest_time = None
       page_num = 0
       backoff = 1.0
       offset = 0
     
       from_time = start_time.strftime('%Y-%m-%dT%H:%M:%SZ')
       to_time = end_time.strftime('%Y-%m-%dT%H:%M:%SZ')
     
       while True:
         page_num += 1
     
         if len(records) >= max_records:
           print(f"Reached max_records limit ({max_records})")
           break
     
         current_limit = min(page_size, max_records - len(records))
         url = f"{endpoint}?from={from_time}&to={to_time}&offset={offset}&limit={current_limit}"
     
         try:
           response = http.request('GET', url, headers=headers)
     
           # Handle rate limiting with exponential backoff
           if response.status == 429:
             retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
             print(f"Rate limited (429). Retrying after {retry_after}s...")
             time.sleep(retry_after)
             backoff = min(backoff * 2, 30.0)
             continue
     
           backoff = 1.0
     
           if response.status != 200:
             print(f"HTTP Error: {response.status}")
             response_text = response.data.decode('utf-8')
             print(f"Response body: {response_text}")
             return [], None
     
           data = json.loads(response.data.decode('utf-8'))
     
           if isinstance(data, list):
             page_results = data
           else:
             page_results = data.get('recordings', data.get('results', []))
     
           if not page_results:
             print(f"No more results (empty page)")
             break
     
           print(f"Page {page_num}: Retrieved {len(page_results)} recordings")
           records.extend(page_results)
     
           # Track newest event time
           for event in page_results:
             try:
               event_time = event.get('startTime') or event.get('timestamp') or event.get('date')
               if event_time:
                 if newest_time is None or parse_datetime(event_time) > parse_datetime(newest_time):
                   newest_time = event_time
             except Exception as e:
               print(f"Warning: Could not parse event time: {e}")
     
           # Check for more results
           if len(page_results) < current_limit:
             print(f"Reached last page (size={len(page_results)} < limit={current_limit})")
             break
     
           offset += len(page_results)
     
         except Exception as e:
           print(f"Error fetching recordings: {e}")
           return [], None
     
       print(f"Retrieved {len(records)} total recordings from {page_num} pages")
       return records, newest_time
     

   • 2 つ目のファイル - requirements.txt:

     functions-framework==3.*
     google-cloud-storage==2.*
     urllib3>=2.0.0
     

3. [デプロイ] をクリックして、関数を保存してデプロイします。

4. デプロイが完了するまで待ちます（2 ～ 3 分）。

   注: Pub/Sub トリガー構成では、必要なサブスクリプションと権限が自動的に作成されます。

Cloud Scheduler ジョブの作成

Cloud Scheduler は、定期的に Pub/Sub トピックにメッセージをパブリッシュし、Cloud Run functions の関数をトリガーします。

1. GCP Console で、[Cloud Scheduler] に移動します。
2. [ジョブを作成] をクリックします。

3. 次の構成情報を提供してください。

   設定	値
   名前	recordia-collector-hourly
   リージョン	Cloud Run functions と同じリージョンを選択する
   周波数	0 * * * *（1 時間ごとに正時）
   タイムゾーン	タイムゾーンを選択します（UTC を推奨）
   ターゲット タイプ	Pub/Sub
   トピック	Pub/Sub トピック（recordia-logs-trigger）を選択する
   メッセージ本文	{}（空の JSON オブジェクト）

4. [作成] をクリックします。

スケジュールの頻度のオプション

ログの量とレイテンシ要件に基づいて頻度を選択します。

頻度	CRON 式	ユースケース
5 分おき	*/5 * * * *	大容量、低レイテンシ
15 分ごと	*/15 * * * *	検索量が普通
1 時間ごと	0 * * * *	標準（推奨）
6 時間ごと	0 */6 * * *	少量、バッチ処理
毎日	0 0 * * *	過去のデータの収集

統合をテストする

1. Cloud Scheduler コンソールで、ジョブを見つけます。
2. [強制実行] をクリックして、ジョブを手動でトリガーします。
3. 数秒待ちます。
4. Cloud Run > サービスに移動します。
5. 関数名（recordia-collector）をクリックします。
6. [ログ] タブをクリックします。

7. 関数が正常に実行されたことを確認します。以下のものを探します。

   Fetching logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00
   Page 1: Retrieved X recordings
   Wrote X records to gs://recordia-logs/recordia/logs_YYYYMMDD_HHMMSS.ndjson
   Successfully processed X records
   

8. [Cloud Storage] > [バケット] に移動します。

9. バケット名（recordia-logs）をクリックします。

10. プレフィックス フォルダ（recordia/）に移動します。

11. 現在のタイムスタンプで新しい .ndjson ファイルが作成されたことを確認します。

ログにエラーが表示された場合:

• HTTP 401: 環境変数の API トークンを確認する
• HTTP 403: API トークンが録音エンドポイントにアクセスできることを確認します
• HTTP 429: レート制限 - 関数はバックオフで自動的に再試行されます
• 環境変数が不足している: 必要な変数がすべて設定されていることを確認します

Google SecOps サービス アカウントを取得する

Google SecOps は、一意のサービス アカウントを使用して GCS バケットからデータを読み取ります。このサービス アカウントにバケットへのアクセス権を付与する必要があります。

サービス アカウントのメールアドレスを取得する

1. [SIEM 設定] > [フィード] に移動します。
2. [Add New Feed] をクリックします。
3. [単一フィードを設定] をクリックします。
4. [フィード名] フィールドに、フィードの名前を入力します（例: Recordia Logs）。
5. [ソースタイプ] として [Google Cloud Storage V2] を選択します。
6. [ログタイプ] として [Recordia] を選択します。
7. [サービス アカウントを取得する] をクリックします。

8. 一意のサービス アカウントのメールアドレスが表示されます（例:）。

   [e-mail]
   

9. このメールアドレスをコピーして、次のステップで使用します。

   注: 各 Google SecOps インスタンスには一意のサービス アカウントがあります。他のドキュメントや例のサービス アカウントは使用しないでください。

10. [次へ] をクリックします。

11. 次の入力パラメータの値を指定します。

    • ストレージ バケットの URL: 接頭辞パスを含む GCS バケット URI を入力します。

      gs://recordia-logs/recordia/
      

      • 次のように置き換えます。
        • recordia-logs: GCS バケット名。
        • recordia: ログが保存されるオプションの接頭辞/フォルダパス（ルートの場合は空のままにします）。
    注: URI の末尾には常にスラッシュ（/）を付けてください。

    • Source deletion option: 必要に応じて削除オプションを選択します。

      • なし: 転送後にファイルを削除しません（テストにおすすめ）。
      • 転送されたファイルを削除する: 転送が完了した後にファイルを削除します。

      • 転送されたファイルと空のディレクトリを削除する: 転送が完了した後にファイルと空のディレクトリを削除します。

        注: 削除オプションを選択する場合は、サービス アカウントに Storage オブジェクト閲覧者ではなく、Storage オブジェクト管理者のロールが必要です。必要に応じて IAM 権限を更新します。

    • ファイルの最大経過日数: 指定した日数以内に変更されたファイルを含めます（デフォルトは 180 日）。

    • アセットの名前空間: アセットの名前空間

    • Ingestion labels: このフィードのイベントに適用されるラベル

12. [次へ] をクリックします。

13. [Finalize] 画面で新しいフィードの設定を確認し、[送信] をクリックします。

Google SecOps サービス アカウントに IAM 権限を付与する

Google SecOps サービス アカウントには、GCS バケットに対する Storage オブジェクト閲覧者ロールが必要です。

1. [Cloud Storage] > [バケット] に移動します。
2. バケット名（例: recordia-logs）をクリックします。
3. [権限] タブに移動します。
4. [アクセス権を付与] をクリックします。
5. 次の構成の詳細を指定します。
   • プリンシパルを追加: Google SecOps サービス アカウントのメールアドレスを貼り付けます。
   • ロールを割り当てる: [Storage オブジェクト閲覧者] を選択します。

6. [保存] をクリックします。

   注: 削除オプションの [転送されたファイルを削除] または [転送されたファイルと空のディレクトリを削除] を使用する場合は、Storage オブジェクト閲覧者ではなく、Storage オブジェクト管理者ロールを付与します。

UDM マッピング テーブル

ログフィールド	UDM マッピング	ロジック
record_id、batch_id、ProviderId、ProviderGroupId、TrackingId、RecordingType、Format、Owner、NotEncrypted、Hash、CustomData、CustomDataFormat	additional.fields	空でない場合は、各フィールドから構築されたラベル オブジェクトと統合されます。ここで、label.key は特定の文字列に設定され、label.value.string_value はフィールド値に設定されます。
client_ip、client_ip1	intermediary.ip	client_ip と統合され、次に client_ip1 と統合された
corp_user	intermediary.user.userid	値を直接コピー
説明	metadata.description	値を直接コピー
auth_user,src_ip	metadata.event_type	auth_user が空でない場合は「USER_UNCATEGORIZED」に設定します。src_ip が空でない場合は「STATUS_UNCATEGORIZED」に設定します。それ以外の場合は「GENERIC_EVENT」に設定します。
	metadata.product_event_type	event_info が「RECORDING BATCH」と一致する場合は「RECORDING BATCH」に設定
CallId	metadata.product_log_id	値を直接コピー
user_agent	network.http.parsed_user_agent	値がコピーされ、parseduseragent 型に変換されました
user_agent	network.http.user_agent	値を直接コピー
session_id	network.session_id	値を直接コピー
src_ip	principal.ip	値を直接コピー
URL	principal.url	値を直接コピー
CallingParty	principal.user.phone_numbers	値を直接コピー
auth_user	principal.user.userid	値を直接コピー
重要度	security_result.action_details	重大度が ["INFO", "DEBUG"] の場合、値が直接コピーされます
重要度	security_result.severity	重大度が ["INFO", "DEBUG"] の場合は「LOW」に設定します。
CalledParty	target.user.phone_numbers	値を直接コピー
	metadata.vendor_name	「Comunycarse」に設定
	metadata.product_name	「Recordia」に設定

変更履歴

このパーサーの変更ログを表示する

さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。