Entrust 身元確認（旧称 Onfido）のログを収集する

以下でサポートされています。

Google SecOps SIEM

このドキュメントでは、Google Cloud Storage V2 を使用して Entrust Identity Verification（旧称 Onfido）ログを Google Security Operations に取り込む方法について説明します。パーサーは、未加工の Onfido 検証チェックとレポートログを Google SecOps UDM スキーマに変換します。

Entrust Identity Verification は、ドキュメントの検証、生体認証分析、不正行為の検出を自動化するクラウドベースの本人確認プラットフォームです。申請者、確認チェック、レポートを管理するための REST API を提供し、組織が身元確認ワークフローをアプリケーションに統合できるようにします。

始める前に

次の前提条件を満たしていることを確認してください。

• Google SecOps インスタンス
• Cloud Storage API が有効になっている GCP プロジェクト
• GCS バケットを作成および管理する権限
• GCS バケットの IAM ポリシーを管理する権限
• Cloud Run サービス、Pub/Sub トピック、Cloud Scheduler ジョブを作成する権限
• API アクセス権を持つ Entrust Identity Verification（旧 Onfido）アカウント
• チェックとレポートを読み取るための十分な権限を持つ Onfido API トークン

Onfido API 認証情報を収集する

API トークンを取得する

1. Onfido ダッシュボードにログインします。
2. [Developers] > [API Tokens] に移動します。
3. 既存のライブ API トークンをコピーするか、[Generate API token] をクリックして新しいトークンを作成します。
4. トークンの名前を入力します（例: Google Security Operations Integration）。
5. トークンの種類として [Live] を選択します。

6. API トークンをコピーして安全に保存します。

   注: API トークンは 1 度しか表示されません。作成したらすぐに安全な場所に保管してください。

権限を確認する

API トークンに必要な権限があることを確認するには:

1. Onfido ダッシュボードにログインします。
2. [Developers] > [API Tokens] に移動します。
3. トークンが [Live] ステータスで表示され、取り消されていないことを確認します。
4. API アクセスをテストして、トークンにチェックとレポートへの読み取りアクセス権があることを確認します。

テスト API へのアクセス

• 統合に進む前に、認証情報をテストします。

  # Replace with your actual API token
  ONFIDO_API_TOKEN="your-api-token"
  
  # Test API access - list checks
  curl -v -H "Authorization: Token token=${ONFIDO_API_TOKEN}" \
    "[https://api.onfido.com/v3.6/checks](https://api.onfido.com/v3.6/checks)"
  

成功したレスポンスは、checks 配列を含む JSON オブジェクトとともに HTTP 200 を返します。

Google Cloud Storage バケットを作成する

1. Google Cloud コンソールに移動します。
2. プロジェクトを選択するか、新しいプロジェクトを作成します。
3. ナビゲーション メニューで、[Cloud Storage] > [バケット] に移動します。

4. [バケットを作成] をクリックします。

5. 次の構成情報を提供してください。

   設定	値
   バケットに名前を付ける	グローバルに一意の名前（onfido-verification-logs など）を入力します。
   ロケーション タイプ	ニーズに応じて選択します（リージョン、デュアルリージョン、マルチリージョン）。
   ロケーション	ロケーションを選択します（例: us-central1）。
   ストレージ クラス	Standard（頻繁にアクセスするログにおすすめ）
   アクセス制御	均一（推奨）
   保護ツール	省略可: オブジェクトのバージョニングまたは保持ポリシーを有効にする

6. [作成] をクリックします。

Cloud Run functions のサービス アカウントを作成する

Cloud Run functions には、GCS バケットへの書き込み権限があり、Pub/Sub によって呼び出されるサービス アカウントが必要です。

サービス アカウントの作成

1. GCP Console で、[IAM と管理] > [サービス アカウント] に移動します。
2. [サービス アカウントを作成] をクリックします。
3. 次の構成情報を指定します。
   • サービス アカウント名: 「onfido-logs-collector-sa」と入力します。
   • サービス アカウントの説明: 「Service account for Cloud Run function to collect Onfido verification logs」と入力します。
4. [作成して続行] をクリックします。
5. [このサービス アカウントにプロジェクトへのアクセスを許可する] セクションで、次のロールを追加します。
   1. [ロールを選択] をクリックします。
   2. [Storage オブジェクト管理者] を検索して選択します。
   3. [+ 別のロールを追加] をクリックします。
   4. [Cloud Run 起動元] を検索して選択します。
   5. [+ 別のロールを追加] をクリックします。
   6. [Cloud Functions 起動元] を検索して選択します。
6. [続行] をクリックします。
7. [完了] をクリックします。

これらのロールは、次の操作に必要です。

• Storage オブジェクト管理者: ログを GCS バケットに書き込み、状態ファイルを管理する
• Cloud Run 起動元: Pub/Sub が関数を呼び出せるようにします。
• Cloud Functions 起動元: 関数の呼び出しを許可します。

GCS バケットに対する IAM 権限を付与する

GCS バケットに対する書き込み権限をサービス アカウントに付与します。

1. [Cloud Storage] > [バケット] に移動します。
2. バケット名をクリックします。
3. [権限] タブに移動します。
4. [アクセス権を付与] をクリックします。
5. 次の構成情報を指定します。
   • プリンシパルを追加: サービス アカウントのメールアドレス（例: onfido-logs-collector-sa@PROJECT_ID.iam.gserviceaccount.com）を入力します。
   • ロールを割り当てる: [Storage オブジェクト管理者] を選択します。
6. [保存] をクリックします。

Pub/Sub トピックの作成

Cloud Scheduler がパブリッシュし、Cloud Run 関数がサブスクライブする Pub/Sub トピックを作成します。

1. GCP Console で、[Pub/Sub] > [トピック] に移動します。
2. [トピックを作成] をクリックします。
3. 次の構成情報を指定します。
   • トピック ID: 「onfido-logs-trigger」と入力します。
   • その他の設定はデフォルトのままにします。
4. [作成] をクリックします。

ログを収集する Cloud Run 関数を作成する

Cloud Run 関数は、Cloud Scheduler からの Pub/Sub メッセージによってトリガーされ、Onfido API から検証チェックとレポートを取得して GCS に書き込みます。

1. GCP Console で Cloud Run に移動します。
2. [サービスを作成] をクリックします。
3. [関数]（インライン編集を使用して関数を作成する）を選択します。

4. [構成] セクションで、次の構成の詳細を指定します。

   設定	値
   サービス名	onfido-logs-collector
   リージョン	GCS バケットと一致するリージョンを選択します（例: us-central1）。
   ランタイム	[Python 3.12] 以降を選択します。

5. [トリガー（省略可）] セクションで、次の操作を行います。

   1. [+ トリガーを追加] をクリックします。
   2. [Cloud Pub/Sub] を選択します。
   3. [Cloud Pub/Sub トピックを選択してください] で、onfido-logs-trigger を選択します。
   4. [保存] をクリックします。

6. [認証] セクションで、次の操作を行います。

   1. [認証が必要] を選択します。
   2. Identity and Access Management（IAM）を確認します。
   注: Pub/Sub は、関数の呼び出し時に認証を自動的に処理します。

7. 下にスクロールして、[コンテナ、ネットワーキング、セキュリティ] を開きます。

8. [セキュリティ] タブに移動します。

   • サービス アカウント: onfido-logs-collector-sa を選択します。

9. [コンテナ] タブに移動します。

   1. [変数とシークレット] をクリックします。
   2. 環境変数ごとに [+ 変数を追加] をクリックします。

   変数名	値の例	説明
   GCS_BUCKET	onfido-verification-logs	GCS バケット名
   GCS_PREFIX	onfido-logs	ログファイルの接頭辞
   STATE_KEY	onfido-logs/state.json	状態ファイルのパス
   ONFIDO_API_TOKEN	your-api-token-here	Onfido API トークン
   MAX_RECORDS	1000	1 回の実行あたりの最大レコード数
   PAGE_SIZE	100	1 ページあたりのレコード数
   LOOKBACK_HOURS	24	初期ルックバック期間

10. [変数とシークレット] セクションで、[リクエスト] まで下にスクロールします。

    • リクエストのタイムアウト: 600 秒（10 分）を入力します。

11. [設定] タブに移動します。

    • [リソース] セクションで、次の操作を行います。
      • メモリ: 512 MiB 以上を選択します。
      • CPU: [1] を選択します。

12. [リビジョン スケーリング] セクションで、次の操作を行います。

    • [インスタンスの最小数] に「0」と入力します。
    • [インスタンスの最大数]: 「100」と入力します（または、予想される負荷に基づいて調整します）。

13. [作成] をクリックします。

14. サービスが作成されるまで待ちます（1 ～ 2 分）。

15. サービスが作成されると、インライン コードエディタが自動的に開きます。

関数コードを追加する

1. [関数のエントリ ポイント] に「main」と入力します。

2. インライン コード エディタで、次の 2 つのファイルを作成します。

   • 最初のファイル: main.py:

   import functions_framework
   from google.cloud import storage
   import json
   import os
   import urllib3
   from datetime import datetime, timezone, timedelta
   import time
   
   # Initialize HTTP client with timeouts
   http = urllib3.PoolManager(
       timeout=urllib3.Timeout(connect=5.0, read=30.0),
       retries=False,
   )
   
   # Initialize Storage client
   storage_client = storage.Client()
   
   # Environment variables
   GCS_BUCKET = os.environ.get('GCS_BUCKET')
   GCS_PREFIX = os.environ.get('GCS_PREFIX', 'onfido-logs')
   STATE_KEY = os.environ.get('STATE_KEY', 'onfido-logs/state.json')
   ONFIDO_API_TOKEN = os.environ.get('ONFIDO_API_TOKEN')
   MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '1000'))
   PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100'))
   LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24'))
   
   API_BASE = '[https://api.onfido.com/v3.6](https://api.onfido.com/v3.6)'
   
   def parse_datetime(value: str) -> datetime:
       """Parse ISO datetime string to datetime object."""
       if value.endswith("Z"):
           value = value[:-1] + "+00:00"
       return datetime.fromisoformat(value)
   
   @functions_framework.cloud_event
   def main(cloud_event):
       """
       Cloud Run function triggered by Pub/Sub to fetch Onfido verification
       checks and reports and write to GCS.
   
       Args:
           cloud_event: CloudEvent object containing Pub/Sub message
       """
   
       if not all([GCS_BUCKET, ONFIDO_API_TOKEN]):
           print('Error: Missing required environment variables')
           return
   
       try:
           # Get GCS bucket
           bucket = storage_client.bucket(GCS_BUCKET)
   
           # Load state
           state = load_state(bucket, STATE_KEY)
   
           # Determine time window
           now = datetime.now(timezone.utc)
           last_time = None
   
           if isinstance(state, dict) and state.get("last_event_time"):
               try:
                   last_time = parse_datetime(state["last_event_time"])
                   # Overlap by 2 minutes to catch any delayed events
                   last_time = last_time - timedelta(minutes=2)
               except Exception as e:
                   print(f"Warning: Could not parse last_event_time: {e}")
   
           if last_time is None:
               last_time = now - timedelta(hours=LOOKBACK_HOURS)
   
           print(f"Fetching logs from {last_time.isoformat()} to {now.isoformat()}")
   
           # Fetch checks
           checks, newest_check_time = fetch_checks(
               api_token=ONFIDO_API_TOKEN,
               start_time=last_time,
               end_time=now,
               page_size=PAGE_SIZE,
               max_records=MAX_RECORDS,
           )
   
           # Fetch reports for each check
           all_records = []
           for check in checks:
               check_record = check.copy()
               check_id = check.get('id')
               if check_id:
                   reports = fetch_reports(api_token=ONFIDO_API_TOKEN, check_id=check_id)
                   check_record['reports'] = reports
               all_records.append(check_record)
   
           if not all_records:
               print("No new log records found.")
               save_state(bucket, STATE_KEY, now.isoformat())
               return
   
           # Write to GCS as NDJSON
           timestamp = now.strftime('%Y%m%d_%H%M%S')
           object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson"
           blob = bucket.blob(object_key)
   
           ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in all_records]) + '\n'
           blob.upload_from_string(ndjson, content_type='application/x-ndjson')
   
           print(f"Wrote {len(all_records)} records to gs://{GCS_BUCKET}/{object_key}")
   
           # Update state with newest event time
           if newest_check_time:
               save_state(bucket, STATE_KEY, newest_check_time)
           else:
               save_state(bucket, STATE_KEY, now.isoformat())
   
           print(f"Successfully processed {len(all_records)} records")
   
       except Exception as e:
           print(f'Error processing logs: {str(e)}')
           raise
   
   def load_state(bucket, key):
       """Load state from GCS."""
       try:
           blob = bucket.blob(key)
           if blob.exists():
               state_data = blob.download_as_text()
               return json.loads(state_data)
       except Exception as e:
           print(f"Warning: Could not load state: {e}")
   
       return {}
   
   def save_state(bucket, key, last_event_time_iso: str):
       """Save the last event timestamp to GCS state file."""
       try:
           state = {'last_event_time': last_event_time_iso}
           blob = bucket.blob(key)
           blob.upload_from_string(
               json.dumps(state, indent=2),
               content_type='application/json'
           )
           print(f"Saved state: last_event_time={last_event_time_iso}")
       except Exception as e:
           print(f"Warning: Could not save state: {e}")
   
   def fetch_checks(api_token: str, start_time: datetime, end_time: datetime, page_size: int, max_records: int):
       """
       Fetch verification checks from the Onfido API with pagination and rate limiting.
   
       Args:
           api_token: Onfido API token
           start_time: Start time for check query
           end_time: End time for check query
           page_size: Number of records per page
           max_records: Maximum total records to fetch
   
       Returns:
           Tuple of (checks list, newest_event_time ISO string)
       """
       headers = {
           'Authorization': f'Token token={api_token}',
           'Accept': 'application/json',
           'User-Agent': 'GoogleSecOps-OnfidoCollector/1.0'
       }
   
       records = []
       newest_time = None
       page_num = 0
       backoff = 1.0
       current_page = 1
   
       while True:
           page_num += 1
   
           if len(records) >= max_records:
               print(f"Reached max_records limit ({max_records})")
               break
   
           url = f"{API_BASE}/checks?page={current_page}&per_page={page_size}"
   
           try:
               response = http.request('GET', url, headers=headers)
   
               # Handle rate limiting with exponential backoff
               if response.status == 429:
                   retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
                   print(f"Rate limited (429). Retrying after {retry_after}s...")
                   time.sleep(retry_after)
                   backoff = min(backoff * 2, 30.0)
                   continue
   
               backoff = 1.0
   
               if response.status != 200:
                   print(f"HTTP Error: {response.status}")
                   response_text = response.data.decode('utf-8')
                   print(f"Response body: {response_text}")
                   return [], None
   
               data = json.loads(response.data.decode('utf-8'))
   
               page_results = data.get('checks', [])
   
               if not page_results:
                   print(f"No more results (empty page)")
                   break
   
               # Filter checks within the time window
               filtered = []
               for check in page_results:
                   created_at = check.get('created_at')
                   if created_at:
                       try:
                           check_time = parse_datetime(created_at)
                           if start_time <= check_time <= end_time:
                               filtered.append(check)
                           if newest_time is None or check_time > parse_datetime(newest_time):
                               newest_time = created_at
                       except Exception as e:
                           print(f"Warning: Could not parse check time: {e}")
                           filtered.append(check)
   
               print(f"Page {page_num}: Retrieved {len(page_results)} checks, {len(filtered)} in time window")
               records.extend(filtered)
   
               # Check for more results
               if len(page_results) < page_size:
                   print(f"Reached last page (size={len(page_results)} < limit={page_size})")
                   break
   
               current_page += 1
   
           except Exception as e:
               print(f"Error fetching checks: {e}")
               return [], None
   
       print(f"Retrieved {len(records)} total checks from {page_num} pages")
       return records[:max_records], newest_time
   
   def fetch_reports(api_token: str, check_id: str):
       """
       Fetch reports for a specific check from the Onfido API.
   
       Args:
           api_token: Onfido API token
           check_id: Check ID to fetch reports for
   
       Returns:
           List of report objects
       """
       headers = {
           'Authorization': f'Token token={api_token}',
           'Accept': 'application/json',
           'User-Agent': 'GoogleSecOps-OnfidoCollector/1.0'
       }
   
       url = f"{API_BASE}/reports?check_id={check_id}"
   
       try:
           response = http.request('GET', url, headers=headers)
   
           if response.status == 429:
               time.sleep(2)
               response = http.request('GET', url, headers=headers)
   
           if response.status != 200:
               print(f"Error fetching reports for check {check_id}: HTTP {response.status}")
               return []
   
           data = json.loads(response.data.decode('utf-8'))
           reports = data.get('reports', [])
           return reports
   
       except Exception as e:
           print(f"Error fetching reports for check {check_id}: {e}")
           return []
   

   • 2 つ目のファイル: requirements.txt:

   functions-framework==3.*
   google-cloud-storage==2.*
   urllib3>=2.0.0
   

   注: このスクリプトは例として提供されるものであり、公式にはサポートされていません。スクリプトの改善について、ぜひフィードバックをお寄せください。フィードバックを送信するには、このページで [Send Feedback] > [Google SecOps Security Product Feedback] をクリックします。

3. [デプロイ] をクリックして、関数を保存してデプロイします。

4. デプロイが完了するまで待ちます（2 ～ 3 分）。

   注: Pub/Sub トリガー構成では、必要なサブスクリプションと権限が自動的に作成されます。

Cloud Scheduler ジョブの作成

Cloud Scheduler は、定期的に Pub/Sub トピックにメッセージをパブリッシュし、Cloud Run 関数をトリガーします。

1. GCP Console で、[Cloud Scheduler] に移動します。

2. [ジョブを作成] をクリックします。

3. 次の構成情報を提供してください。

   設定	値
   名前	onfido-logs-collector-hourly
   リージョン	Cloud Run functions の関数と同じリージョンを選択します。
   周波数	0 * * * *（1 時間ごと、毎正時）
   タイムゾーン	タイムゾーンを選択（UTC を推奨）
   ターゲット タイプ	Pub/Sub
   トピック	onfido-logs-trigger を選択
   メッセージ本文	{}（空の JSON オブジェクト）

4. [作成] をクリックします。

スケジュールの頻度オプション

ログの量とレイテンシの要件に基づいて頻度を選択します。

頻度	CRON 式	ユースケース
5 分おき	*/5 * * * *	大容量、低レイテンシ
15 分ごと	*/15 * * * *	検索量が普通
1 時間ごと	0 * * * *	標準（推奨）
6 時間ごと	0 */6 * * *	少量のバッチ処理
毎日	0 0 * * *	過去のデータの収集

統合をテストする

1. Cloud Scheduler コンソールで、ジョブを見つけます。
2. [強制実行] をクリックして、ジョブを手動でトリガーします。
3. 数秒待ちます。
4. Cloud Run > [サービス] に移動します。
5. onfido-logs-collector をクリックします。
6. [ログ] タブをクリックします。

7. 関数が正常に実行されたことを確認します。以下のものを探します。

   Fetching logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00
   Page 1: Retrieved X checks, X in time window
   Wrote X records to gs://bucket-name/onfido-logs/logs_YYYYMMDD_HHMMSS.ndjson
   Successfully processed X records
   

8. [Cloud Storage] > [バケット] に移動します。

9. バケット名をクリックします。

10. onfido-logs/ フォルダに移動します。

11. 現在のタイムスタンプで新しい .ndjson ファイルが作成されたことを確認します。

ログにエラーが表示される場合:

• HTTP 401: 環境変数で Onfido API トークンを確認します。
• HTTP 403: API トークンにライブアクセスがあり、取り消されていないことを確認します。
• HTTP 429: レート制限 - 関数はバックオフで自動的に再試行されます
• 環境変数が不足している: 必要な変数がすべて設定されていることを確認します。

Onfido のログを取り込むように Google SecOps でフィードを構成する

1. [SIEM 設定] > [フィード] に移動します。
2. [Add New Feed] をクリックします。
3. [単一フィードを設定] をクリックします。
4. [フィード名] フィールドに、フィードの名前を入力します（例: Onfido Verification Logs）。
5. [ソースタイプ] として [Google Cloud Storage V2] を選択します。
6. [ログタイプ] として [Onfido] を選択します。

7. [サービス アカウントを取得する] をクリックします。一意のサービス アカウントのメールアドレスが表示されます。例:

   [e-mail]
   

8. このメールアドレスをコピーします。次のステップでこれを使用します。

   注: Google SecOps インスタンスごとに一意のサービス アカウントがあります。他のドキュメントや例のサービス アカウントは使用しないでください。

9. [次へ] をクリックします。

10. 次の入力パラメータの値を指定します。

    • ストレージ バケットの URL: 接頭辞パスを含む GCS バケット URI を入力します。

      gs://onfido-verification-logs/onfido-logs/
      

      • 次のように置き換えます。
        • onfido-verification-logs: GCS バケット名。
        • onfido-logs: ログが保存されるオプションの接頭辞/フォルダパス（ルートの場合は空のままにします）。
    注: URI の末尾には必ずスラッシュ（/）を付けてください。

    • Source deletion option: 必要に応じて削除オプションを選択します。

      • なし: 転送後にファイルを削除しません（テストに推奨）。
      • 転送されたファイルを削除する: 転送が完了した後にファイルを削除します。
      • 転送されたファイルと空のディレクトリを削除する: 転送が成功した後にファイルと空のディレクトリを削除します。
      注: 削除オプションを選択する場合は、サービス アカウントに Storage オブジェクト閲覧者ではなく、Storage オブジェクト管理者のロールが必要です。必要に応じて IAM 権限を更新します。

    • ファイルの最長存続期間: 過去数日間に変更されたファイルを含めます。デフォルトは 180 日です。

    • アセットの名前空間: アセットの名前空間。

    • Ingestion labels: このフィードのイベントに適用されるラベル。

11. [次へ] をクリックします。

12. [Finalize] 画面で新しいフィードの設定を確認し、[送信] をクリックします。

Google SecOps サービス アカウントに IAM 権限を付与する

Google SecOps サービス アカウントには、GCS バケットに対する Storage オブジェクト閲覧者のロールが必要です。

1. [Cloud Storage] > [バケット] に移動します。
2. バケット名をクリックします。
3. [権限] タブに移動します。

4. [アクセス権を付与] をクリックします。

5. 次の構成情報を提供してください。

   • プリンシパルを追加: Google SecOps サービス アカウントのメールアドレスを貼り付けます。
   • ロールを割り当てる: [Storage オブジェクト閲覧者] を選択します。

6. [保存] をクリックします。

   注: 削除オプション「転送されたファイルを削除する」または「転送されたファイルと空のディレクトリを削除する」を使用する場合は、Storage オブジェクト閲覧者ではなく、Storage オブジェクト管理者ロールを付与します。

UDM マッピング テーブル

ログフィールド	UDM マッピング	ロジック
	read_only_udm.metadata.vendor_name	「ONFIDO」に設定します。
	read_only_udm.metadata.product_name	「ONFIDO」に設定します。
	read_only_udm.metadata.log_type	「ONFIDO」に設定します。

変更ログ

このパーサーの変更ログを表示する

さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。