PingOne Advanced Identity Cloud ログを収集する

以下でサポートされています。

このドキュメントでは、Google Cloud Storage を使用して PingOne Advanced Identity Cloud ログを Google Security Operations に取り込む方法について説明します。PingOne Advanced Identity Cloud は、クラウドベースのアプリケーションに認証、認可、ユーザー管理機能を提供する ID とアクセス管理のプラットフォームです。

始める前に

次の前提条件を満たしていることを確認します。

  • Google SecOps インスタンス
  • Cloud Storage API が有効になっている GCP プロジェクト
  • GCS バケットを作成および管理する権限
  • GCS バケットの IAM ポリシーを管理する権限
  • Cloud Run サービス、Pub/Sub トピック、Cloud Scheduler ジョブを作成する権限
  • PingOne Advanced Identity Cloud テナントへの特権アクセス

PingOne API キーとテナント FQDN を取得する

  1. Advanced Identity Cloud の管理コンソールにログインします。
  2. ユーザー アイコン > [テナントの設定] をクリックします。
  3. [グローバル設定] タブで、[API キーをログに記録] をクリックします。
  4. [New Log API Key] をクリックし、キーの名前を指定します。
  5. [キーを作成] をクリックします。
  6. api_key_id と api_key_secret の値をコピーして安全な場所に保存します。api_key_secret 値は再度表示されません。
  7. [完了] をクリックします。

  8. [テナント設定] > [詳細] に移動し、テナントの FQDN（例: example.tomcat.pingone.com）を見つけます。

Google Cloud Storage バケットを作成する

  1. Google Cloud Console に移動します。
  2. プロジェクトを選択するか、新しいプロジェクトを作成します。
  3. ナビゲーション メニューで、[Cloud Storage > バケット] に移動します。
  4. [バケットを作成] をクリックします。

  5. 次の構成情報を提供してください。

    設定 値
    バケットに名前を付ける グローバルに一意の名前（pingone-aic-logs など）を入力します。
    ロケーション タイプ ニーズに基づいて選択します（リージョン、デュアルリージョン、マルチリージョン）。
    ロケーション ロケーションを選択します（例: us-central1）。
    ストレージ クラス Standard（頻繁にアクセスされるログにおすすめ）
    アクセス制御 均一（推奨）
    保護ツール 省略可: オブジェクトのバージョニングまたは保持ポリシーを有効にする

  6. [作成] をクリックします。

Cloud Run functions のサービス アカウントを作成する

Cloud Run 関数には、GCS バケットに書き込み、Pub/Sub によって呼び出される権限を持つサービス アカウントが必要です。

サービス アカウントの作成

  1. GCP Console で、[IAM と管理>サービス アカウント] に移動します。
  2. [サービス アカウントを作成] をクリックします。
  3. 次の構成の詳細を指定します。
    • サービス アカウント名: 「pingone-aic-collector-sa」と入力します。
    • サービス アカウントの説明: 「Service account for Cloud Run function to collect PingOne Advanced Identity Cloud logs」と入力します。
  4. [作成して続行] をクリックします。
  5. [このサービス アカウントにプロジェクトへのアクセスを許可する] セクションで、次のロールを追加します。
    1. [ロールを選択] をクリックします。
    2. [ストレージ オブジェクト管理者] を検索して選択します。
    3. [+ 別のロールを追加] をクリックします。
    4. [Cloud Run 起動元] を検索して選択します。
    5. [+ 別のロールを追加] をクリックします。
    6. [Cloud Functions 起動元] を検索して選択します。
  6. [続行] をクリックします。
  7. [完了] をクリックします。

これらのロールは、次の目的で必要です。

  • Storage オブジェクト管理者: ログを GCS バケットに書き込み、状態ファイルを管理する
  • Cloud Run 起動元: Pub/Sub が関数を呼び出すことを許可する
  • Cloud Functions 起動元: 関数の呼び出しを許可する

GCS バケットに対する IAM 権限を付与する

GCS バケットに対する書き込み権限をサービス アカウントに付与します。

  1. [Cloud Storage] > [バケット] に移動します。
  2. バケット名をクリックします。
  3. [権限] タブに移動します。
  4. [アクセス権を付与] をクリックします。
  5. 次の構成の詳細を指定します。
    • プリンシパルを追加: サービス アカウントのメールアドレス（例: pingone-aic-collector-sa@PROJECT_ID.iam.gserviceaccount.com）を入力します。
    • ロールを割り当てる: [Storage オブジェクト管理者] を選択します。
  6. [保存] をクリックします。

Pub/Sub トピックの作成

Cloud Scheduler がパブリッシュし、Cloud Run functions がサブスクライブする Pub/Sub トピックを作成します。

  1. GCP Console で、[Pub/Sub> トピック] に移動します。
  2. [トピックを作成] をクリックします。
  3. 次の構成の詳細を指定します。
    • トピック ID: 「pingone-aic-trigger」と入力します。
    • その他の設定はデフォルトのままにします。
  4. [作成] をクリックします。

ログを収集する Cloud Run 関数を作成する

Cloud Run 関数は、Cloud Scheduler からの Pub/Sub メッセージによってトリガーされ、PingOne Advanced Identity Cloud API からログを取得して GCS に書き込みます。

  1. GCP Console で、[Cloud Run] に移動します。
  2. [サービスを作成] をクリックします。
  3. [関数] を選択します（インライン エディタを使用して関数を作成します）。

  4. [構成] セクションで、次の構成の詳細を指定します。

    設定 値
    サービス名 pingone-aic-collector
    リージョン GCS バケットと一致するリージョンを選択します（例: us-central1）。
    ランタイム [Python 3.12] 以降を選択します。

  5. [トリガー（省略可）] セクションで、次の操作を行います。

    1. [+ トリガーを追加] をクリックします。
    2. [Cloud Pub/Sub] を選択します。
    3. [Cloud Pub/Sub トピックを選択してください] で、Pub/Sub トピック（pingone-aic-trigger）を選択します。
    4. [保存] をクリックします。

  6. [認証] セクションで、次の操作を行います。

    1. [認証が必要] を選択します。
    2. Identity and Access Management（IAM）を確認します。

  7. 下にスクロールして、[コンテナ、ネットワーキング、セキュリティ] を開きます。

  8. [セキュリティ] タブに移動します。

    • サービス アカウント: サービス アカウントを選択します（pingone-aic-collector-sa）。

  9. [コンテナ] タブに移動します。

    1. [変数とシークレット] をクリックします。
    2. 環境変数ごとに [+ 変数を追加] をクリックします。
    変数名 値の例 説明
    GCS_BUCKET pingone-aic-logs GCS バケット名
    GCS_PREFIX pingone-aic/logs ログファイルの接頭辞
    STATE_KEY pingone-aic/logs/state.json 状態ファイルのパス
    AIC_TENANT_FQDN example.tomcat.pingone.com テナント FQDN
    AIC_API_KEY_ID your-api-key-id API キー ID
    AIC_API_SECRET your-api-key-secret API キー シークレット
    SOURCES am-everything,idm-everything カンマ区切りのログソース（下記の注を参照）
    PAGE_SIZE 500 1 ページあたりのレコード数
    MAX_PAGES 20 実行あたりの最大ページ数
    LOOKBACK_SECONDS 3600 最初のルックバック期間

  10. [変数とシークレット] セクションで、[リクエスト] までスクロールします。

    • リクエストのタイムアウト: 600 秒（10 分）を入力します。

  11. [設定] タブに移動します。

    • [リソース] セクションで次の操作を行います。
      • メモリ: 512 MiB 以上を選択します。
      • CPU: [1] を選択します。

  12. [リビジョン スケーリング] セクションで、次の操作を行います。

    • [インスタンスの最小数] に「0」と入力します。
    • インスタンスの最大数: 100 と入力します（または、予想される負荷に基づいて調整します）。

  13. [作成] をクリックします。

  14. サービスが作成されるまで待ちます（1 ～ 2 分）。

  15. サービスを作成すると、インライン コードエディタが自動的に開きます。

関数コードを追加する

  1. [関数のエントリ ポイント] に「main」と入力します。

  2. インライン コードエディタで、次の 2 つのファイルを作成します。

    • 最初のファイル: main.py:
    import functions_framework
from google.cloud import storage
import json
import os
import urllib3
from datetime import datetime, timezone
import time

# Initialize HTTP client with timeouts
http = urllib3.PoolManager(
    timeout=urllib3.Timeout(connect=5.0, read=30.0),
    retries=False,
)

# Initialize Storage client
storage_client = storage.Client()

@functions_framework.cloud_event
def main(cloud_event):
    """
    Cloud Run function triggered by Pub/Sub to fetch logs from PingOne Advanced Identity Cloud API and write to GCS.

    Args:
        cloud_event: CloudEvent object containing Pub/Sub message
    """

    # Get environment variables
    bucket_name = os.environ.get('GCS_BUCKET')
    prefix = os.environ.get('GCS_PREFIX', 'pingone-aic/logs')
    state_key = os.environ.get('STATE_KEY', 'pingone-aic/logs/state.json')

    fqdn = os.environ.get('AIC_TENANT_FQDN', '').strip('/')
    api_key_id = os.environ.get('AIC_API_KEY_ID')
    api_key_secret = os.environ.get('AIC_API_SECRET')

    sources = [s.strip() for s in os.environ.get('SOURCES', 'am-everything,idm-everything').split(',') if s.strip()]
    page_size = min(int(os.environ.get('PAGE_SIZE', '500')), 1000)
    max_pages = int(os.environ.get('MAX_PAGES', '20'))
    lookback_seconds = int(os.environ.get('LOOKBACK_SECONDS', '3600'))

    if not all([bucket_name, fqdn, api_key_id, api_key_secret]):
        print('Error: Missing required environment variables')
        return

    try:
        # Get GCS bucket
        bucket = storage_client.bucket(bucket_name)

        # Load state
        state = load_state(bucket, state_key)
        state.setdefault('sources', {})

        summary = []

        for source in sources:
            last_ts = state['sources'].get(source, {}).get('last_ts')
            res = fetch_source(bucket, prefix, fqdn, api_key_id, api_key_secret, source, last_ts, page_size, max_pages, lookback_seconds)

            if res.get('newest_ts'):
                state['sources'][source] = {'last_ts': res['newest_ts']}

            summary.append(res)

        # Save state
        save_state(bucket, state_key, state)

        print(f'Successfully processed logs: {json.dumps(summary)}')

    except Exception as e:
        print(f'Error processing logs: {str(e)}')
        raise

def load_state(bucket, key):
    """Load state from GCS."""
    try:
        blob = bucket.blob(key)
        if blob.exists():
            state_data = blob.download_as_text()
            return json.loads(state_data)
    except Exception as e:
        print(f'Warning: Could not load state: {str(e)}')
    return {'sources': {}}

def save_state(bucket, key, state):
    """Save state to GCS."""
    try:
        blob = bucket.blob(key)
        blob.upload_from_string(
            json.dumps(state, separators=(',', ':')),
            content_type='application/json'
        )
    except Exception as e:
        print(f'Warning: Could not save state: {str(e)}')

def fetch_source(bucket, prefix, fqdn, api_key_id, api_key_secret, source, last_ts, page_size, max_pages, lookback_seconds):
    """Fetch logs for a specific source."""
    base_url = f"https://{fqdn}/monitoring/logs"
    now = time.time()

    begin_time = bounded_begin_time(last_ts, now, lookback_seconds)

    params = {
        'source': source,
        '_pageSize': str(page_size),
        '_sortKeys': 'timestamp',
        'beginTime': begin_time
    }

    headers = {
        'x-api-key': api_key_id,
        'x-api-secret': api_key_secret
    }

    pages = 0
    written = 0
    newest_ts = last_ts
    cookie = None

    while pages < max_pages:
        if cookie:
            params['_pagedResultsCookie'] = cookie

        # Build query string
        query_parts = [f"{k}={v}" for k, v in params.items()]
        query_string = '&'.join(query_parts)
        url = f"{base_url}?{query_string}"

        # Make request with retry logic
        data = http_get_with_retry(url, headers)

        # Write page to GCS
        write_page(bucket, prefix, data, source)

        # Process results
        results = data.get('result') or data.get('results') or []
        for item in results:
            t = item.get('timestamp') or item.get('payload', {}).get('timestamp')
            if t and (newest_ts is None or t > newest_ts):
                newest_ts = t

        written += len(results)
        cookie = data.get('pagedResultsCookie')
        pages += 1

        if not cookie:
            break

    return {
        'source': source,
        'pages': pages,
        'written': written,
        'newest_ts': newest_ts
    }

def http_get_with_retry(url, headers, timeout=60, max_retries=5):
    """Make HTTP GET request with retry logic."""
    attempt = 0
    backoff = 1.0

    while True:
        try:
            response = http.request('GET', url, headers=headers, timeout=timeout)

            if response.status == 429 and attempt < max_retries:
                # Rate limited - check for X-RateLimit-Reset header
                reset_header = response.headers.get('X-RateLimit-Reset')
                if reset_header:
                    delay = max(1, int(reset_header) - int(time.time()))
                else:
                    delay = int(backoff)

                print(f'Rate limited, waiting {delay} seconds')
                time.sleep(delay)
                attempt += 1
                backoff *= 2
                continue

            if 500 <= response.status < 600 and attempt < max_retries:
                print(f'Server error {response.status}, retrying in {backoff} seconds')
                time.sleep(backoff)
                attempt += 1
                backoff *= 2
                continue

            if response.status != 200:
                raise Exception(f'HTTP {response.status}: {response.data.decode("utf-8")}')

            return json.loads(response.data.decode('utf-8'))

        except Exception as e:
            if attempt < max_retries:
                print(f'Request failed: {str(e)}, retrying in {backoff} seconds')
                time.sleep(backoff)
                attempt += 1
                backoff *= 2
                continue
            raise

def write_page(bucket, prefix, payload, source):
    """Write a page of logs to GCS."""
    ts = datetime.now(timezone.utc)
    blob_name = f"{prefix}/{ts.strftime('%Y/%m/%d/%H%M%S')}-pingone-aic-{source}.json"

    blob = bucket.blob(blob_name)
    blob.upload_from_string(
        json.dumps(payload, separators=(',', ':')),
        content_type='application/json'
    )

    print(f'Wrote logs to {blob_name}')

def bounded_begin_time(last_ts, now, lookback_seconds):
    """Calculate begin time bounded by 24 hour limit."""
    twenty_four_h_ago = now - 24 * 3600

    if last_ts:
        try:
            # Parse ISO timestamp
            t_struct = time.strptime(last_ts[:19] + 'Z', '%Y-%m-%dT%H:%M:%SZ')
            t_epoch = int(time.mktime(t_struct))
        except Exception:
            t_epoch = int(now - lookback_seconds)

        begin_epoch = max(t_epoch, int(twenty_four_h_ago))
    else:
        begin_epoch = max(int(now - lookback_seconds), int(twenty_four_h_ago))

    return time.strftime('%Y-%m-%dT%H:%M:%SZ', time.gmtime(begin_epoch))
    • 2 つ目のファイル: requirements.txt:
    functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

  3. [デプロイ] をクリックして、関数を保存してデプロイします。

  4. デプロイが完了するまで待ちます（2 ～ 3 分）。

Cloud Scheduler ジョブの作成

Cloud Scheduler は、定期的に Pub/Sub トピックにメッセージをパブリッシュし、Cloud Run functions の関数をトリガーします。

  1. GCP Console で、[Cloud Scheduler] に移動します。
  2. [ジョブを作成] をクリックします。

  3. 次の構成情報を提供してください。

    設定 値
    名前 pingone-aic-collector-hourly
    リージョン Cloud Run functions と同じリージョンを選択する
    周波数 0 * * * *（1 時間ごとに正時）
    タイムゾーン タイムゾーンを選択します（UTC を推奨）。
    ターゲット タイプ Pub/Sub
    トピック Pub/Sub トピック（pingone-aic-trigger）を選択する
    メッセージ本文 {}（空の JSON オブジェクト）

  4. [作成] をクリックします。

スケジュールの頻度のオプション

  • ログの量とレイテンシの要件に基づいて頻度を選択します。

    頻度 CRON 式 ユースケース
    5 分毎 */5 * * * * 大容量、低レイテンシ
    15 分ごと */15 * * * * 検索量が普通
    1 時間ごと 0 * * * * 標準（推奨）
    6 時間ごと 0 */6 * * * 少量、バッチ処理
    毎日 0 0 * * * 履歴データの収集

統合をテストする

  1. Cloud Scheduler コンソールで、ジョブ（pingone-aic-collector-hourly）を見つけます。
  2. [強制実行] をクリックして、ジョブを手動でトリガーします。
  3. 数秒待ちます。
  4. Cloud Run > サービスに移動します。
  5. 関数名（pingone-aic-collector）をクリックします。
  6. [Logs] タブをクリックします。

  7. 関数が正常に実行されたことを確認します。次の内容を確認します。

    Fetching logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00
Page 1: Retrieved X events
Wrote logs to gs://bucket-name/prefix/logs_YYYYMMDD_HHMMSS.json
Successfully processed X records

  8. [Cloud Storage] > [バケット] に移動します。

  9. バケット名（pingone-aic-logs）をクリックします。

  10. プレフィックス フォルダ（pingone-aic/logs/）に移動します。

  11. 現在のタイムスタンプで新しい .json ファイルが作成されたことを確認します。

ログにエラーが表示された場合:

  • HTTP 401: 環境変数で API 認証情報を確認する
  • HTTP 403: アカウントに必要な権限があることを確認する
  • HTTP 429: レート制限 - 関数はバックオフで自動的に再試行されます
  • 環境変数が不足している: 必要な変数がすべて設定されていることを確認します

Google SecOps サービス アカウントを取得する

Google SecOps は、一意のサービス アカウントを使用して GCS バケットからデータを読み取ります。このサービス アカウントにバケットへのアクセス権を付与する必要があります。

サービス アカウントのメールアドレスを取得する

  1. [SIEM 設定] > [フィード] に移動します。
  2. [Add New Feed] をクリックします。
  3. [単一フィードを設定] をクリックします。
  4. [フィード名] フィールドに、フィードの名前を入力します（例: PingOne Advanced Identity Cloud）。
  5. [ソースタイプ] として [Google Cloud Storage V2] を選択します。
  6. [ログタイプ] として [PingOne Advanced Identity Cloud] を選択します。

  7. [サービス アカウントを取得する] をクリックします。一意のサービス アカウント メールアドレスが表示されます（例:）。

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com

  8. このメールアドレスをコピーして、次のステップで使用します。

Google SecOps サービス アカウントに IAM 権限を付与する

Google SecOps サービス アカウントには、GCS バケットに対する Storage オブジェクト閲覧者ロールが必要です。

  1. [Cloud Storage] > [バケット] に移動します。
  2. バケット名（pingone-aic-logs）をクリックします。
  3. [権限] タブに移動します。
  4. [アクセス権を付与] をクリックします。
  5. 次の構成の詳細を指定します。
    • プリンシパルを追加: Google SecOps サービス アカウントのメールアドレスを貼り付けます。
    • ロールを割り当てる: [ストレージ オブジェクト閲覧者] を選択します。

  6. [保存] をクリックします。

PingOne Advanced Identity Cloud のログを取り込むように Google SecOps でフィードを構成する

  1. [SIEM 設定] > [フィード] に移動します。
  2. [Add New Feed] をクリックします。
  3. [単一フィードを設定] をクリックします。
  4. [フィード名] フィールドに、フィードの名前を入力します（例: PingOne Advanced Identity Cloud）。
  5. [ソースタイプ] として [Google Cloud Storage V2] を選択します。
  6. [ログタイプ] として [PingOne Advanced Identity Cloud] を選択します。
  7. [次へ] をクリックします。

  8. 次の入力パラメータの値を指定します。

    • ストレージ バケットの URL: 接頭辞パスを含む GCS バケット URI を入力します。

      gs://pingone-aic-logs/pingone-aic/logs/

      • 次のように置き換えます。

        • pingone-aic-logs: GCS バケット名。
        • pingone-aic/logs/: ログが保存される接頭辞/フォルダパス（省略可）。

    • Source deletion option: 必要に応じて削除オプションを選択します。

      • なし: 転送後にファイルを削除しません（テストにおすすめ）。
      • 転送されたファイルを削除する: 転送が完了した後にファイルを削除します。

      • 転送されたファイルと空のディレクトリを削除する: 転送が完了した後にファイルと空のディレクトリを削除します。

    • ファイルの最大経過日数: 指定した日数以内に変更されたファイルを含めます。デフォルトは 180 日です。

    • アセットの名前空間: アセットの名前空間。

    • Ingestion labels: このフィードのイベントに適用されるラベル。

  9. [次へ] をクリックします。

  10. [Finalize] 画面で新しいフィードの設定を確認し、[送信] をクリックします。

ご不明な点がございましたら、コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。