Raccogliere i log di ForgeRock OpenIDM
Questo documento spiega come importare i log di ForgeRock OpenIDM in Google Security Operations utilizzando Google Cloud Storage V2.
ForgeRock OpenIDM (ora con il brand PingIDM) è una piattaforma di gestione delle identità che fornisce provisioning, sincronizzazione, gestione delle password e governance degli accessi degli utenti. Registra eventi del ciclo di vita dell'identità, tentativi di autenticazione, operazioni di riconciliazione e modifiche alla configurazione nei log di controllo accessibili tramite REST.
Prima di iniziare
Assicurati di disporre dei seguenti prerequisiti:
- Un'istanza Google SecOps
- Un progetto GCP con l'API Cloud Storage abilitata
- Autorizzazioni per creare e gestire bucket GCS
- Autorizzazioni per gestire le policy IAM nei bucket GCS
- Autorizzazioni per creare servizi Cloud Run, argomenti Pub/Sub e job Cloud Scheduler
- Accesso privilegiato all'istanza ForgeRock OpenIDM o PingIDM con credenziali amministrative
Creazione di un bucket Google Cloud Storage
- Vai alla console Google Cloud.
- Seleziona il tuo progetto o creane uno nuovo.
- Nel menu di navigazione, vai a Cloud Storage > Bucket.
- Fai clic su Crea bucket.
Fornisci i seguenti dettagli di configurazione:
Impostazione Valore Assegna un nome al bucket Inserisci un nome univoco globale (ad esempio forgerock-openidm-audit-logs).Tipo di località Scegli in base alle tue esigenze (regione singola, doppia regione, più regioni) Località Seleziona la posizione (ad esempio, us-central1).Classe di archiviazione Standard (consigliato per i log a cui si accede di frequente) Controllo dell'accesso Uniforme (consigliato) Strumenti di protezione (Facoltativo) Attiva il controllo delle versioni degli oggetti o la policy di conservazione Fai clic su Crea.
Raccogliere le credenziali ForgeRock OpenIDM
Recuperare l'URL di base di ForgeRock OpenIDM
- Accedi alla tua istanza ForgeRock OpenIDM o PingIDM.
- Prendi nota dell'URL di base dalla barra degli indirizzi del browser.
- Formato:
https://openidm.example.com - Non includere barre finali o percorsi come
/admin
- Formato:
Recuperare le credenziali amministrative
- Ottieni le credenziali amministrative per l'istanza di ForgeRock OpenIDM.
Ti serviranno:
- Nome utente: nome utente amministrativo (ad esempio,
openidm-admin) - Password: password amministrativa
- Nome utente: nome utente amministrativo (ad esempio,
Verifica le autorizzazioni
Per verificare che l'account disponga delle autorizzazioni richieste:
- Accedi a ForgeRock OpenIDM.
- Vai a Configura > Preferenze di Sistema > Audit.
- Se riesci a visualizzare la configurazione e gli argomenti di controllo, disponi delle autorizzazioni necessarie.
- Se non riesci a visualizzare questa opzione, contatta l'amministratore per concedere le autorizzazioni di lettura degli audit.
Testare l'accesso API
Verifica le tue credenziali prima di procedere con l'integrazione:
# Replace with your actual credentials
OPENIDM_BASE_URL="https://openidm.example.com"
OPENIDM_USERNAME="openidm-admin"
OPENIDM_PASSWORD="your-admin-password"
# Test API access to authentication audit topic
curl -v \
-H "X-OpenIDM-Username: ${OPENIDM_USERNAME}" \
-H "X-OpenIDM-Password: ${OPENIDM_PASSWORD}" \
-H "Accept-API-Version: resource=1.0" \
-H "Accept: application/json" \
"${OPENIDM_BASE_URL}/openidm/audit/authentication?_queryFilter=true&_pageSize=1"
Risposta prevista: HTTP 200 con JSON contenente gli eventi di controllo.
Crea un service account per la funzione Cloud Run
La funzione Cloud Run richiede un service account con autorizzazioni di scrittura nel bucket GCS e di invocazione da parte di Pub/Sub.
Crea service account
- Nella console Google Cloud, vai a IAM e amministrazione > Service Accounts.
- Fai clic su Crea account di servizio.
- Fornisci i seguenti dettagli di configurazione:
- Nome del service account: inserisci
forgerock-openidm-collector-sa. - Descrizione service account: inserisci
Service account for Cloud Run function to collect ForgeRock OpenIDM logs.
- Nome del service account: inserisci
- Fai clic su Crea e continua.
- Nella sezione Concedi a questo service account l'accesso al progetto, aggiungi i seguenti ruoli:
- Fai clic su Seleziona un ruolo.
- Cerca e seleziona Amministratore oggetti di archiviazione.
- Fai clic su + Aggiungi un altro ruolo.
- Cerca e seleziona Cloud Run Invoker.
- Fai clic su + Aggiungi un altro ruolo.
- Cerca e seleziona Invoker di Cloud Functions.
- Fai clic su Continua.
- Fai clic su Fine.
Questi ruoli sono necessari per:
- Amministratore oggetti Storage: scrive i log nel bucket GCS e gestisce i file di stato
- Cloud Run Invoker: consente a Pub/Sub di richiamare la funzione
- Cloud Functions Invoker: consente la chiamata di funzioni
Concedi autorizzazioni IAM sul bucket GCS
Concedi al service account le autorizzazioni di scrittura sul bucket GCS:
- Vai a Cloud Storage > Bucket.
- Fai clic sul nome del bucket (ad esempio
forgerock-openidm-audit-logs). - Vai alla scheda Autorizzazioni.
- Fai clic su Concedi l'accesso.
- Fornisci i seguenti dettagli di configurazione:
- Aggiungi entità: inserisci l'email del service account (ad es.
forgerock-openidm-collector-sa@PROJECT_ID.iam.gserviceaccount.com). - Assegna i ruoli: seleziona Storage Object Admin.
- Aggiungi entità: inserisci l'email del service account (ad es.
- Fai clic su Salva.
Crea argomento Pub/Sub
Crea un argomento Pub/Sub a cui Cloud Scheduler pubblicherà e a cui la funzione Cloud Run si iscriverà.
- Nella console GCP, vai a Pub/Sub > Argomenti.
- Fai clic su Crea argomento.
- Fornisci i seguenti dettagli di configurazione:
- ID argomento: inserisci
forgerock-openidm-trigger. - Lascia le altre impostazioni sui valori predefiniti.
- ID argomento: inserisci
- Fai clic su Crea.
Crea una funzione Cloud Run per raccogliere i log
La funzione Cloud Run verrà attivata dai messaggi Pub/Sub di Cloud Scheduler per recuperare i log dall'API ForgeRock OpenIDM e scriverli in GCS.
- Nella console GCP, vai a Cloud Run.
- Fai clic su Crea servizio.
- Seleziona Funzione (usa un editor in linea per creare una funzione).
Nella sezione Configura, fornisci i seguenti dettagli di configurazione:
Impostazione Valore Nome servizio forgerock-openidm-collectorRegione Seleziona la regione corrispondente al tuo bucket GCS (ad esempio us-central1)Tempo di esecuzione Seleziona Python 3.12 o versioni successive Nella sezione Trigger (facoltativo):
- Fai clic su + Aggiungi trigger.
- Seleziona Cloud Pub/Sub.
- In Seleziona un argomento Cloud Pub/Sub, scegli l'argomento Pub/Sub
forgerock-openidm-trigger. - Fai clic su Salva.
Nella sezione Autenticazione:
- Seleziona Richiedi autenticazione.
- Controlla Identity and Access Management (IAM).
Scorri fino a Container, networking, sicurezza ed espandi la sezione.
Vai alla scheda Sicurezza:
- Service account: seleziona il service account
forgerock-openidm-collector-sa.
- Service account: seleziona il service account
Vai alla scheda Container:
- Fai clic su Variabili e secret.
Fai clic su + Aggiungi variabile per ogni variabile di ambiente:
Nome variabile Valore di esempio Descrizione GCS_BUCKETforgerock-openidm-audit-logsNome bucket GCS GCS_PREFIXopenidmPrefisso per i file di log STATE_KEYopenidm/state.jsonPercorso file di stato OPENIDM_BASE_URLhttps://openidm.example.comURL di base di OpenIDM OPENIDM_USERNAMEopenidm-adminNome utente amministratore OpenIDM OPENIDM_PASSWORDyour-admin-passwordPassword amministratore OpenIDM AUDIT_TOPICSaccess,activity,authentication,config,syncArgomenti di controllo separati da virgole PAGE_SIZE100Record per pagina MAX_PAGES50Numero massimo di pagine per argomento
Nella sezione Variabili e secret, scorri verso il basso fino a Richieste:
- Timeout richiesta: inserisci
600secondi (10 minuti).
- Timeout richiesta: inserisci
Vai alla scheda Impostazioni:
- Nella sezione Risorse:
- Memoria: seleziona 512 MiB o un valore superiore.
- CPU: seleziona 1.
- Nella sezione Scalabilità della revisione:
- Numero minimo di istanze: inserisci
0. - Numero massimo di istanze: inserisci
100(o modifica in base al carico previsto).
- Numero minimo di istanze: inserisci
- Nella sezione Risorse:
Fai clic su Crea.
Attendi la creazione del servizio (1-2 minuti).
Dopo aver creato il servizio, si aprirà automaticamente l'editor di codice incorporato.
Aggiungi codice per la funzione
- Inserisci main nel campo Entry point (Punto di ingresso).
Nell'editor di codice incorporato, crea due file:
- Primo file: main.py:
import functions_framework from google.cloud import storage import json import os import urllib3 from datetime import datetime, timezone # Initialize HTTP client with timeouts http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=5.0, read=30.0), retries=False, ) # Initialize Storage client storage_client = storage.Client() # Environment variables GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'openidm') STATE_KEY = os.environ.get('STATE_KEY', 'openidm/state.json') OPENIDM_BASE_URL = os.environ.get('OPENIDM_BASE_URL') OPENIDM_USERNAME = os.environ.get('OPENIDM_USERNAME') OPENIDM_PASSWORD = os.environ.get('OPENIDM_PASSWORD') AUDIT_TOPICS = os.environ.get('AUDIT_TOPICS', 'access,activity,authentication,config,sync').split(',') PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100')) MAX_PAGES = int(os.environ.get('MAX_PAGES', '50')) @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function triggered by Pub/Sub to fetch ForgeRock OpenIDM logs and write to GCS. Args: cloud_event: CloudEvent object containing Pub/Sub message """ if not all([GCS_BUCKET, OPENIDM_BASE_URL, OPENIDM_USERNAME, OPENIDM_PASSWORD]): print('Error: Missing required environment variables') return try: # Get GCS bucket bucket = storage_client.bucket(GCS_BUCKET) # Load state state = load_state(bucket, STATE_KEY) all_events = [] for topic in AUDIT_TOPICS: topic = topic.strip() print(f"Fetching audit logs for topic: {topic}") events = fetch_audit_logs(topic, state.get(topic, {})) all_events.extend(events) if events: latest_timestamp = max(e.get('timestamp', '') for e in events) state[topic] = { 'last_timestamp': latest_timestamp, 'last_run': datetime.now(timezone.utc).isoformat(), 'events_count': len(events) } if all_events: write_to_gcs(bucket, all_events) save_state(bucket, STATE_KEY, state) print(f"Successfully processed {len(all_events)} audit events") else: print("No new audit events to process") except Exception as e: print(f'Error processing logs: {str(e)}') raise def load_state(bucket, key): """Load state from GCS.""" try: blob = bucket.blob(key) if blob.exists(): state_data = blob.download_as_text() return json.loads(state_data) except Exception as e: print(f"Warning: Could not load state: {e}") return {} def save_state(bucket, key, state): """Save state to GCS.""" try: blob = bucket.blob(key) blob.upload_from_string( json.dumps(state, indent=2), content_type='application/json' ) print(f"Saved state: {json.dumps(state)}") except Exception as e: print(f"Warning: Could not save state: {e}") def fetch_audit_logs(topic, topic_state): """ Fetch audit logs from ForgeRock OpenIDM API with pagination. Args: topic: Audit topic name topic_state: State dictionary for this topic Returns: List of audit events """ base_url = OPENIDM_BASE_URL.rstrip('/') all_events = [] last_timestamp = topic_state.get('last_timestamp') query_filter = 'true' if last_timestamp: query_filter = f'timestamp gt "{last_timestamp}"' page_offset = 0 page_count = 0 while page_count < MAX_PAGES: try: url = f"{base_url}/openidm/audit/{topic}" params = { '_queryFilter': query_filter, '_pageSize': str(PAGE_SIZE), '_pagedResultsOffset': str(page_offset), '_sortKeys': 'timestamp' } query_string = '&'.join([f"{k}={urllib3.request.urlencode({k: v})[len(k)+1:]}" for k, v in params.items()]) full_url = f"{url}?{query_string}" headers = { 'X-OpenIDM-Username': OPENIDM_USERNAME, 'X-OpenIDM-Password': OPENIDM_PASSWORD, 'Accept-API-Version': 'resource=1.0', 'Accept': 'application/json' } response = http.request('GET', full_url, headers=headers) if response.status != 200: print(f"API error for topic {topic}: {response.status} - {response.data.decode('utf-8')}") break data = json.loads(response.data.decode('utf-8')) events = data.get('result', []) if not events: print(f"No more events for topic {topic}") break all_events.extend(events) page_offset += PAGE_SIZE page_count += 1 print(f"Fetched page {page_count} for topic {topic}, total events: {len(all_events)}") if len(events) < PAGE_SIZE: break except urllib3.exceptions.HTTPError as e: print(f"HTTP error for topic {topic}: {str(e)}") break except json.JSONDecodeError as e: print(f"JSON decode error for topic {topic}: {str(e)}") break except Exception as e: print(f"Unexpected error for topic {topic}: {str(e)}") break return all_events def write_to_gcs(bucket, events): """Write events to GCS as NDJSON.""" timestamp = datetime.now(timezone.utc).strftime('%Y%m%d_%H%M%S') filename = f"{GCS_PREFIX}/openidm_audit_{timestamp}.json" ndjson_content = '\n'.join([json.dumps(event) for event in events]) blob = bucket.blob(filename) blob.upload_from_string( ndjson_content.encode('utf-8'), content_type='application/x-ndjson' ) print(f"Wrote {len(events)} events to gs://{GCS_BUCKET}/{filename}")- Secondo file: requirements.txt::
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0Fai clic su Esegui il deployment per salvare la funzione ed eseguirne il deployment.
Attendi il completamento del deployment (2-3 minuti).
Crea job Cloud Scheduler
Cloud Scheduler pubblicherà messaggi nell'argomento Pub/Sub a intervalli regolari, attivando la funzione Cloud Run.
- Nella console di GCP, vai a Cloud Scheduler.
- Fai clic su Crea job.
Fornisci i seguenti dettagli di configurazione:
Impostazione Valore Nome forgerock-openidm-collector-hourlyRegione Seleziona la stessa regione della funzione Cloud Run Frequenza 0 * * * *(ogni ora, all'ora)Fuso orario Seleziona il fuso orario (UTC consigliato) Tipo di target Pub/Sub Argomento Seleziona l'argomento Pub/Sub forgerock-openidm-triggerCorpo del messaggio {}(oggetto JSON vuoto)Fai clic su Crea.
Opzioni di frequenza di pianificazione
Scegli la frequenza in base al volume dei log e ai requisiti di latenza:
| Frequenza | Espressione cron | Caso d'uso |
|---|---|---|
| Ogni 5 minuti | */5 * * * * |
Volume elevato, bassa latenza |
| Ogni 15 minuti | */15 * * * * |
Volume medio |
| Ogni ora | 0 * * * * |
Standard (consigliato) |
| Ogni 6 ore | 0 */6 * * * |
Volume basso, elaborazione batch |
| Ogni giorno | 0 0 * * * |
Raccolta dei dati storici |
Testare l'integrazione
- Nella console Cloud Scheduler, trova il job
forgerock-openidm-collector-hourly. - Fai clic su Forza esecuzione per attivare il job manualmente.
- Attendi qualche secondo.
- Vai a Cloud Run > Servizi.
- Fai clic sul nome della funzione
forgerock-openidm-collector. - Fai clic sulla scheda Log.
Verifica che la funzione sia stata eseguita correttamente. Cerca:
Fetching audit logs for topic: access Fetched page 1 for topic access, total events: X Wrote X events to gs://forgerock-openidm-audit-logs/openidm/openidm_audit_YYYYMMDD_HHMMSS.json Successfully processed X audit eventsVai a Cloud Storage > Bucket.
Fai clic sul nome del bucket
forgerock-openidm-audit-logs.Vai alla cartella del prefisso
openidm/.Verifica che sia stato creato un nuovo file
.jsoncon il timestamp corrente.
Se visualizzi errori nei log:
- HTTP 401: controlla le credenziali OpenIDM nelle variabili di ambiente
- HTTP 403: verifica che l'account disponga delle autorizzazioni di lettura del controllo
- HTTP 404: verifica che OPENIDM_BASE_URL sia corretto e non includa percorsi finali
- Variabili di ambiente mancanti: controlla che tutte le variabili richieste siano impostate
Recuperare il service account Google SecOps
Google SecOps utilizza un service account univoco per leggere i dati dal tuo bucket GCS. Devi concedere a questo service account l'accesso al tuo bucket.
Configura un feed in Google SecOps per importare i log di ForgeRock OpenIDM
- Vai a Impostazioni SIEM > Feed.
- Fai clic su Aggiungi nuovo feed.
- Fai clic su Configura un singolo feed.
- Nel campo Nome feed, inserisci un nome per il feed (ad esempio,
ForgeRock OpenIDM Audit Logs). - Seleziona Google Cloud Storage V2 come Tipo di origine.
Seleziona FORGEROCK_OPENIDM come Tipo di log.
Fai clic su Ottieni service account.
Verrà visualizzata un'email univoca del service account, ad esempio:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comCopia l'indirizzo email. Lo utilizzerai nel prossimo passaggio.
Fai clic su Avanti.
Specifica i valori per i seguenti parametri di input:
- URL del bucket di archiviazione: inserisci l'URI del bucket GCS con il percorso del prefisso:
gs://forgerock-openidm-audit-logs/openidm/- Sostituisci:
forgerock-openidm-audit-logs: il nome del bucket GCS.openidm: il percorso del prefisso in cui vengono archiviati i log.
- Opzione di eliminazione dell'origine: seleziona l'opzione di eliminazione in base alle tue preferenze:
- Mai: non elimina mai i file dopo i trasferimenti (opzione consigliata per i test).
- Elimina file trasferiti: elimina i file dopo il trasferimento riuscito.
- Elimina file trasferiti e directory vuote: elimina i file e le directory vuote dopo il trasferimento riuscito.
- Età massima del file: includi i file modificati nell'ultimo numero di giorni. Il valore predefinito è 180 giorni.
- Spazio dei nomi dell'asset: lo spazio dei nomi dell'asset.
- Etichette di importazione: l'etichetta da applicare agli eventi di questo feed.
Fai clic su Avanti.
Controlla la nuova configurazione del feed nella schermata Finalizza e poi fai clic su Invia.
Concedi le autorizzazioni IAM al service account Google SecOps
Il service account Google SecOps deve avere il ruolo Visualizzatore oggetti Storage nel bucket GCS.
- Vai a Cloud Storage > Bucket.
- Fai clic sul nome del bucket
forgerock-openidm-audit-logs. - Vai alla scheda Autorizzazioni.
- Fai clic su Concedi l'accesso.
- Fornisci i seguenti dettagli di configurazione:
- Aggiungi entità: incolla l'email del service account Google SecOps.
- Assegna i ruoli: seleziona Visualizzatore oggetti Storage.
Fai clic su Salva.
Tabella di mappatura UDM
| Campo log | Mappatura UDM | Logic |
|---|---|---|
| additional_label, additional_elapsed_time, additional_ContentLength, additional_accept_encoding, additional_Accept, additional_accept_language, additional_origin_hop, additional_cache_control, additional_Connection, additional_Cookie, additional_Pragma, additional_exchange_id, additional_contentType, additional_X-content_type-Options, fluenttag_label, source_label, topic_label, request_protocol_label, taskName_label, linkQualifier_label, situation_label, mapping_label, eventid_label, context_roles_label, field_names_label | additional.fields | Coppie chiave-valore aggiuntive |
| Via | intermediary.hostname | Nome host dell'intermediario |
| x_forwarded_ip, ip, caller.callerIps | intermediary.ip | Indirizzo IP dell'intermediario |
| timestamp | metadata.event_timestamp | Timestamp dell'evento |
| metadata.event_type | Tipo di evento | |
| transactionId | metadata.product_deployment_id | Identificatore di deployment del prodotto |
| eventName | metadata.product_event_type | Tipo di evento dal prodotto |
| _id, trackingIds | metadata.product_log_id | Identificatore di log del prodotto |
| http.request.secure | network.application_protocol | Protocollo applicativo |
| http_version | network.application_protocol_version | Versione del protocollo dell'applicazione |
| request_method, http.request.method | network.http.method | Metodo HTTP |
| user_agent, http.request.headers.user_agent.0 | network.http.parsed_user_agent | User agent analizzato |
| refferal_url | network.http.referral_url | URL del referral |
| response.statusCode, status_code | network.http.response_code | Codice risposta HTTP |
| user_agent, http.request.headers.user_agent | network.http.user_agent | Stringa user agent |
| transaction_id, transactionId | network.session_id | Identificatore sessione |
| Host | principal.asset.hostname | Nome host dell'asset del principal |
| true_client_ip, client.ip, context.ipAddress, entry.info.ipAddress, src_ip | principal.asset.ip | Indirizzo IP dell'asset del principal |
| Host | principal.hostname | Nome host dell'entità |
| true_client_ip, client.ip, context.ipAddress, entry.info.ipAddress, src_ip | principal.ip | Indirizzo IP del principale |
| client.port, src_port | principal.port | Porto del principale |
| component_label, moduleId_label, query_id_label | principal.resource.attribute.labels | Etichette attributo per la risorsa dell'entità |
| entry.info.treeName | principal.resource.name | Nome della risorsa dell'entità |
| sourceObjectId, objectId, entry.info.nodeId | principal.resource.product_object_id | ID oggetto prodotto per la risorsa dell'entità di servizio |
| entry.info.authLevel | principal.resource.resource_subtype | Sottotipo della risorsa del principal |
| user_roles_property_label, authentication_id_label, authentication_id_property_label | principal.user.attribute.labels | Etichette degli attributi per l'utente del principal |
| userId, principalData.0 | principal.user.userid | ID utente dell'entità |
| security_action | security_result.action | Azione intrapresa nel risultato di sicurezza |
| result, action | security_result.action_details | Dettagli dell'azione |
| result_label, moduleId_label, nodeType_label, displayName_label, nodeOutcome_label, elapsedTimeUnits_label, elapsedTime_label, operation_label, taskName_label, linkQualifier_label, situation_label, mapping_label | security_result.detection_fields | Campi di rilevamento |
| livello | security_result.severity | Gravità del risultato di sicurezza |
| livello | security_result.severity_details | Dettagli della gravità |
| response_detail_reason | security_result.summary | Riepilogo del risultato di sicurezza |
| http.request.headers.host.0 | target.asset.hostname | Nome host dell'asset di destinazione |
| server.ip, x_forwarded_ip | target.asset.ip | Indirizzo IP dell'asset di destinazione |
| http.request.headers.host.0 | target.hostname | Nome host della destinazione |
| server.ip, x_forwarded_ip | target.ip | Indirizzo IP della destinazione |
| server.port | target.port | Porta del target |
| targetObjectId | target.resource.product_object_id | ID oggetto prodotto per la risorsa di destinazione |
| http.request.path | target.url | URL della destinazione |
| metadata.product_name | Nome del prodotto | |
| metadata.vendor_name | Nome del fornitore |
Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.