Recopila registros de ForgeRock OpenIDM
En este documento, se explica cómo transferir registros de ForgeRock OpenIDM a Google Security Operations con Google Cloud Storage V2.
ForgeRock OpenIDM (ahora denominado PingIDM) es una plataforma de administración de identidades que proporciona aprovisionamiento de usuarios, sincronización, administración de contraseñas y administración de acceso. Registra eventos del ciclo de vida de la identidad, intentos de autenticación, operaciones de conciliación y cambios de configuración en registros de auditoría accesibles a través de REST.
Antes de comenzar
Asegúrate de cumplir con los siguientes requisitos previos:
- Una instancia de Google SecOps
- Un proyecto de GCP con la API de Cloud Storage habilitada
- Permisos para crear y administrar buckets de GCS
- Permisos para administrar políticas de IAM en buckets de GCS
- Permisos para crear servicios de Cloud Run, temas de Pub/Sub y trabajos de Cloud Scheduler
- Acceso con privilegios a la instancia de ForgeRock OpenIDM o PingIDM con credenciales de administrador
Crea un bucket de Google Cloud Storage
- Ve a Google Cloud Console.
- Selecciona tu proyecto o crea uno nuevo.
- En el menú de navegación, ve a Cloud Storage > Buckets.
- Haz clic en Crear bucket.
Proporciona los siguientes detalles de configuración:
Configuración Valor Asigna un nombre a tu bucket Ingresa un nombre global único (por ejemplo, forgerock-openidm-audit-logs).Tipo de ubicación Elige según tus necesidades (región, birregional, multirregional) Ubicación Selecciona la ubicación (por ejemplo, us-central1).Clase de almacenamiento Estándar (recomendado para los registros a los que se accede con frecuencia) Control de acceso Uniforme (recomendado) Herramientas de protección Opcional: Habilita el control de versiones de objetos o la política de retención Haz clic en Crear.
Recopila credenciales de ForgeRock OpenIDM
Obtén la URL base de ForgeRock OpenIDM
- Accede a tu instancia de ForgeRock OpenIDM o PingIDM.
- Toma nota de la URL base en la barra de direcciones del navegador.
- Formato:
https://openidm.example.com - No incluyas barras finales ni rutas de acceso como
/admin
- Formato:
Obtén credenciales administrativas
- Obtén credenciales de administrador para tu instancia de ForgeRock OpenIDM.
Necesitarás:
- Nombre de usuario: Nombre de usuario administrativo (por ejemplo,
openidm-admin) - Contraseña: Contraseña administrativa
- Nombre de usuario: Nombre de usuario administrativo (por ejemplo,
Verifica los permisos
Para verificar que la cuenta tenga los permisos necesarios, sigue estos pasos:
- Accede a ForgeRock OpenIDM.
- Ve a Configurar > Preferencias del sistema > Auditoría.
- Si puedes ver la configuración de auditoría y los temas, tienes los permisos necesarios.
- Si no ves esta opción, comunícate con tu administrador para que te otorgue permisos de lectura de auditoría.
Prueba el acceso a la API
Prueba tus credenciales antes de continuar con la integración:
# Replace with your actual credentials
OPENIDM_BASE_URL="https://openidm.example.com"
OPENIDM_USERNAME="openidm-admin"
OPENIDM_PASSWORD="your-admin-password"
# Test API access to authentication audit topic
curl -v \
-H "X-OpenIDM-Username: ${OPENIDM_USERNAME}" \
-H "X-OpenIDM-Password: ${OPENIDM_PASSWORD}" \
-H "Accept-API-Version: resource=1.0" \
-H "Accept: application/json" \
"${OPENIDM_BASE_URL}/openidm/audit/authentication?_queryFilter=true&_pageSize=1"
Respuesta esperada: HTTP 200 con JSON que contiene eventos de auditoría.
Crea una cuenta de servicio para la Cloud Run Function
La Cloud Run Function necesita una cuenta de servicio con permisos para escribir en el bucket de GCS y ser invocada por Pub/Sub.
Crear cuenta de servicio
- En GCP Console, ve a IAM y administración > Cuentas de servicio.
- Haz clic en Crear cuenta de servicio.
- Proporciona los siguientes detalles de configuración:
- Nombre de la cuenta de servicio: Ingresa
forgerock-openidm-collector-sa. - Descripción de la cuenta de servicio: Ingresa
Service account for Cloud Run function to collect ForgeRock OpenIDM logs.
- Nombre de la cuenta de servicio: Ingresa
- Haz clic en Crear y continuar.
- En la sección Otorga a esta cuenta de servicio acceso al proyecto, agrega los siguientes roles:
- Haz clic en Selecciona un rol.
- Busca y selecciona Administrador de objetos de almacenamiento.
- Haz clic en + Agregar otra función.
- Busca y selecciona Invocador de Cloud Run.
- Haz clic en + Agregar otra función.
- Busca y selecciona Cloud Functions Invoker.
- Haz clic en Continuar.
- Haz clic en Listo.
Estos roles son necesarios para las siguientes acciones:
- Administrador de objetos de almacenamiento: Escribe registros en el bucket de GCS y administra archivos de estado
- Invocador de Cloud Run: Permite que Pub/Sub invoque la función
- Cloud Functions Invoker: Permite la invocación de funciones
Otorga permisos de IAM en el bucket de GCS
Otorga permisos de escritura a la cuenta de servicio en el bucket de GCS:
- Ve a Cloud Storage > Buckets.
- Haz clic en el nombre de tu bucket (por ejemplo,
forgerock-openidm-audit-logs). - Ve a la pestaña Permisos.
- Haz clic en Otorgar acceso.
- Proporciona los siguientes detalles de configuración:
- Agregar principales: Ingresa el correo electrónico de la cuenta de servicio (por ejemplo,
forgerock-openidm-collector-sa@PROJECT_ID.iam.gserviceaccount.com). - Asignar roles: Selecciona Administrador de objetos de Storage.
- Agregar principales: Ingresa el correo electrónico de la cuenta de servicio (por ejemplo,
- Haz clic en Guardar.
Crear tema de Pub/Sub
Crea un tema de Pub/Sub en el que Cloud Scheduler publicará y al que se suscribirá la función de Cloud Run.
- En GCP Console, ve a Pub/Sub > Temas.
- Haz clic en Crear un tema.
- Proporciona los siguientes detalles de configuración:
- ID del tema: Ingresa
forgerock-openidm-trigger. - Deja el resto de la configuración con sus valores predeterminados.
- ID del tema: Ingresa
- Haz clic en Crear.
Crea una función de Cloud Run para recopilar registros
La función de Cloud Run se activará con los mensajes de Pub/Sub de Cloud Scheduler para recuperar los registros de la API de ForgeRock OpenIDM y escribirlos en GCS.
- En GCP Console, ve a Cloud Run.
- Haz clic en Crear servicio.
- Selecciona Función (usa un editor intercalado para crear una función).
En la sección Configurar, proporciona los siguientes detalles de configuración:
Configuración Valor Nombre del servicio forgerock-openidm-collectorRegión Selecciona la región que coincida con tu bucket de GCS (por ejemplo, us-central1).Tiempo de ejecución Selecciona Python 3.12 o una versión posterior. En la sección Activador (opcional), haz lo siguiente:
- Haz clic en + Agregar activador.
- Selecciona Cloud Pub/Sub.
- En Selecciona un tema de Cloud Pub/Sub, elige el tema de Pub/Sub
forgerock-openidm-trigger. - Haz clic en Guardar.
En la sección Autenticación, haz lo siguiente:
- Selecciona Solicitar autenticación.
- Verifica Identity and Access Management (IAM).
Desplázate hasta Contenedores, redes y seguridad y expándelo.
Ve a la pestaña Seguridad:
- Cuenta de servicio: Selecciona la cuenta de servicio
forgerock-openidm-collector-sa.
- Cuenta de servicio: Selecciona la cuenta de servicio
Ve a la pestaña Contenedores:
- Haz clic en Variables y secretos.
Haz clic en + Agregar variable para cada variable de entorno:
Nombre de la variable Valor de ejemplo Descripción GCS_BUCKETforgerock-openidm-audit-logsNombre del bucket de GCS GCS_PREFIXopenidmPrefijo para los archivos de registro STATE_KEYopenidm/state.jsonRuta de acceso al archivo de estado OPENIDM_BASE_URLhttps://openidm.example.comURL base de OpenIDM OPENIDM_USERNAMEopenidm-adminNombre de usuario del administrador de OpenIDM OPENIDM_PASSWORDyour-admin-passwordContraseña de administrador de OpenIDM AUDIT_TOPICSaccess,activity,authentication,config,syncTemas de auditoría separados por comas PAGE_SIZE100Registros por página MAX_PAGES50Cantidad máxima de páginas por tema
En la sección Variables y Secrets, desplázate hacia abajo hasta Solicitudes:
- Tiempo de espera de la solicitud: Ingresa
600segundos (10 minutos).
- Tiempo de espera de la solicitud: Ingresa
Ve a la pestaña Configuración:
- En la sección Recursos, haz lo siguiente:
- Memoria: Selecciona 512 MiB o más.
- CPU: Selecciona 1.
- En la sección Ajuste de escala de revisión, haz lo siguiente:
- Cantidad mínima de instancias: Ingresa
0. - Cantidad máxima de instancias: Ingresa
100(o ajusta según la carga esperada).
- Cantidad mínima de instancias: Ingresa
- En la sección Recursos, haz lo siguiente:
Haz clic en Crear.
Espera a que se cree el servicio (de 1 a 2 minutos).
Después de crear el servicio, se abrirá automáticamente el editor de código intercalado.
Agregar el código de función
- Ingresa main en el campo Punto de entrada.
En el editor de código intercalado, crea dos archivos:
- Primer archivo: main.py:
import functions_framework from google.cloud import storage import json import os import urllib3 from datetime import datetime, timezone # Initialize HTTP client with timeouts http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=5.0, read=30.0), retries=False, ) # Initialize Storage client storage_client = storage.Client() # Environment variables GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'openidm') STATE_KEY = os.environ.get('STATE_KEY', 'openidm/state.json') OPENIDM_BASE_URL = os.environ.get('OPENIDM_BASE_URL') OPENIDM_USERNAME = os.environ.get('OPENIDM_USERNAME') OPENIDM_PASSWORD = os.environ.get('OPENIDM_PASSWORD') AUDIT_TOPICS = os.environ.get('AUDIT_TOPICS', 'access,activity,authentication,config,sync').split(',') PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100')) MAX_PAGES = int(os.environ.get('MAX_PAGES', '50')) @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function triggered by Pub/Sub to fetch ForgeRock OpenIDM logs and write to GCS. Args: cloud_event: CloudEvent object containing Pub/Sub message """ if not all([GCS_BUCKET, OPENIDM_BASE_URL, OPENIDM_USERNAME, OPENIDM_PASSWORD]): print('Error: Missing required environment variables') return try: # Get GCS bucket bucket = storage_client.bucket(GCS_BUCKET) # Load state state = load_state(bucket, STATE_KEY) all_events = [] for topic in AUDIT_TOPICS: topic = topic.strip() print(f"Fetching audit logs for topic: {topic}") events = fetch_audit_logs(topic, state.get(topic, {})) all_events.extend(events) if events: latest_timestamp = max(e.get('timestamp', '') for e in events) state[topic] = { 'last_timestamp': latest_timestamp, 'last_run': datetime.now(timezone.utc).isoformat(), 'events_count': len(events) } if all_events: write_to_gcs(bucket, all_events) save_state(bucket, STATE_KEY, state) print(f"Successfully processed {len(all_events)} audit events") else: print("No new audit events to process") except Exception as e: print(f'Error processing logs: {str(e)}') raise def load_state(bucket, key): """Load state from GCS.""" try: blob = bucket.blob(key) if blob.exists(): state_data = blob.download_as_text() return json.loads(state_data) except Exception as e: print(f"Warning: Could not load state: {e}") return {} def save_state(bucket, key, state): """Save state to GCS.""" try: blob = bucket.blob(key) blob.upload_from_string( json.dumps(state, indent=2), content_type='application/json' ) print(f"Saved state: {json.dumps(state)}") except Exception as e: print(f"Warning: Could not save state: {e}") def fetch_audit_logs(topic, topic_state): """ Fetch audit logs from ForgeRock OpenIDM API with pagination. Args: topic: Audit topic name topic_state: State dictionary for this topic Returns: List of audit events """ base_url = OPENIDM_BASE_URL.rstrip('/') all_events = [] last_timestamp = topic_state.get('last_timestamp') query_filter = 'true' if last_timestamp: query_filter = f'timestamp gt "{last_timestamp}"' page_offset = 0 page_count = 0 while page_count < MAX_PAGES: try: url = f"{base_url}/openidm/audit/{topic}" params = { '_queryFilter': query_filter, '_pageSize': str(PAGE_SIZE), '_pagedResultsOffset': str(page_offset), '_sortKeys': 'timestamp' } query_string = '&'.join([f"{k}={urllib3.request.urlencode({k: v})[len(k)+1:]}" for k, v in params.items()]) full_url = f"{url}?{query_string}" headers = { 'X-OpenIDM-Username': OPENIDM_USERNAME, 'X-OpenIDM-Password': OPENIDM_PASSWORD, 'Accept-API-Version': 'resource=1.0', 'Accept': 'application/json' } response = http.request('GET', full_url, headers=headers) if response.status != 200: print(f"API error for topic {topic}: {response.status} - {response.data.decode('utf-8')}") break data = json.loads(response.data.decode('utf-8')) events = data.get('result', []) if not events: print(f"No more events for topic {topic}") break all_events.extend(events) page_offset += PAGE_SIZE page_count += 1 print(f"Fetched page {page_count} for topic {topic}, total events: {len(all_events)}") if len(events) < PAGE_SIZE: break except urllib3.exceptions.HTTPError as e: print(f"HTTP error for topic {topic}: {str(e)}") break except json.JSONDecodeError as e: print(f"JSON decode error for topic {topic}: {str(e)}") break except Exception as e: print(f"Unexpected error for topic {topic}: {str(e)}") break return all_events def write_to_gcs(bucket, events): """Write events to GCS as NDJSON.""" timestamp = datetime.now(timezone.utc).strftime('%Y%m%d_%H%M%S') filename = f"{GCS_PREFIX}/openidm_audit_{timestamp}.json" ndjson_content = '\n'.join([json.dumps(event) for event in events]) blob = bucket.blob(filename) blob.upload_from_string( ndjson_content.encode('utf-8'), content_type='application/x-ndjson' ) print(f"Wrote {len(events)} events to gs://{GCS_BUCKET}/{filename}")- Segundo archivo: requirements.txt:
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0Haz clic en Implementar para guardar y, luego, implementar la función.
Espera a que se complete la implementación (de 2 a 3 minutos).
Crea un trabajo de Cloud Scheduler
Cloud Scheduler publicará mensajes en el tema de Pub/Sub a intervalos regulares, lo que activará la función de Cloud Run.
- En GCP Console, ve a Cloud Scheduler.
- Haz clic en Crear trabajo.
Proporciona los siguientes detalles de configuración:
Configuración Valor Nombre forgerock-openidm-collector-hourlyRegión Selecciona la misma región que la función de Cloud Run Frecuencia 0 * * * *(cada hora, en punto)Zona horaria Selecciona la zona horaria (se recomienda UTC) Tipo de destino Pub/Sub Tema Selecciona el tema de Pub/Sub forgerock-openidm-trigger.Cuerpo del mensaje {}(objeto JSON vacío)Haz clic en Crear.
Opciones de frecuencia de programación
Elige la frecuencia según los requisitos de latencia y volumen de registros:
| Frecuencia | Expresión cron | Caso de uso |
|---|---|---|
| Cada 5 minutos | */5 * * * * |
Alto volumen y baja latencia |
| Cada 15 minutos | */15 * * * * |
Volumen medio |
| Cada 1 hora | 0 * * * * |
Estándar (recomendado) |
| Cada 6 horas | 0 */6 * * * |
Procesamiento por lotes y volumen bajo |
| Diario | 0 0 * * * |
Recopilación de datos históricos |
Prueba la integración
- En la consola de Cloud Scheduler, busca tu trabajo
forgerock-openidm-collector-hourly. - Haz clic en Forzar ejecución para activar el trabajo de forma manual.
- Espera unos segundos.
- Ve a Cloud Run > Servicios.
- Haz clic en el nombre de tu función
forgerock-openidm-collector. - Haz clic en la pestaña Registros.
Verifica que la función se haya ejecutado correctamente. Busca lo siguiente:
Fetching audit logs for topic: access Fetched page 1 for topic access, total events: X Wrote X events to gs://forgerock-openidm-audit-logs/openidm/openidm_audit_YYYYMMDD_HHMMSS.json Successfully processed X audit eventsVe a Cloud Storage > Buckets.
Haz clic en el nombre de tu bucket
forgerock-openidm-audit-logs.Navega a la carpeta de prefijo
openidm/.Verifica que se haya creado un archivo
.jsonnuevo con la marca de tiempo actual.
Si ves errores en los registros, haz lo siguiente:
- HTTP 401: Verifica las credenciales de OpenIDM en las variables de entorno
- HTTP 403: Verifica que la cuenta tenga permisos de lectura de auditoría
- HTTP 404: Verifica que OPENIDM_BASE_URL sea correcto y no incluya rutas finales.
- Faltan variables de entorno: Verifica que estén configuradas todas las variables requeridas.
Recupera la cuenta de servicio de Google SecOps
Las Operaciones de seguridad de Google usan una cuenta de servicio única para leer datos de tu bucket de GCS. Debes otorgar acceso a tu bucket a esta cuenta de servicio.
Configura un feed en Google SecOps para transferir registros de ForgeRock OpenIDM
- Ve a Configuración de SIEM > Feeds.
- Haz clic en Agregar feed nuevo.
- Haz clic en Configura un feed único.
- En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo,
ForgeRock OpenIDM Audit Logs). - Selecciona Google Cloud Storage V2 como el Tipo de fuente.
Selecciona FORGEROCK_OPENIDM como el Tipo de registro.
Haz clic en Obtener cuenta de servicio.
Se mostrará un correo electrónico único de la cuenta de servicio, por ejemplo:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comCopia esta dirección de correo electrónico. la usarás en el próximo paso.
Haz clic en Siguiente.
Especifica valores para los siguientes parámetros de entrada:
- URL del bucket de almacenamiento: Ingresa el URI del bucket de GCS con la ruta de acceso del prefijo:
gs://forgerock-openidm-audit-logs/openidm/- Reemplaza:
forgerock-openidm-audit-logs: Es el nombre de tu bucket de GCS.openidm: Es la ruta de acceso del prefijo en la que se almacenan los registros.
- Opción de eliminación de la fuente: Selecciona la opción de eliminación según tu preferencia:
- Nunca: Nunca borra ningún archivo después de las transferencias (se recomienda para las pruebas).
- Borrar archivos transferidos: Borra los archivos después de la transferencia exitosa.
- Borrar los archivos transferidos y los directorios vacíos: Borra los archivos y los directorios vacíos después de la transferencia exitosa.
- Antigüedad máxima del archivo: Incluye los archivos modificados en la cantidad de días especificada. El valor predeterminado es de 180 días.
- Espacio de nombres del recurso: Es el espacio de nombres del recurso.
- Etiquetas de transmisión: Es la etiqueta que se aplicará a los eventos de este feed.
Haz clic en Siguiente.
Revisa la nueva configuración del feed en la pantalla Finalizar y, luego, haz clic en Enviar.
Otorga permisos de IAM a la cuenta de servicio de Google SecOps
La cuenta de servicio de Google SecOps necesita el rol de visualizador de objetos de almacenamiento en tu bucket de GCS.
- Ve a Cloud Storage > Buckets.
- Haz clic en el nombre de tu bucket
forgerock-openidm-audit-logs. - Ve a la pestaña Permisos.
- Haz clic en Otorgar acceso.
- Proporciona los siguientes detalles de configuración:
- Agregar principales: Pega el correo electrónico de la cuenta de servicio de Google SecOps.
- Asignar roles: Selecciona Visualizador de objetos de Storage.
Haz clic en Guardar.
Tabla de asignación de UDM
| Campo de registro | Asignación de UDM | Lógica |
|---|---|---|
| additional_label, additional_elapsed_time, additional_ContentLength, additional_accept_encoding, additional_Accept, additional_accept_language, additional_origin_hop, additional_cache_control, additional_Connection, additional_Cookie, additional_Pragma, additional_exchange_id, additional_contentType, additional_X-content_type-Options, fluenttag_label, source_label, topic_label, request_protocol_label, taskName_label, linkQualifier_label, situation_label, mapping_label, eventid_label, context_roles_label, field_names_label | additional.fields | Pares clave-valor adicionales |
| Via | intermediary.hostname | Nombre de host del intermediario |
| x_forwarded_ip, ip, caller.callerIps | intermediary.ip | Dirección IP del intermediario |
| timestamp | metadata.event_timestamp | Marca de tiempo del evento |
| metadata.event_type | Tipo de evento | |
| transactionId | metadata.product_deployment_id | Es el identificador de Deployment del producto. |
| eventName | metadata.product_event_type | Tipo de evento del producto |
| _id, trackingIds | metadata.product_log_id | Identificador de registro del producto |
| http.request.secure | network.application_protocol | Protocolo de aplicación |
| http_version | network.application_protocol_version | Versión del protocolo de la aplicación |
| request_method, http.request.method | network.http.method | Método HTTP |
| user_agent, http.request.headers.user_agent.0 | network.http.parsed_user_agent | Usuario-agente analizado |
| refferal_url | network.http.referral_url | URL de referencia |
| response.statusCode, status_code | network.http.response_code | Código de respuesta HTTP |
| user_agent, http.request.headers.user_agent | network.http.user_agent | Cadena de usuario-agente |
| transaction_id, transactionId | network.session_id | Identificador de la sesión |
| Host | principal.asset.hostname | Nombre de host del activo de la principal |
| true_client_ip, client.ip, context.ipAddress, entry.info.ipAddress, src_ip | principal.asset.ip | Dirección IP del activo del principal |
| Host | principal.hostname | Nombre de host de la entidad principal |
| true_client_ip, client.ip, context.ipAddress, entry.info.ipAddress, src_ip | principal.ip | Dirección IP de la entidad principal |
| client.port, src_port | principal.port | Puerto del principal |
| component_label, moduleId_label, query_id_label | principal.resource.attribute.labels | Etiquetas de atributos para el recurso de la principal |
| entry.info.treeName | principal.resource.name | Nombre del recurso de la principal |
| sourceObjectId, objectId, entry.info.nodeId | principal.resource.product_object_id | ID del objeto del producto para el recurso de la principal |
| entry.info.authLevel | principal.resource.resource_subtype | Subtipo del recurso de la principal |
| user_roles_property_label, authentication_id_label, authentication_id_property_label | principal.user.attribute.labels | Etiquetas de atributos para el usuario de la entidad principal |
| userId, principalData.0 | principal.user.userid | ID de usuario del principal |
| security_action | security_result.action | Acción que se tomó en el resultado de seguridad |
| resultado, acción | security_result.action_details | Detalles de la acción |
| result_label, moduleId_label, nodeType_label, displayName_label, nodeOutcome_label, elapsedTimeUnits_label, elapsedTime_label, operation_label, taskName_label, linkQualifier_label, situation_label, mapping_label | security_result.detection_fields | Campos de detección |
| level | security_result.severity | Gravedad del resultado de seguridad |
| level | security_result.severity_details | Detalles de la gravedad |
| response_detail_reason | security_result.summary | Resumen del resultado de seguridad |
| http.request.headers.host.0 | target.asset.hostname | Nombre de host del activo de destino |
| server.ip, x_forwarded_ip | target.asset.ip | Dirección IP del activo objetivo |
| http.request.headers.host.0 | target.hostname | Nombre de host del destino |
| server.ip, x_forwarded_ip | target.ip | Dirección IP del objetivo |
| server.port | target.port | Puerto del objetivo |
| targetObjectId | target.resource.product_object_id | ID del objeto del producto para el recurso del objetivo |
| http.request.path | target.url | URL del objetivo |
| metadata.product_name | Nombre del producto | |
| metadata.vendor_name | Nombre del proveedor |
¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.