Recopila registros de la plataforma MuleSoft Anypoint

Se admite en los siguientes sistemas operativos:

Google SecOps SIEM

Nota: Esta función está sujeta a las Condiciones de las Ofertas de Fase Previa a la DG de las Condiciones Específicas de Google Security Operations. Las características de la fase previa a la DG pueden tener asistencia limitada, y es posible que los cambios en las características de la fase previa a la DG no sean compatibles con otras versiones de la fase previa a la DG. Para obtener más información, consulta los Lineamientos de los Servicios de Asistencia Técnica de Google SecOps y las Condiciones Específicas del Servicio de Google SecOps.

Nota: Dado que MuleSoft es un tipo de registro sin un analizador sintáctico integrado, esta guía solo abarcará la transferencia de registros. Debes configurar un analizador personalizado para convertir los registros de MuleSoft al UDM.

En este documento, se explica cómo transferir eventos de registro de auditoría desde los registros de la plataforma MuleSoft Anypoint a Google Security Operations con Google Cloud Storage.

Antes de comenzar

Asegúrate de cumplir con los siguientes requisitos previos:

• Una instancia de Google SecOps
• Un proyecto de GCP con la API de Cloud Storage habilitada
• Permisos para crear y administrar buckets de GCS
• Permisos para administrar políticas de IAM en buckets de GCS
• Permisos para crear funciones de Cloud Run, temas de Pub/Sub y trabajos de Cloud Scheduler
• Permisos para crear cuentas de servicio
• Acceso privilegiado a la plataforma de MuleSoft Anypoint

Obtén el ID de la organización de MuleSoft

1. Accede a Anypoint Platform.
2. Ve a Administración de acceso > Organizaciones.
3. En la tabla Grupos de empresas, haz clic en el nombre de tu organización.
4. Copia el ID de organización (por ejemplo, 0a12b3c4-d5e6-789f-1021-1a2b34cd5e6f).

También puedes ir a MuleSoft Business Groups y copiar el ID de la URL.

Crea la app conectada de MuleSoft

1. Accede a Anypoint Platform.
2. Ve a Administración de acceso > Apps conectadas > Crear app.
3. Proporciona los siguientes detalles de configuración:
   • Nombre de la app: Ingresa un nombre único (por ejemplo, Google SecOps export).
   • Selecciona La app actúa en su propio nombre (credenciales de cliente).
4. Haz clic en Agregar permisos > Visor de registros de auditoría > Siguiente.
5. Selecciona todos los grupos de empresas cuyos registros necesites.
6. Haz clic en Siguiente > Agregar permisos.

7. Haz clic en Guardar y copia el ID de cliente y el secreto del cliente.

   Nota: Es posible que se requieran permisos adicionales según los permisos de la organización. Si encuentras errores de permiso, verifica que la app conectada tenga acceso a todos los grupos de empresas requeridos.

Crea un bucket de Google Cloud Storage

1. Ve a Google Cloud Console.
2. Selecciona tu proyecto o crea uno nuevo.
3. En el menú de navegación, ve a Cloud Storage > Buckets.
4. Haz clic en Crear bucket.

5. Proporciona los siguientes detalles de configuración:

   Configuración	Valor
   Asigna un nombre a tu bucket	Ingresa un nombre global único (por ejemplo, mulesoft-audit-logs).
   Tipo de ubicación	Elige según tus necesidades (región, birregional, multirregional)
   Ubicación	Selecciona la ubicación (por ejemplo, us-central1).
   Clase de almacenamiento	Estándar (recomendado para los registros a los que se accede con frecuencia)
   Control de acceso	Uniforme (recomendado)
   Herramientas de protección	Opcional: Habilita el control de versiones de objetos o la política de retención

6. Haz clic en Crear.

Crea una cuenta de servicio para la Cloud Run Function

La Cloud Run Function necesita una cuenta de servicio con permisos para escribir en el bucket de GCS.

Crear cuenta de servicio

1. En GCP Console, ve a IAM y administración > Cuentas de servicio.
2. Haz clic en Crear cuenta de servicio.
3. Proporciona los siguientes detalles de configuración:
   • Nombre de la cuenta de servicio: Ingresa mulesoft-logs-collector-sa.
   • Descripción de la cuenta de servicio: Ingresa Service account for Cloud Run function to collect MuleSoft Anypoint logs.
4. Haz clic en Crear y continuar.
5. En la sección Otorga a esta cuenta de servicio acceso al proyecto, haz lo siguiente:
   1. Haz clic en Selecciona un rol.
   2. Busca y selecciona Administrador de objetos de almacenamiento.
   3. Haz clic en + Agregar otra función.
   4. Busca y selecciona Invocador de Cloud Run.
   5. Haz clic en + Agregar otra función.
   6. Busca y selecciona Cloud Functions Invoker.
6. Haz clic en Continuar.
7. Haz clic en Listo.

Estos roles son necesarios para las siguientes acciones:

• Administrador de objetos de almacenamiento: Escribe registros en el bucket de GCS y administra archivos de estado
• Invocador de Cloud Run: Permite que Pub/Sub invoque la función
• Cloud Functions Invoker: Permite la invocación de funciones

Otorga permisos de IAM en el bucket de GCS

Otorga permisos de escritura a la cuenta de servicio en el bucket de GCS:

1. Ve a Cloud Storage > Buckets.
2. Haz clic en el nombre de tu bucket.
3. Ve a la pestaña Permisos.
4. Haz clic en Otorgar acceso.
5. Proporciona los siguientes detalles de configuración:
   • Agregar principales: Ingresa el correo electrónico de la cuenta de servicio (por ejemplo, mulesoft-logs-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
   • Asignar roles: Selecciona Administrador de objetos de Storage.
6. Haz clic en Guardar.

Crear tema de Pub/Sub

Crea un tema de Pub/Sub en el que Cloud Scheduler publicará y al que se suscribirá la función de Cloud Run.

1. En GCP Console, ve a Pub/Sub > Temas.
2. Haz clic en Crear un tema.
3. Proporciona los siguientes detalles de configuración:
   • ID del tema: Ingresa mulesoft-audit-trigger.
   • Deja el resto de la configuración con sus valores predeterminados.
4. Haz clic en Crear.

Crea una función de Cloud Run para recopilar registros

La función de Cloud Run se activa con los mensajes de Pub/Sub de Cloud Scheduler para recuperar registros de la API de MuleSoft Anypoint y escribirlos en GCS.

1. En GCP Console, ve a Cloud Run.
2. Haz clic en Crear servicio.
3. Selecciona Función (usa un editor intercalado para crear una función).

4. En la sección Configurar, proporciona los siguientes detalles de configuración:

   Configuración	Valor
   Nombre del servicio	mulesoft-audit-collector
   Región	Selecciona la región que coincida con tu bucket de GCS (por ejemplo, us-central1).
   Tiempo de ejecución	Selecciona Python 3.12 o una versión posterior.

5. En la sección Activador (opcional), haz lo siguiente:

   1. Haz clic en + Agregar activador.
   2. Selecciona Cloud Pub/Sub.
   3. En Selecciona un tema de Cloud Pub/Sub, elige el tema mulesoft-audit-trigger.
   4. Haz clic en Guardar.

6. En la sección Autenticación, haz lo siguiente:

   1. Selecciona Solicitar autenticación.
   2. Verifica Identity and Access Management (IAM).
   Nota: Pub/Sub controla automáticamente la autenticación cuando invoca la función.

7. Desplázate hacia abajo y expande Contenedores, redes y seguridad.

8. Ve a la pestaña Seguridad:

   • Cuenta de servicio: Selecciona la cuenta de servicio mulesoft-logs-collector-sa.

9. Ve a la pestaña Contenedores:

   1. Haz clic en Variables y secretos.
   2. Haz clic en + Agregar variable para cada variable de entorno:

   Nombre de la variable	Valor de ejemplo
   MULE_ORG_ID	your_org_id
   CLIENT_ID	your_client_id
   CLIENT_SECRET	your_client_secret
   GCS_BUCKET	mulesoft-audit-logs

10. En la pestaña Variables y Secrets, desplázate hacia abajo hasta Requests:

    • Tiempo de espera de la solicitud: Ingresa 600 segundos (10 minutos).

11. Ve a la pestaña Configuración en Contenedores:

    • En la sección Recursos, haz lo siguiente:
      • Memoria: Selecciona 512 MiB o más.
      • CPU: Selecciona 1.
    • Haz clic en Listo.

12. Desplázate hasta Entorno de ejecución:

    • Selecciona Predeterminado (recomendado).

13. En la sección Ajuste de escala de revisión, haz lo siguiente:

    • Cantidad mínima de instancias: Ingresa 0.
    • Cantidad máxima de instancias: Ingresa 100 (o ajusta según la carga esperada).

14. Haz clic en Crear.

15. Espera a que se cree el servicio (de 1 a 2 minutos).

16. Después de crear el servicio, se abrirá automáticamente el editor de código intercalado.

Agregar el código de función

1. Ingresa main en Punto de entrada de la función.

2. En el editor de código intercalado, crea dos archivos:

   • Primer archivo: main.py:

   import functions_framework
   from google.cloud import storage
   import json
   import os
   import urllib3
   from datetime import datetime, timedelta, timezone
   import uuid
   import time
   
   # Initialize HTTP client with timeouts
   http = urllib3.PoolManager(
       timeout=urllib3.Timeout(connect=5.0, read=30.0),
       retries=False,
   )
   
   # Initialize Storage client
   storage_client = storage.Client()
   
   # MuleSoft API endpoints
   TOKEN_URL = "https://anypoint.mulesoft.com/accounts/api/v2/oauth2/token"
   
   @functions_framework.cloud_event
   def main(cloud_event):
       """
       Cloud Run function triggered by Pub/Sub to fetch MuleSoft audit logs and write to GCS.
   
       Args:
           cloud_event: CloudEvent object containing Pub/Sub message
       """
   
       # Get environment variables
       org_id = os.environ.get('MULE_ORG_ID')
       client_id = os.environ.get('CLIENT_ID')
       client_secret = os.environ.get('CLIENT_SECRET')
       bucket_name = os.environ.get('GCS_BUCKET')
   
       if not all([org_id, client_id, client_secret, bucket_name]):
           print('Error: Missing required environment variables')
           return
   
       query_url = f"https://anypoint.mulesoft.com/audit/v2/organizations/{org_id}/query"
   
       try:
           # Get GCS bucket
           bucket = storage_client.bucket(bucket_name)
   
           # Get OAuth token
           token = get_token(client_id, client_secret)
   
           # Calculate time range (last 24 hours)
           now = datetime.now(timezone.utc).replace(microsecond=0)
           start = now - timedelta(days=1)
   
           print(f'Fetching audit logs from {start.isoformat()} to {now.isoformat()}')
   
           # Fetch audit logs
           events = list(fetch_audit(query_url, token, start, now))
   
           # Upload to GCS
           if events:
               upload_to_gcs(bucket, events, start)
               print(f'Uploaded {len(events)} events')
           else:
               print('No events in the last 24 hours')
   
       except Exception as e:
           print(f'Error processing logs: {str(e)}')
           raise
   
   def get_token(client_id, client_secret):
       """Get OAuth 2.0 access token from MuleSoft."""
       data = {
           'grant_type': 'client_credentials',
           'client_id': client_id,
           'client_secret': client_secret
       }
   
       encoded_data = urllib3.request.urlencode(data).encode('utf-8')
   
       backoff = 1.0
       max_retries = 3
   
       for attempt in range(max_retries):
           try:
               response = http.request(
                   'POST',
                   TOKEN_URL,
                   body=encoded_data,
                   headers={'Content-Type': 'application/x-www-form-urlencoded'}
               )
   
               if response.status == 429:
                   retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
                   print(f'Rate limited (429) on token request. Retrying after {retry_after}s...')
                   time.sleep(retry_after)
                   backoff = min(backoff * 2, 30.0)
                   continue
   
               if response.status != 200:
                   raise Exception(f'Failed to get token: {response.status} - {response.data.decode()}')
   
               token_data = json.loads(response.data.decode('utf-8'))
               return token_data['access_token']
   
           except Exception as e:
               if attempt == max_retries - 1:
                   raise
               print(f'Token request failed (attempt {attempt + 1}/{max_retries}): {e}')
               time.sleep(backoff)
               backoff = min(backoff * 2, 30.0)
   
       raise Exception('Failed to get token after maximum retries')
   
   def fetch_audit(query_url, token, start, end):
       """Fetch audit logs from MuleSoft API with pagination."""
       headers = {
           'Authorization': f'Bearer {token}',
           'Content-Type': 'application/json'
       }
   
       body = {
           'startDate': f"{start.isoformat(timespec='milliseconds')}Z",
           'endDate': f"{end.isoformat(timespec='milliseconds')}Z",
           'limit': 200,
           'offset': 0,
           'ascending': False
       }
   
       backoff = 1.0
   
       while True:
           try:
               response = http.request(
                   'POST',
                   query_url,
                   body=json.dumps(body).encode('utf-8'),
                   headers=headers
               )
   
               # Handle rate limiting with exponential backoff
               if response.status == 429:
                   retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
                   print(f'Rate limited (429). Retrying after {retry_after}s...')
                   time.sleep(retry_after)
                   backoff = min(backoff * 2, 30.0)
                   continue
   
               backoff = 1.0
   
               if response.status != 200:
                   print(f'HTTP Error: {response.status}')
                   response_text = response.data.decode('utf-8')
                   print(f'Response body: {response_text}')
                   break
   
               data = json.loads(response.data.decode('utf-8'))
   
               if not data.get('data'):
                   break
   
               yield from data['data']
               body['offset'] += body['limit']
   
           except Exception as e:
               print(f'Error fetching audit logs: {e}')
               break
   
   def upload_to_gcs(bucket, events, timestamp):
       """Upload events to GCS as compressed JSON."""
       import gzip
       import io
   
       # Create blob name with timestamp and UUID
       blob_name = f"{timestamp.strftime('%Y/%m/%d')}/mulesoft-audit-{uuid.uuid4()}.json.gz"
   
       # Compress events
       buf = io.BytesIO()
       with gzip.GzipFile(fileobj=buf, mode='w') as gz:
           for event in events:
               gz.write((json.dumps(event) + '\n').encode('utf-8'))
   
       buf.seek(0)
   
       # Upload to GCS
       blob = bucket.blob(blob_name)
       blob.upload_from_file(buf, content_type='application/gzip')
   
       print(f'Uploaded to gs://{bucket.name}/{blob_name}')
   

   • Segundo archivo: requirements.txt:

   functions-framework==3.*
   google-cloud-storage==2.*
   urllib3>=2.0.0
   

3. Haz clic en Implementar para guardar y, luego, implementar la función.

4. Espera a que se complete la implementación (de 2 a 3 minutos).

Consideraciones importantes

Limitación de frecuencia: El extremo de la API de Audit Log Query aplica límites de frecuencia por IP en los tres planos de control. El plano de control de EE.UU. permite 700 solicitudes por minuto por IP, mientras que los planos de control de la UE y el Gobierno permiten 40 solicitudes por minuto por IP. La función implementa una retirada exponencial para controlar automáticamente la limitación de frecuencia.

Vencimiento del token: Los tokens de acceso suelen vencer entre 30 y 60 minutos después de su emisión. La función solicita un token nuevo para cada ejecución. Para las implementaciones de producción con ejecuciones frecuentes, considera implementar el almacenamiento en caché de tokens con lógica de actualización.

Retención de registros de auditoría: Los registros de auditoría tienen un período de retención predeterminado de un año. Si tu organización se creó antes del 10 de julio de 2023 y no cambiaste el período de retención de forma manual, este será de seis años. Descarga los registros periódicamente si necesitas conservarlos después del período de retención configurado.

Crea un trabajo de Cloud Scheduler

Cloud Scheduler publica mensajes en el tema de Pub/Sub a intervalos regulares, lo que activa la función de Cloud Run.

1. En GCP Console, ve a Cloud Scheduler.
2. Haz clic en Crear trabajo.

3. Proporciona los siguientes detalles de configuración:

   Configuración	Valor
   Nombre	daily-mulesoft-audit-export
   Región	Selecciona la misma región que la función de Cloud Run
   Frecuencia	0 2 * * * (se ejecuta todos los días a las 02:00 UTC)
   Zona horaria	Selecciona la zona horaria (se recomienda UTC)
   Tipo de orientación	Pub/Sub
   Tema	Selecciona el tema mulesoft-audit-trigger.
   Cuerpo del mensaje	{} (objeto JSON vacío)

4. Haz clic en Crear.

Prueba el trabajo de Scheduler

1. En la consola de Cloud Scheduler, busca tu trabajo.
2. Haz clic en Forzar ejecución para activarlo de forma manual.
3. Espera unos segundos y ve a Cloud Run > Servicios > mulesoft-audit-collector > Registros.
4. Verifica que la función se haya ejecutado correctamente.
5. Verifica el bucket de GCS para confirmar que se escribieron los registros.

Recupera la cuenta de servicio de Google SecOps

Las Operaciones de seguridad de Google usan una cuenta de servicio única para leer datos de tu bucket de GCS. Debes otorgar acceso a tu bucket a esta cuenta de servicio.

Obtén el correo electrónico de la cuenta de servicio

1. Ve a Configuración de SIEM > Feeds.
2. Haz clic en Agregar feed nuevo.
3. Haz clic en Configura un feed único.
4. En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo, MuleSoft Logs).
5. Selecciona Google Cloud Storage V2 como el Tipo de fuente.
6. Selecciona Mulesoft como el Tipo de registro.

7. Haz clic en Obtener cuenta de servicio. Se muestra un correo electrónico único de la cuenta de servicio, por ejemplo:

   [e-mail]
   

8. Copia esta dirección de correo electrónico para usarla en el siguiente paso.

   Nota: Cada instancia de Google SecOps tiene una cuenta de servicio única. No uses cuentas de servicio de otros ejemplos o documentación.

Otorga permisos de IAM a la cuenta de servicio de Google SecOps

La cuenta de servicio de Google SecOps necesita el rol de visualizador de objetos de almacenamiento en tu bucket de GCS.

1. Ve a Cloud Storage > Buckets.
2. Haz clic en el nombre de tu bucket.
3. Ve a la pestaña Permisos.
4. Haz clic en Otorgar acceso.
5. Proporciona los siguientes detalles de configuración:
   • Agregar principales: Pega el correo electrónico de la cuenta de servicio de Google SecOps.
   • Asignar roles: Selecciona Visualizador de objetos de Storage.

6. Haz clic en Guardar.

   Nota: Si planeas usar la opción de eliminación "Borrar archivos transferidos" o "Borrar archivos transferidos y directorios vacíos", otorga el rol de Administrador de objetos de Storage en lugar del rol de Visualizador de objetos de Storage.

Configura un feed en Google SecOps para transferir los registros de MuleSoft

1. Ve a Configuración de SIEM > Feeds.
2. Haz clic en Agregar feed nuevo.
3. Haz clic en Configura un feed único.
4. En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo, MuleSoft Logs).
5. Selecciona Google Cloud Storage V2 como el Tipo de fuente.
6. Selecciona Mulesoft como el Tipo de registro.
7. Haz clic en Siguiente.

8. Especifica valores para los siguientes parámetros de entrada:

   • URL del bucket de almacenamiento: Ingresa el URI del bucket de GCS:

     gs://mulesoft-audit-logs/
     

     • Reemplaza mulesoft-audit-logs por el nombre real del bucket.
     Nota: Siempre incluye la barra diagonal final (/) al final del URI.

   • Opción de borrado de la fuente: Selecciona la opción de borrado según tu preferencia:

     • Nunca: Nunca borra ningún archivo después de las transferencias (se recomienda para las pruebas).
     • Borrar archivos transferidos: Borra los archivos después de la transferencia exitosa.

     • Borrar los archivos transferidos y los directorios vacíos: Borra los archivos y los directorios vacíos después de la transferencia exitosa.

       Nota: Si seleccionas una opción de eliminación, la cuenta de servicio debe tener el rol de administrador de objetos de Storage en lugar del rol de visualizador de objetos de Storage. Actualiza los permisos de IAM según corresponda.

   • Antigüedad máxima del archivo: Incluye los archivos modificados en la cantidad de días especificada. El valor predeterminado es de 180 días.

   • Espacio de nombres del recurso: Es el espacio de nombres del recurso.

   • Etiquetas de transmisión: Es la etiqueta que se aplicará a los eventos de este feed.

9. Haz clic en Siguiente.

10. Revisa la nueva configuración del feed en la pantalla Finalizar y, luego, haz clic en Enviar.

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.