Recopila registros de Akamai Cloud Monitor

Se admite en los siguientes sistemas operativos:

Google SecOps SIEM

Nota: Esta función está sujeta a las Condiciones de las Ofertas de Fase Previa a la DG de las Condiciones Específicas de Google Security Operations. Las características de la fase previa a la DG pueden tener asistencia limitada, y es posible que los cambios que se les realicen no sean compatibles con otras versiones de la fase previa a la DG. Para obtener más información, consulta los Lineamientos de los Servicios de Asistencia Técnica de Google SecOps y las Condiciones Específicas del Servicio de Google SecOps.

En este documento, se explica cómo transferir registros de Akamai Cloud Monitor (balanceador de cargas, Traffic Shaper y ADC) a Google Security Operations con Google Cloud Storage. Akamai envía eventos JSON a tu extremo HTTPS; un receptor de API Gateway y Cloud Functions escribe los eventos en GCS (JSONL, gz). El analizador transforma los registros JSON en UDM. Extrae campos de la carga útil JSON, realiza conversiones de tipos de datos, cambia el nombre de los campos para que coincidan con el esquema del UDM y controla la lógica específica para los campos personalizados y la construcción de URLs. También incorpora el manejo de errores y la lógica condicional según la presencia de campos.

Antes de comenzar

Asegúrate de cumplir con los siguientes requisitos previos:

• Una instancia de Google SecOps
• Un proyecto de GCP con la API de Cloud Storage habilitada
• Permisos para crear y administrar buckets de GCS
• Permisos para administrar políticas de IAM en buckets de GCS
• Permisos para crear Cloud Functions, temas de Pub/Sub y API Gateway
• Acceso con privilegios a Akamai Control Center y Property Manager

Crea un bucket de Google Cloud Storage

1. Ve a Google Cloud Console.
2. Selecciona tu proyecto o crea uno nuevo.
3. En el menú de navegación, ve a Cloud Storage > Buckets.
4. Haz clic en Crear bucket.

5. Proporciona los siguientes detalles de configuración:

   Configuración	Valor
   Asigna un nombre a tu bucket	Ingresa un nombre global único (por ejemplo, akamai-cloud-monitor).
   Tipo de ubicación	Elige según tus necesidades (región, birregional, multirregional)
   Ubicación	Selecciona la ubicación (por ejemplo, us-central1).
   Clase de almacenamiento	Estándar (recomendado para los registros a los que se accede con frecuencia)
   Control de acceso	Uniforme (recomendado)
   Herramientas de protección	Opcional: Habilita el control de versiones de objetos o la política de retención

6. Haz clic en Crear.

Recopila detalles de configuración de Akamai Cloud Monitor

Necesitarás la siguiente información del Centro de control de Akamai:

• Nombre de la propiedad en el Administrador de propiedades
• Conjuntos de datos de Cloud Monitoring obligatorios para recopilar
• Token secreto compartido opcional para la autenticación de webhook

Crea una cuenta de servicio para Cloud Function

La Cloud Function necesita una cuenta de servicio con permisos para escribir en el bucket de GCS.

Crear cuenta de servicio

1. En GCP Console, ve a IAM y administración > Cuentas de servicio.
2. Haz clic en Crear cuenta de servicio.
3. Proporciona los siguientes detalles de configuración:
   • Nombre de la cuenta de servicio: Ingresa akamai-cloud-monitor-sa.
   • Descripción de la cuenta de servicio: Ingresa Service account for Cloud Function to collect Akamai Cloud Monitor logs.
4. Haz clic en Crear y continuar.
5. En la sección Otorga a esta cuenta de servicio acceso al proyecto, haz lo siguiente:
   1. Haz clic en Selecciona un rol.
   2. Busca y selecciona Administrador de objetos de almacenamiento.
   3. Haz clic en + Agregar otra función.
   4. Busca y selecciona Invocador de Cloud Run.
   5. Haz clic en + Agregar otra función.
   6. Busca y selecciona Cloud Functions Invoker.
6. Haz clic en Continuar.
7. Haz clic en Listo.

Estos roles son necesarios para las siguientes acciones:

• Administrador de objetos de almacenamiento: Escribe registros en el bucket de GCS y administra archivos de estado
• Invocador de Cloud Run: Permite que Pub/Sub invoque la función
• Cloud Functions Invoker: Permite la invocación de funciones

Otorga permisos de IAM en el bucket de GCS

Otorga permisos de escritura a la cuenta de servicio en el bucket de GCS:

1. Ve a Cloud Storage > Buckets.
2. Haz clic en el nombre de tu bucket.
3. Ve a la pestaña Permisos.
4. Haz clic en Otorgar acceso.
5. Proporciona los siguientes detalles de configuración:
   • Agregar principales: Ingresa el correo electrónico de la cuenta de servicio (por ejemplo, akamai-cloud-monitor-sa@PROJECT_ID.iam.gserviceaccount.com).
   • Asignar roles: Selecciona Administrador de objetos de Storage.
6. Haz clic en Guardar.

Crea una Cloud Function para recibir registros de Akamai

La Cloud Function recibe solicitudes HTTP POST de Akamai Cloud Monitor y escribe registros en GCS.

1. En GCP Console, ve a Cloud Functions.
2. Haz clic en Crear función.

3. Proporciona los siguientes detalles de configuración:

   Configuración	Valor
   Entorno	Selecciona 2nd gen.
   Nombre de la función	akamai-cloud-monitor-receiver
   Región	Selecciona la región que coincida con tu bucket de GCS (por ejemplo, us-central1).

4. En la sección Activador, haz lo siguiente:

   • Tipo de activador: Selecciona HTTPS.
   • Autenticación: Selecciona Permitir invocaciones no autenticadas (Akamai enviará solicitudes no autenticadas).
   Nota: De manera opcional, puedes usar un token secreto compartido en la cadena de consulta de la URL para la autenticación (configurado en las variables de entorno).

5. Haz clic en Guardar para guardar la configuración del activador.

6. Expande Configuración del entorno de ejecución, la compilación, las conexiones y la seguridad.

7. En la sección Entorno de ejecución, haz lo siguiente:

   • Memoria asignada: Selecciona 512 MiB.
   • Tiempo de espera: Ingresa 600 segundos (10 minutos).
   • Cuenta de servicio del entorno de ejecución: Selecciona la cuenta de servicio (akamai-cloud-monitor-sa).

8. En la sección Variables de entorno de ejecución, haz clic en + Agregar variable para cada una de las siguientes:

   Nombre de la variable	Valor de ejemplo
   GCS_BUCKET	akamai-cloud-monitor
   GCS_PREFIX	akamai/cloud-monitor/json
   INGEST_TOKEN	random-shared-secret (opcional)

   Nota: INGEST_TOKEN es opcional. Si se configura, Akamai debe incluir ?token=<INGEST_TOKEN> en la ruta de URL de entrega.

9. Haz clic en Siguiente para continuar con el editor de código.

10. En el menú desplegable Entorno de ejecución, selecciona Python 3.12.

Agregar el código de función

1. Ingresa main en Punto de entrada de la función.

2. En el editor de código intercalado, crea dos archivos:

   • Primer archivo: main.py:

   import os
   import json
   import gzip
   import io
   import uuid
   import datetime as dt
   from google.cloud import storage
   import functions_framework
   
   GCS_BUCKET = os.environ.get("GCS_BUCKET")
   GCS_PREFIX = os.environ.get("GCS_PREFIX", "akamai/cloud-monitor/json").strip("/") + "/"
   INGEST_TOKEN = os.environ.get("INGEST_TOKEN")  # optional shared secret
   
   storage_client = storage.Client()
   
   def _write_jsonl_gz(objs: list) -> str:
       """Write JSON objects to GCS as gzipped JSONL."""
       timestamp = dt.datetime.utcnow()
       key = f"{timestamp:%Y/%m/%d}/akamai-cloud-monitor-{uuid.uuid4()}.json.gz"
   
       buf = io.BytesIO()
       with gzip.GzipFile(fileobj=buf, mode="w") as gz:
           for o in objs:
               gz.write((json.dumps(o, separators=(",", ":")) + "\n").encode())
       buf.seek(0)
   
       bucket = storage_client.bucket(GCS_BUCKET)
       blob = bucket.blob(f"{GCS_PREFIX}{key}")
       blob.upload_from_file(buf, content_type="application/json", content_encoding="gzip")
   
       return f"gs://{GCS_BUCKET}/{GCS_PREFIX}{key}"
   
   def _parse_records_from_request(request) -> list:
       """Parse JSON records from HTTP request body."""
       body = request.get_data(as_text=True)
   
       if not body:
           return []
   
       try:
           data = json.loads(body)
       except Exception:
           # Accept line-delimited JSON as pass-through
           try:
               return [json.loads(line) for line in body.splitlines() if line.strip()]
           except Exception:
               return []
   
       if isinstance(data, list):
           return data
       if isinstance(data, dict):
           return [data]
       return []
   
   @functions_framework.http
   def main(request):
       """
       Cloud Function HTTP handler for Akamai Cloud Monitor logs.
   
       Args:
           request: Flask request object
   
       Returns:
           Tuple of (response_body, status_code, headers)
       """
       # Optional shared-secret verification via query parameter (?token=...)
       if INGEST_TOKEN:
           token = request.args.get("token")
           if token != INGEST_TOKEN:
               return ("Forbidden", 403)
   
       records = _parse_records_from_request(request)
   
       if not records:
           return ("No content", 204)
   
       try:
           gcs_key = _write_jsonl_gz(records)
   
           response = {
               "ok": True,
               "gcs_key": gcs_key,
               "count": len(records)
           }
   
           return (json.dumps(response), 200, {"Content-Type": "application/json"})
   
       except Exception as e:
           print(f"Error writing to GCS: {str(e)}")
           return (f"Internal server error: {str(e)}", 500)
   

   • Segundo archivo: requirements.txt:

   functions-framework==3.*
   google-cloud-storage==2.*
   

3. Haz clic en implementar para implementar la función.

4. Espera a que se complete la implementación (de 2 a 3 minutos).

5. Después de la implementación, ve a la pestaña Activador y copia la URL del activador. Usarás esta URL en la configuración de Akamai.

Configura Akamai Cloud Monitor para enviar registros

1. Accede a Akamai Control Center.
2. Abre tu propiedad en el Administrador de propiedades.
3. Haz clic en Agregar regla > elige Administración de Cloud.
4. Agrega Cloud Monitor Instrumentation y selecciona los conjuntos de datos requeridos.
5. Agrega Cloud Monitor Data Delivery.

6. Proporciona los siguientes detalles de configuración:

   • Nombre de host de entrega: Ingresa el nombre de host de la URL del activador de Cloud Functions (por ejemplo, us-central1-your-project.cloudfunctions.net).

   • Ruta de acceso a la URL de entrega: Ingresa la ruta de acceso desde la URL del activador de Cloud Functions más el token de consulta opcional:

     • Sin token: /akamai-cloud-monitor-receiver

     • Con token: /akamai-cloud-monitor-receiver?token=<INGEST_TOKEN>

     • Reemplaza <INGEST_TOKEN> por el valor que estableciste en las variables de entorno de Cloud Functions.

7. Haz clic en Guardar.

8. Haz clic en Activar para activar la versión de la propiedad.

   Nota: La configuración puede tardar varios minutos en propagarse por la red de Akamai.

Recupera la cuenta de servicio de Google SecOps

Las Operaciones de seguridad de Google usan una cuenta de servicio única para leer datos de tu bucket de GCS. Debes otorgar acceso a tu bucket a esta cuenta de servicio.

Obtén el correo electrónico de la cuenta de servicio

1. Ve a Configuración de SIEM > Feeds.
2. Haz clic en Agregar feed nuevo.
3. Haz clic en Configura un feed único.
4. En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo, Akamai Cloud Monitor - GCS).
5. Selecciona Google Cloud Storage V2 como el Tipo de fuente.
6. Selecciona Akamai Cloud Monitor como el Tipo de registro.

7. Haz clic en Obtener cuenta de servicio. Se muestra un correo electrónico único de la cuenta de servicio, por ejemplo:

   [e-mail]
   

8. Copia esta dirección de correo electrónico para usarla en el siguiente paso.

   Nota: Cada instancia de Google SecOps tiene una cuenta de servicio única. No uses cuentas de servicio de otros ejemplos o documentación.

Otorga permisos de IAM a la cuenta de servicio de Google SecOps

La cuenta de servicio de Google SecOps necesita el rol de visualizador de objetos de almacenamiento en tu bucket de GCS.

1. Ve a Cloud Storage > Buckets.
2. Haz clic en el nombre de tu bucket.
3. Ve a la pestaña Permisos.
4. Haz clic en Otorgar acceso.
5. Proporciona los siguientes detalles de configuración:
   • Agregar principales: Pega el correo electrónico de la cuenta de servicio de Google SecOps.
   • Asignar roles: Selecciona Visualizador de objetos de Storage.

6. Haz clic en Guardar.

   Nota: Si planeas usar la opción de eliminación "Borrar archivos transferidos" o "Borrar archivos transferidos y directorios vacíos", otorga el rol de Administrador de objetos de Storage en lugar del rol de Visualizador de objetos de Storage.

Configura un feed en Google SecOps para transferir registros de Akamai Cloud Monitor

1. Ve a Configuración de SIEM > Feeds.
2. Haz clic en Agregar feed nuevo.
3. Haz clic en Configura un feed único.
4. En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo, Akamai Cloud Monitor - GCS).
5. Selecciona Google Cloud Storage V2 como el Tipo de fuente.
6. Selecciona Akamai Cloud Monitor como el Tipo de registro.
7. Haz clic en Siguiente.

8. Especifica valores para los siguientes parámetros de entrada:

   • URL del bucket de almacenamiento: Ingresa el URI del bucket de GCS con la ruta de acceso del prefijo:

     gs://akamai-cloud-monitor/akamai/cloud-monitor/json/
     

     • Reemplaza lo siguiente:

       • akamai-cloud-monitor: Es el nombre de tu bucket de GCS.
       • akamai/cloud-monitor/json: Es el prefijo de la ruta de acceso en la que se almacenan los registros (debe coincidir con GCS_PREFIX en Cloud Function).
     Nota: Siempre incluye la barra diagonal final (/) al final del URI.

   • Opción de borrado de la fuente: Selecciona la opción de borrado según tu preferencia:

     • Nunca: Nunca borra ningún archivo después de las transferencias (se recomienda para las pruebas).
     • Borrar archivos transferidos: Borra los archivos después de la transferencia exitosa.

     • Borrar los archivos transferidos y los directorios vacíos: Borra los archivos y los directorios vacíos después de la transferencia exitosa.

       Nota: Si seleccionas una opción de eliminación, la cuenta de servicio debe tener el rol de administrador de objetos de Storage en lugar del rol de visualizador de objetos de Storage. Actualiza los permisos de IAM según corresponda.

   • Antigüedad máxima del archivo: Incluye los archivos modificados en la cantidad de días especificada. El valor predeterminado es de 180 días.

   • Espacio de nombres del activo: akamai.cloud_monitor

   • Etiquetas de transferencia: Se agregan etiquetas a todos los eventos de este feed (por ejemplo, source=akamai_cloud_monitor, format=json).

9. Haz clic en Siguiente.

10. Revisa la nueva configuración del feed en la pantalla Finalizar y, luego, haz clic en Enviar.

Registros de muestra de Akamai Cloud Monitor compatibles

• JSON:

  {
    "UA": "-",
    "accLang": "-",
    "bytes": "3929",
    "cacheStatus": "1",
    "cliIP": "0.0.0.0",
    "cookie": "-",
    "cp": "848064",
    "customField": "-",
    "dnsLookupTimeMSec": "-",
    "errorCode": "-",
    "maxAgeSec": "31536000",
    "objSize": "3929",
    "overheadBytes": "240",
    "proto": "HTTPS",
    "queryStr": "-",
    "range": "-",
    "referer": "-",
    "reqEndTimeMSec": "4",
    "reqHost": "www.example.com",
    "reqId": "1ce83c03",
    "reqMethod": "GET",
    "reqPath": "assets/images/placeholder-tagline.png",
    "reqPort": "443",
    "reqTimeSec": "1622470405.760",
    "rspContentLen": "3929",
    "rspContentType": "image/png",
    "statusCode": "200",
    "tlsOverheadTimeMSec": "0",
    "tlsVersion": "TLSv1.2",
    "totalBytes": "4599",
    "transferTimeMSec": "0",
    "turnAroundTimeMSec": "0",
    "uncompressedSize": "-",
    "version": "1",
    "xForwardedFor": "-"
  }
  

Tabla de asignación de UDM

Campo de registro	Asignación de UDM	Lógica
accLang	network.http.user_agent	Se asigna directamente si no es "-" o una cadena vacía.
city	principal.location.city	Se asigna directamente si no es "-" o una cadena vacía.
cliIP	principal.ip	Se asigna directamente si no es una cadena vacía.
country	principal.location.country_or_region	Se asigna directamente si no es "-" o una cadena vacía.
cp	additional.fields	Se asigna como un par clave-valor con la clave "cp".
customField	about.ip, about.labels, src.ip	Se analizan como pares clave-valor. Se proporciona un tratamiento especial para "eIp" y "pIp" para asignarlos a src.ip y about.ip, respectivamente. Otras claves se asignan como etiquetas en la sección Acerca de.
errorCode	security_result.summary, security_result.severity	Si está presente, establece security_result.severity en "ERROR" y asigna el valor a security_result.summary.
geo.city	principal.location.city	Se asigna directamente si la ciudad es "-" o una cadena vacía.
geo.country	principal.location.country_or_region	Se asigna directamente si el país es "-" o una cadena vacía.
geo.lat	principal.location.region_latitude	Se asigna directamente y se convierte en un valor de coma flotante.
geo.long	principal.location.region_longitude	Se asigna directamente y se convierte en un valor de coma flotante.
geo.region	principal.location.state	Se asigna directamente.
id	metadata.product_log_id	Se asigna directamente si no es una cadena vacía.
message.cliIP	principal.ip	Se asigna directamente si cliIP es una cadena vacía.
message.fwdHost	principal.hostname	Se asigna directamente.
message.reqHost	target.hostname, target.url	Se usa para construir target.url y extraer target.hostname.
message.reqLen	network.sent_bytes	Se asigna directamente y se convierte en un número entero sin signo si totalBytes está vacío o es "-".
message.reqMethod	network.http.method	Se asigna directamente si reqMethod es una cadena vacía.
message.reqPath	target.url	Se agrega a target.url.
message.reqPort	target.port	Se asigna directamente y se convierte en un número entero si reqPort es una cadena vacía.
message.respLen	network.received_bytes	Se asigna directamente y se convierte en un número entero sin signo.
message.sslVer	network.tls.version	Se asigna directamente.
message.status	network.http.response_code	Se asigna directamente y se convierte en un número entero si statusCode está vacío o es "-".
message.UA	network.http.user_agent	Se asigna directamente si UA es "-" o una cadena vacía.
network.asnum	additional.fields	Se asigna como un par clave-valor con la clave "asnum".
network.edgeIP	intermediary.ip	Se asigna directamente.
network.network	additional.fields	Se asigna como un par clave-valor con la clave "network".
network.networkType	additional.fields	Se asigna como un par clave-valor con la clave "networkType".
proto	network.application_protocol	Se usa para determinar network.application_protocol.
queryStr	target.url	Se agrega a target.url si no es "-" o una cadena vacía.
Referencia	network.http.referral_url, about.hostname	Se asigna directamente si no es "-". El nombre de host extraído se asigna a about.hostname.
reqHost	target.hostname, target.url	Se usa para construir target.url y extraer target.hostname.
reqId	metadata.product_log_id, network.session_id	Se asigna directamente si el ID es una cadena vacía. También se asigna a network.session_id.
reqMethod	network.http.method	Se asigna directamente si no es una cadena vacía.
reqPath	target.url	Se agrega a target.url si no es "-".
reqPort	target.port	Se asigna directamente y se convierte en un número entero.
reqTimeSec	metadata.event_timestamp, timestamp	Se usa para establecer la marca de tiempo del evento.
start	metadata.event_timestamp, timestamp	Se usa para establecer la marca de tiempo del evento si reqTimeSec es una cadena vacía.
Código de error	network.http.response_code	Se asigna directamente y se convierte en un número entero si no es "-" o una cadena vacía.
tlsVersion	network.tls.version	Se asigna directamente.
totalBytes	network.sent_bytes	Se asigna directamente y se convierte en un número entero sin signo si no está vacío o es "-".
tipo	metadata.product_event_type	Se asigna directamente.
UA	network.http.user_agent	Se asigna directamente si no es "-" o una cadena vacía.
version	metadata.product_version	Se asigna directamente.
xForwardedFor	principal.ip	Se asigna directamente si no es "-" o una cadena vacía.
(Lógica del analizador)	metadata.vendor_name	Se establece en "Akamai".
(Lógica del analizador)	metadata.product_name	Establece el valor en "Cloud Monitor".
(Lógica del analizador)	metadata.event_type	Se establece en "NETWORK_HTTP".
(Lógica del analizador)	metadata.product_version	Se establece en "2" si la versión es una cadena vacía.
(Lógica del analizador)	metadata.log_type	Se debe establecer en "AKAMAI_CLOUD_MONITOR".
(Lógica del analizador)	network.application_protocol	Se determina a partir de proto o message.proto. Se establece en "HTTPS" si alguno contiene "HTTPS" (sin distinción entre mayúsculas y minúsculas) o en "HTTP" en cualquier otro caso.
(Lógica del analizador)	security_result.severity	Se establece en "INFORMATIONAL" si errorCode es "-" o una cadena vacía.
(Lógica del analizador)	target.url	Se construye a partir del protocolo, reqHost (o message.reqHost), reqPath (o message.reqPath) y queryStr.

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.