Recopila registros de auditoría de Harness IO
En este documento, se explica cómo transferir registros de auditoría de Harness IO a Google Security Operations con Google Cloud Storage. Harness es una plataforma de DevOps y entrega continua que proporciona herramientas para la entrega de software, marcas de funciones, administración de costos de la nube y pruebas de seguridad.
Antes de comenzar
Asegúrate de cumplir con los siguientes requisitos previos:
- Una instancia de Google SecOps
- Un proyecto de GCP con la API de Cloud Storage habilitada
- Permisos para crear y administrar buckets de GCS
- Permisos para administrar políticas de IAM en buckets de GCS
- Permisos para crear servicios de Cloud Run, temas de Pub/Sub y trabajos de Cloud Scheduler
- Acceso con privilegios a Harness con los siguientes permisos:
- Crea claves de API
- Accede a los registros de auditoría
- Ver la configuración de la cuenta
Recopila credenciales de la API de Harness
Crea una clave de API en Harness
- Accede a la plataforma de Harness.
- Haz clic en tu perfil de usuario.
- Ve a Mis claves de API.
- Haz clic en + API Key.
- Proporciona los siguientes detalles de configuración:
- Nombre: Ingresa un nombre descriptivo (por ejemplo,
Google SecOps Integration). - Descripción: Descripción opcional.
- Nombre: Ingresa un nombre descriptivo (por ejemplo,
- Haz clic en Guardar.
- Haz clic en + Token para crear un token nuevo.
- Proporciona los siguientes detalles de configuración:
- Nombre: Ingresa
Chronicle Feed Token. - Set Expiration: Selecciona un tiempo de vencimiento adecuado o No Expiration (para uso en producción).
- Nombre: Ingresa
- Haz clic en Generar token.
Copia y guarda el valor del token de forma segura. Este token se usará como el valor del encabezado
x-api-key.
Obtén el ID de la cuenta de Harness
- En la Plataforma de Harness, toma nota del ID de cuenta de la URL.
URL de ejemplo: https://app.harness.io/ng/account/YOUR_ACCOUNT_ID/.... La parte YOUR_ACCOUNT_ID es el identificador de tu cuenta.
También puedes ir a Configuración de la cuenta > Resumen para ver tu identificador de cuenta.
Copia y guarda el ID de la cuenta para usarlo en la función de Cloud Run.
Crea un bucket de Google Cloud Storage
- Ve a Google Cloud Console.
- Selecciona tu proyecto o crea uno nuevo.
- En el menú de navegación, ve a Cloud Storage > Buckets.
- Haz clic en Crear bucket.
Proporciona los siguientes detalles de configuración:
Configuración Valor Asigna un nombre a tu bucket Ingresa un nombre global único (por ejemplo, harness-io-logs).Tipo de ubicación Elige según tus necesidades (región, birregional, multirregional) Ubicación Selecciona la ubicación (por ejemplo, us-central1).Clase de almacenamiento Estándar (recomendado para los registros a los que se accede con frecuencia) Control de acceso Uniforme (recomendado) Herramientas de protección Opcional: Habilita el control de versiones de objetos o la política de retención Haz clic en Crear.
Crea una cuenta de servicio para la Cloud Run Function
La Cloud Run Function necesita una cuenta de servicio con permisos para escribir en el bucket de GCS y ser invocada por Pub/Sub.
Crear cuenta de servicio
- En GCP Console, ve a IAM y administración > Cuentas de servicio.
- Haz clic en Crear cuenta de servicio.
- Proporciona los siguientes detalles de configuración:
- Nombre de la cuenta de servicio: Ingresa
harness-audit-collector-sa. - Descripción de la cuenta de servicio: Ingresa
Service account for Cloud Run function to collect Harness IO audit logs.
- Nombre de la cuenta de servicio: Ingresa
- Haz clic en Crear y continuar.
- En la sección Otorga a esta cuenta de servicio acceso al proyecto, agrega los siguientes roles:
- Haz clic en Selecciona un rol.
- Busca y selecciona Administrador de objetos de almacenamiento.
- Haz clic en + Agregar otra función.
- Busca y selecciona Invocador de Cloud Run.
- Haz clic en + Agregar otra función.
- Busca y selecciona Cloud Functions Invoker.
- Haz clic en Continuar.
- Haz clic en Listo.
Estos roles son necesarios para las siguientes acciones:
- Administrador de objetos de almacenamiento: Escribe registros en el bucket de GCS y administra archivos de estado
- Invocador de Cloud Run: Permite que Pub/Sub invoque la función
- Cloud Functions Invoker: Permite la invocación de funciones
Otorga permisos de IAM en el bucket de GCS
Otorga permisos de escritura a la cuenta de servicio en el bucket de GCS:
- Ve a Cloud Storage > Buckets.
- Haz clic en el nombre de tu bucket.
- Ve a la pestaña Permisos.
- Haz clic en Otorgar acceso.
- Proporciona los siguientes detalles de configuración:
- Agregar principales: Ingresa el correo electrónico de la cuenta de servicio (por ejemplo,
harness-audit-collector-sa@PROJECT_ID.iam.gserviceaccount.com). - Asignar roles: Selecciona Administrador de objetos de Storage.
- Agregar principales: Ingresa el correo electrónico de la cuenta de servicio (por ejemplo,
- Haz clic en Guardar.
Crear tema de Pub/Sub
Crea un tema de Pub/Sub en el que Cloud Scheduler publicará y al que se suscribirá la función de Cloud Run.
- En GCP Console, ve a Pub/Sub > Temas.
- Haz clic en Crear un tema.
- Proporciona los siguientes detalles de configuración:
- ID del tema: Ingresa
harness-audit-trigger. - Deja el resto de la configuración con sus valores predeterminados.
- ID del tema: Ingresa
- Haz clic en Crear.
Crea una función de Cloud Run para recopilar registros
La función de Cloud Run se activa con los mensajes de Pub/Sub de Cloud Scheduler para recuperar registros de la API de Harness y escribirlos en GCS.
- En GCP Console, ve a Cloud Run.
- Haz clic en Crear servicio.
- Selecciona Función (usa un editor intercalado para crear una función).
En la sección Configurar, proporciona los siguientes detalles de configuración:
Configuración Valor Nombre del servicio harness-audit-collectorRegión Selecciona la región que coincida con tu bucket de GCS (por ejemplo, us-central1).Tiempo de ejecución Selecciona Python 3.12 o una versión posterior. En la sección Activador (opcional), haz lo siguiente:
- Haz clic en + Agregar activador.
- Selecciona Cloud Pub/Sub.
- En Selecciona un tema de Cloud Pub/Sub, elige el tema de Pub/Sub (
harness-audit-trigger). - Haz clic en Guardar.
En la sección Autenticación, haz lo siguiente:
- Selecciona Solicitar autenticación.
- Verifica Identity and Access Management (IAM).
Desplázate hacia abajo y expande Contenedores, redes y seguridad.
Ve a la pestaña Seguridad:
- Cuenta de servicio: Selecciona la cuenta de servicio (
harness-audit-collector-sa).
- Cuenta de servicio: Selecciona la cuenta de servicio (
Ve a la pestaña Contenedores:
- Haz clic en Variables y secretos.
- Haz clic en + Agregar variable para cada variable de entorno:
Nombre de la variable Valor de ejemplo Descripción HARNESS_ACCOUNT_IDTu ID de cuenta de Harness Identificador de la cuenta de Harness HARNESS_API_KEYTu token de clave de API Token con permisos de audit:read GCS_BUCKETharness-io-logsNombre del bucket de GCS GCS_PREFIXharness/auditPrefijo para objetos de GCS STATE_KEYharness/audit/state.jsonRuta de acceso del archivo de estado en GCS - Variables de entorno opcionales:
Nombre de la variable Valor predeterminado Descripción HARNESS_API_BASEhttps://app.harness.ioURL base de la API de Harness (anula las instancias autoalojadas) PAGE_SIZE50Eventos por página (máx. 100) START_MINUTES_BACK60Período inicial de visualización en minutos FILTER_MODULESNinguno Módulos separados por comas (p.ej., CD,CI,CEFILTER_ACTIONSNinguno Acciones separadas por comas (p.ej., CREATE,UPDATE,DELETESTATIC_FILTERNinguno Filtro predefinido: EXCLUDE_LOGIN_EVENTSoEXCLUDE_SYSTEM_EVENTSMAX_RETRIES3Cantidad máxima de reintentos para el límite de frecuencia En la pestaña Variables y Secrets, desplázate hacia abajo hasta Requests:
- Tiempo de espera de la solicitud: Ingresa
600segundos (10 minutos).
- Tiempo de espera de la solicitud: Ingresa
Ve a la pestaña Configuración en Contenedores:
- En la sección Recursos, haz lo siguiente:
- Memoria: Selecciona 512 MiB o más.
- CPU: Selecciona 1.
- Haz clic en Listo.
- En la sección Recursos, haz lo siguiente:
Desplázate hasta Entorno de ejecución:
- Selecciona Predeterminado (recomendado).
En la sección Ajuste de escala de revisión, haz lo siguiente:
- Cantidad mínima de instancias: Ingresa
0. - Cantidad máxima de instancias: Ingresa
100(o ajusta según la carga esperada).
- Cantidad mínima de instancias: Ingresa
Haz clic en Crear.
Espera a que se cree el servicio (de 1 a 2 minutos).
Después de crear el servicio, se abrirá automáticamente el editor de código intercalado.
Agregar el código de función
- Ingresa main en Punto de entrada de la función.
En el editor de código intercalado, crea dos archivos:
- Primer archivo: main.py:
import functions_framework from google.cloud import storage import json import os import urllib3 from datetime import datetime, timedelta, timezone import time # Initialize HTTP client http = urllib3.PoolManager() # Initialize Storage client storage_client = storage.Client() # Configuration from Environment Variables API_BASE = os.environ.get("HARNESS_API_BASE", "https://app.harness.io").rstrip("/") ACCOUNT_ID = os.environ["HARNESS_ACCOUNT_ID"] API_KEY = os.environ["HARNESS_API_KEY"] BUCKET = os.environ["GCS_BUCKET"] PREFIX = os.environ.get("GCS_PREFIX", "harness/audit").strip("/") STATE_KEY = os.environ.get("STATE_KEY", "harness/audit/state.json") PAGE_SIZE = min(int(os.environ.get("PAGE_SIZE", "50")), 100) START_MINUTES_BACK = int(os.environ.get("START_MINUTES_BACK", "60")) # Optional filters FILTER_MODULES = os.environ.get("FILTER_MODULES", "").split(",") if os.environ.get("FILTER_MODULES") else None FILTER_ACTIONS = os.environ.get("FILTER_ACTIONS", "").split(",") if os.environ.get("FILTER_ACTIONS") else None STATIC_FILTER = os.environ.get("STATIC_FILTER") MAX_RETRIES = int(os.environ.get("MAX_RETRIES", "3")) # HTTP headers for Harness API HDRS = { "x-api-key": API_KEY, "Content-Type": "application/json", "Accept": "application/json", } def read_state(bucket): """Read checkpoint state from GCS.""" try: blob = bucket.blob(STATE_KEY) if blob.exists(): state_data = blob.download_as_text() state = json.loads(state_data) since_ms = state.get("since") page_token = state.get("pageToken") print(f"State loaded: since={since_ms}, pageToken={page_token}") return since_ms, page_token except Exception as e: print(f"Warning: Could not load state: {e}") print("No state file found, starting fresh collection") start_time = datetime.now(timezone.utc) - timedelta(minutes=START_MINUTES_BACK) since_ms = int(start_time.timestamp() * 1000) print(f"Initial since timestamp: {since_ms} ({start_time.isoformat()})") return since_ms, None def write_state(bucket, since_ms, page_token=None): """Write checkpoint state to GCS.""" state = { "since": since_ms, "pageToken": page_token, "lastRun": int(time.time() * 1000), "lastRunISO": datetime.now(timezone.utc).isoformat() } try: blob = bucket.blob(STATE_KEY) blob.upload_from_string( json.dumps(state, indent=2), content_type="application/json" ) print(f"State saved: since={since_ms}, pageToken={page_token}") except Exception as e: print(f"Error writing state: {e}") raise def fetch_harness_audits(since_ms, page_token=None, retry_count=0): """ Fetch audit logs from Harness API with retry logic. API Endpoint: POST /audit/api/audits/listV2 """ try: # Build URL with query parameters url = ( f"{API_BASE}/audit/api/audits/listV2" f"?accountIdentifier={ACCOUNT_ID}" f"&pageSize={PAGE_SIZE}" ) if page_token: url += f"&pageToken={page_token}" print(f"Fetching from: {url[:100]}...") # Build request body with time filter and optional filters body_data = { "startTime": since_ms, "endTime": int(time.time() * 1000), "filterType": "Audit" } if FILTER_MODULES: body_data["modules"] = [m.strip() for m in FILTER_MODULES if m.strip()] print(f"Applying module filter: {body_data['modules']}") if FILTER_ACTIONS: body_data["actions"] = [a.strip() for a in FILTER_ACTIONS if a.strip()] print(f"Applying action filter: {body_data['actions']}") if STATIC_FILTER: body_data["staticFilter"] = STATIC_FILTER print(f"Applying static filter: {STATIC_FILTER}") # Make POST request response = http.request( 'POST', url, body=json.dumps(body_data).encode('utf-8'), headers=HDRS, timeout=30.0 ) resp_data = json.loads(response.data.decode('utf-8')) if "status" not in resp_data: print(f"Response missing 'status' field: {response.data[:200]}") # Check response status if resp_data.get("status") != "SUCCESS": error_msg = resp_data.get("message", "Unknown error") raise Exception(f"API returned status: {resp_data.get('status')} - {error_msg}") # Extract data from response structure data_obj = resp_data.get("data", {}) if not data_obj: print("Response 'data' object is empty or missing") events = data_obj.get("content", []) has_next = data_obj.get("hasNext", False) next_token = data_obj.get("pageToken") print(f"API response: {len(events)} events, hasNext={has_next}, pageToken={next_token}") if not events and data_obj: print(f"Empty events but data present. Data keys: {list(data_obj.keys())}") return { "events": events, "hasNext": has_next, "pageToken": next_token } except Exception as e: if hasattr(e, 'status') and e.status == 429: retry_after = 60 print(f"Rate limit exceeded. Retry after {retry_after} seconds (attempt {retry_count + 1}/{MAX_RETRIES})") if retry_count < MAX_RETRIES: print(f"Waiting {retry_after} seconds before retry...") time.sleep(retry_after) print(f"Retrying request (attempt {retry_count + 2}/{MAX_RETRIES})") return fetch_harness_audits(since_ms, page_token, retry_count + 1) else: raise Exception(f"Max retries ({MAX_RETRIES}) exceeded for rate limiting") print(f"Error in fetch_harness_audits: {e}") raise def upload_to_gcs(bucket, events): """Upload audit events to GCS in JSONL format.""" if not events: print("No events to upload") return None try: # Create JSONL content (one JSON object per line) jsonl_lines = [json.dumps(event) for event in events] jsonl_content = "\n".join(jsonl_lines) # Generate GCS key with timestamp timestamp = datetime.now(timezone.utc) key = ( f"{PREFIX}/" f"{timestamp:%Y/%m/%d}/" f"harness-audit-{timestamp:%Y%m%d-%H%M%S}.jsonl" ) # Upload to GCS blob = bucket.blob(key) blob.upload_from_string( jsonl_content, content_type="application/x-ndjson" ) blob.metadata = { "event-count": str(len(events)), "source": "harness-audit-function", "collection-time": timestamp.isoformat() } blob.patch() print(f"Uploaded {len(events)} events to gs://{BUCKET}/{key}") return key except Exception as e: print(f"Error uploading to GCS: {e}") raise @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function triggered by Pub/Sub to fetch Harness audit logs and write to GCS. Args: cloud_event: CloudEvent object containing Pub/Sub message """ print("=== Harness Audit Collection Started ===") print(f"Configuration: API_BASE={API_BASE}, ACCOUNT_ID={ACCOUNT_ID[:8]}..., PAGE_SIZE={PAGE_SIZE}") if FILTER_MODULES: print(f"Module filter enabled: {FILTER_MODULES}") if FILTER_ACTIONS: print(f"Action filter enabled: {FILTER_ACTIONS}") if STATIC_FILTER: print(f"Static filter enabled: {STATIC_FILTER}") try: # Get GCS bucket bucket = storage_client.bucket(BUCKET) # Step 1: Read checkpoint state since_ms, page_token = read_state(bucket) if page_token: print("Resuming pagination from saved pageToken") else: since_dt = datetime.fromtimestamp(since_ms / 1000, tz=timezone.utc) print(f"Starting new collection from: {since_dt.isoformat()}") # Step 2: Collect all events with pagination all_events = [] current_page_token = page_token page_count = 0 max_pages = 100 has_next = True while has_next and page_count < max_pages: page_count += 1 print(f"--- Fetching page {page_count} ---") # Fetch one page of results result = fetch_harness_audits(since_ms, current_page_token) # Extract events events = result.get("events", []) all_events.extend(events) print(f"Page {page_count}: {len(events)} events (total: {len(all_events)})") # Check pagination status has_next = result.get("hasNext", False) current_page_token = result.get("pageToken") if not has_next: print("Pagination complete (hasNext=False)") break if not current_page_token: print("hasNext=True but no pageToken, stopping pagination") break # Small delay between pages to avoid rate limiting time.sleep(0.5) if page_count >= max_pages: print(f"Reached max pages limit ({max_pages}), stopping") # Step 3: Upload collected events to GCS if all_events: gcs_key = upload_to_gcs(bucket, all_events) print(f"Successfully uploaded {len(all_events)} total events") else: print("No new events to upload") gcs_key = None # Step 4: Update checkpoint state if not has_next: # Pagination complete - update since to current time for next run new_since = int(time.time() * 1000) write_state(bucket, new_since, None) print(f"Pagination complete, state updated with new since={new_since}") else: # Pagination incomplete - save pageToken for continuation write_state(bucket, since_ms, current_page_token) print("Pagination incomplete, saved pageToken for next run") # Step 5: Log result result = { "status": "Success", "eventsCollected": len(all_events), "pagesProcessed": page_count, "paginationComplete": not has_next, "gcsKey": gcs_key, "filters": { "modules": FILTER_MODULES, "actions": FILTER_ACTIONS, "staticFilter": STATIC_FILTER } } print(f"Collection completed: {json.dumps(result)}") except Exception as e: print(f"Collection failed: {e}") raise finally: print("=== Harness Audit Collection Finished ===")- Segundo archivo: requirements.txt:
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0Haz clic en Implementar para guardar y, luego, implementar la función.
Espera a que se complete la implementación (de 2 a 3 minutos).
Crea un trabajo de Cloud Scheduler
Cloud Scheduler publica mensajes en el tema de Pub/Sub a intervalos regulares, lo que activa la función de Cloud Run.
- En GCP Console, ve a Cloud Scheduler.
- Haz clic en Crear trabajo.
Proporciona los siguientes detalles de configuración:
Configuración Valor Nombre harness-audit-hourlyRegión Selecciona la misma región que la función de Cloud Run Frecuencia 0 * * * *(cada hora, en punto)Zona horaria Selecciona la zona horaria (se recomienda UTC) Tipo de orientación Pub/Sub Tema Selecciona el tema de Pub/Sub ( harness-audit-trigger).Cuerpo del mensaje {}(objeto JSON vacío)Haz clic en Crear.
Opciones de frecuencia de programación
Elige la frecuencia según los requisitos de latencia y volumen de registros:
Frecuencia Expresión cron Caso de uso Cada 5 minutos */5 * * * *Alto volumen y baja latencia Cada 15 minutos */15 * * * *Volumen medio Cada 1 hora 0 * * * *Estándar (opción recomendada) Cada 6 horas 0 */6 * * *Procesamiento por lotes y volumen bajo Diario 0 0 * * *Recopilación de datos históricos
Prueba la integración
- En la consola de Cloud Scheduler, busca tu trabajo.
- Haz clic en Forzar ejecución para activar el trabajo de forma manual.
- Espera unos segundos.
- Ve a Cloud Run > Servicios.
- Haz clic en el nombre de tu función (
harness-audit-collector). - Haz clic en la pestaña Registros.
Verifica que la función se haya ejecutado correctamente. Busca lo siguiente:
=== Harness Audit Collection Started === State loaded: since=... or No state file found, starting fresh collection --- Fetching page 1 --- API response: X events, hasNext=... Uploaded X events to gs://harness-io-logs/harness/audit/... Successfully processed X records === Harness Audit Collection Finished ===Ve a Cloud Storage > Buckets.
Haz clic en el nombre de tu bucket.
Navega a la carpeta del prefijo (
harness/audit/).Verifica que se haya creado un archivo
.jsonlnuevo con la marca de tiempo actual.
Si ves errores en los registros, haz lo siguiente:
- HTTP 401: Verifica las credenciales de la API en las variables de entorno
- HTTP 403: Verifica que la cuenta tenga los permisos necesarios
- HTTP 429: Limitación de frecuencia. La función volverá a intentarlo automáticamente con una espera exponencial.
Faltan variables de entorno: Verifica que estén configuradas todas las variables requeridas.
Recupera la cuenta de servicio de Google SecOps
Las Operaciones de seguridad de Google usan una cuenta de servicio única para leer datos de tu bucket de GCS. Debes otorgar acceso a tu bucket a esta cuenta de servicio.
Obtén el correo electrónico de la cuenta de servicio
- Ve a Configuración de SIEM > Feeds.
- Haz clic en Agregar feed nuevo.
- Haz clic en Configura un feed único.
- En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo,
Harness Audit Logs). - Selecciona Google Cloud Storage V2 como el Tipo de fuente.
- Selecciona Harness IO como el Tipo de registro.
Haz clic en Obtener cuenta de servicio. Se muestra un correo electrónico único de la cuenta de servicio, por ejemplo:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comCopia esta dirección de correo electrónico para usarla en el siguiente paso.
Otorga permisos de IAM a la cuenta de servicio de Google SecOps
La cuenta de servicio de Google SecOps necesita el rol de visualizador de objetos de almacenamiento en tu bucket de GCS.
- Ve a Cloud Storage > Buckets.
- Haz clic en el nombre de tu bucket.
- Ve a la pestaña Permisos.
- Haz clic en Otorgar acceso.
- Proporciona los siguientes detalles de configuración:
- Agregar principales: Pega el correo electrónico de la cuenta de servicio de Google SecOps.
- Asignar roles: Selecciona Visualizador de objetos de Storage.
Haz clic en Guardar.
Configura un feed en Google SecOps para transferir registros de Harness IO
- Ve a Configuración de SIEM > Feeds.
- Haz clic en Agregar feed nuevo.
- Haz clic en Configura un feed único.
- En el campo Nombre del feed, ingresa un nombre para el feed (por ejemplo,
Harness Audit Logs). - Selecciona Google Cloud Storage V2 como el Tipo de fuente.
- Selecciona Harness IO como el Tipo de registro.
- Haz clic en Siguiente.
Especifica valores para los siguientes parámetros de entrada:
URL del bucket de almacenamiento: Ingresa el URI del bucket de GCS con la ruta de acceso del prefijo:
gs://harness-io-logs/harness/audit/Reemplaza lo siguiente:
harness-io-logs: Es el nombre de tu bucket de GCS.harness/audit: Es el prefijo o la ruta de acceso a la carpeta en la que se almacenan los registros.
Ejemplos:
- Bucket raíz:
gs://company-logs/ - Con prefijo:
gs://company-logs/harness-logs/ - Con subcarpeta:
gs://company-logs/harness/audit/
- Bucket raíz:
Opción de borrado de la fuente: Selecciona la opción de borrado según tu preferencia:
- Nunca: Nunca borra ningún archivo después de las transferencias (se recomienda para las pruebas).
- Borrar archivos transferidos: Borra los archivos después de la transferencia exitosa.
Borrar los archivos transferidos y los directorios vacíos: Borra los archivos y los directorios vacíos después de la transferencia exitosa.
Antigüedad máxima del archivo: Incluye los archivos modificados en la cantidad de días especificada. El valor predeterminado es de 180 días.
Espacio de nombres del recurso: Es el espacio de nombres del recurso. Ingresa
harness.audit.Etiquetas de transmisión: Es la etiqueta que se aplicará a los eventos de este feed.
Haz clic en Siguiente.
Revisa la nueva configuración del feed en la pantalla Finalizar y, luego, haz clic en Enviar.
¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.