Collecter les journaux ReliaQuest GreyMatter DRP (anciennement Digital Shadows SearchLight)
Version de l'analyseur : 2.0
Ce document explique comment ingérer des journaux ReliaQuest GreyMatter DRP (anciennement Digital Shadows SearchLight) dans Google Security Operations à l'aide de Cloud Storage. L'analyseur extrait les données d'événements liés à la sécurité des journaux JSON. Il initialise les champs du modèle de données unifié (UDM), analyse la charge utile JSON, mappe les champs pertinents au schéma UDM, extrait des entités telles que l'adresse e-mail et le nom d'hôte à l'aide de modèles grok, et construit les objets security_result et metadata dans l'événement UDM.
Avant de commencer
Assurez-vous de remplir les conditions préalables suivantes :
- Une instance Google SecOps
- Un projet Google Cloud avec l'API Cloud Storage activée
- Autorisations de créer et de gérer des buckets Cloud Storage
- Autorisations de gérer les stratégies IAM (Identity and Access Management) sur les buckets Cloud Storage
- Autorisations permettant de créer des services Cloud Run, des sujets Pub/Sub et des jobs Cloud Scheduler
- Accès privilégié au locataire Digital Shadows SearchLight
Créer un bucket Cloud Storage
- Accédez à la consoleGoogle Cloud .
- Sélectionnez votre projet ou créez-en un.
- Dans le menu de navigation, accédez à Cloud Storage > Buckets.
- Cliquez sur Créer un bucket.
Fournissez les informations de configuration suivantes :
Paramètre Valeur Attribuez un nom au bucket Saisissez un nom unique (par exemple, digital-shadows-logs).Type d'emplacement Choisissez celle qui correspond le mieux à vos besoins (régionale, birégionale ou multirégionale). Emplacement Sélectionnez l'emplacement (par exemple, us-central1).Classe de stockage Standard (recommandé pour les journaux fréquemment consultés) Access control (Contrôle des accès) Uniforme (recommandé) Outils de protection Facultatif : Activez la gestion des versions d'objets ou la règle de conservation Cliquez sur Créer.
Collecter les identifiants de l'API Digital Shadows SearchLight
- Connectez-vous au portail Digital Shadows SearchLight.
- Accédez à Paramètres > Identifiants de l'API.
- Créez un client API ou une paire de clés.
Copiez et enregistrez les informations suivantes dans un emplacement sécurisé :
- Clé API : votre clé API à six caractères
- Code secret de l'API : code secret de l'API de 32 caractères
- ID de compte : ID de votre compte (obligatoire pour la plupart des locataires)
- URL de base de l'API :
https://api.searchlight.app/v1ouhttps://portal-digitalshadows.com/api/v1
Créer un compte de service pour la fonction Cloud Run
La fonction Cloud Run a besoin d'un compte de service disposant des autorisations nécessaires pour écrire dans le bucket Cloud Storage.
Créer un compte de service
- Dans la console Google Cloud , accédez à IAM et administration > Comptes de service.
- Cliquez sur Créer un compte de service.
- Fournissez les informations de configuration suivantes :
- Nom du compte de service : saisissez
digital-shadows-collector-sa. - Description du compte de service : saisissez
Service account for Cloud Run function to collect Digital Shadows SearchLight logs.
- Nom du compte de service : saisissez
- Cliquez sur Créer et continuer.
- Dans la section Autoriser ce compte de service à accéder au projet :
- Cliquez sur Sélectionner un rôle.
- Recherchez et sélectionnez Administrateur des objets Storage.
- Cliquez sur + Ajouter un autre rôle.
- Recherchez et sélectionnez Demandeur Cloud Run.
- Cliquez sur + Ajouter un autre rôle.
- Recherchez et sélectionnez Demandeur Cloud Functions.
- Cliquez sur Continuer.
Cliquez sur OK.
Accorder des autorisations IAM sur le bucket Cloud Storage
Accordez au compte de service des autorisations d'écriture sur le bucket Cloud Storage :
- Accédez à Cloud Storage > Buckets.
- Cliquez sur le nom de votre bucket.
- Accédez à l'onglet Autorisations.
- Cliquez sur Accorder l'accès.
- Fournissez les informations de configuration suivantes :
- Ajouter des comptes principaux : saisissez l'adresse e-mail du compte de service (par exemple,
digital-shadows-collector-sa@PROJECT_ID.iam.gserviceaccount.com). - Attribuer des rôles : sélectionnez Administrateur des objets Storage.
- Ajouter des comptes principaux : saisissez l'adresse e-mail du compte de service (par exemple,
- Cliquez sur Enregistrer.
Créer un sujet Pub/Sub
Créez un sujet Pub/Sub dans lequel Cloud Scheduler publiera des messages et auquel la fonction Cloud Run s'abonnera.
- Dans la console Google Cloud , accédez à Pub/Sub > Sujets.
- Cliquez sur Créer un sujet.
- Fournissez les informations de configuration suivantes :
- ID du sujet : saisissez
digital-shadows-trigger. - Conservez les valeurs par défaut des autres paramètres.
- ID du sujet : saisissez
- Cliquez sur Créer.
Créer une fonction Cloud Run pour collecter les journaux
La fonction Cloud Run sera déclenchée par les messages Pub/Sub de Cloud Scheduler pour récupérer les journaux de l'API Digital Shadows SearchLight et les écrire dans Cloud Storage.
- Dans la console Google Cloud , accédez à Cloud Run.
- Cliquez sur Créer un service.
- Sélectionnez Fonction (utilisez un éditeur de modification directe pour créer une fonction).
Dans la section Configurer, fournissez les informations de configuration suivantes :
Paramètre Valeur Nom du service digital-shadows-collectorRégion Sélectionnez la région correspondant à votre bucket Cloud Storage (par exemple, us-central1).Durée d'exécution Sélectionnez Python 3.12 ou une version ultérieure. Dans la section Déclencheur (facultatif) :
- Cliquez sur + Ajouter un déclencheur.
- Sélectionnez Cloud Pub/Sub.
- Dans Sélectionner un sujet Cloud Pub/Sub, choisissez le sujet (
digital-shadows-trigger). - Cliquez sur Enregistrer.
Dans la section Authentification :
- Sélectionnez Exiger l'authentification.
- Vérifiez Identity and Access Management (IAM).
Faites défiler la page vers le bas, puis développez Conteneurs, mise en réseau, sécurité.
Accédez à l'onglet Sécurité :
- Compte de service : sélectionnez le compte de service (
digital-shadows-collector-sa).
- Compte de service : sélectionnez le compte de service (
Accédez à l'onglet Conteneurs :
- Cliquez sur Variables et secrets.
- Cliquez sur + Ajouter une variable pour chaque variable d'environnement :
Nom de la variable Exemple de valeur GCS_BUCKETdigital-shadows-logsGCS_PREFIXdigital-shadows-searchlightSTATE_KEYdigital-shadows-searchlight/state.jsonDS_API_KEYyour-6-character-api-keyDS_API_SECRETyour-32-character-api-secretAPI_BASEhttps://api.searchlight.app/v1DS_ACCOUNT_IDyour-account-idPAGE_SIZE100MAX_PAGES10Faites défiler l'onglet Variables et secrets jusqu'à Requêtes :
- Délai avant expiration de la requête : saisissez
600secondes (10 minutes).
- Délai avant expiration de la requête : saisissez
Accédez à l'onglet Paramètres dans Conteneurs :
- Dans la section Ressources :
- Mémoire : sélectionnez 512 Mio ou plus.
- Processeur : sélectionnez 1.
- Cliquez sur OK.
- Dans la section Ressources :
Faites défiler la page jusqu'à Environnement d'exécution :
- Sélectionnez Par défaut (recommandé).
Dans la section Scaling de révision :
- Nombre minimal d'instances : saisissez
0. - Nombre maximal d'instances : saisissez
100(ou ajustez en fonction de la charge attendue).
- Nombre minimal d'instances : saisissez
Cliquez sur Créer.
Attendez que le service soit créé (une à deux minutes).
Une fois le service créé, l'éditeur de code intégré s'ouvre automatiquement.
Ajouter un code de fonction
- Saisissez main dans Point d'entrée de la fonction.
Dans l'éditeur de code intégré, créez deux fichiers :
- main.py:
import functions_framework from google.cloud import storage import json import os import base64 import logging import time from datetime import datetime, timedelta, timezone from urllib.parse import urlencode import urllib3 logger = logging.getLogger() logger.setLevel(logging.INFO) HTTP = urllib3.PoolManager(retries=False) storage_client = storage.Client() def _basic_auth_header(key: str, secret: str) -> str: token = base64.b64encode(f"{key}:{secret}".encode("utf-8")).decode("utf-8") return f"Basic {token}" def _load_state(bucket, key, default_days=30) -> str: """Return ISO8601 checkpoint (UTC).""" try: blob = bucket.blob(key) if blob.exists(): state_data = blob.download_as_text() state = json.loads(state_data) ts = state.get("last_timestamp") if ts: return ts except Exception as e: logger.warning(f"State read error: {e}") return (datetime.now(timezone.utc) - timedelta(days=default_days)).isoformat() def _save_state(bucket, key, ts: str) -> None: blob = bucket.blob(key) blob.upload_from_string( json.dumps({"last_timestamp": ts}), content_type="application/json" ) def _get_json(url: str, headers: dict, params: dict, backoff_s=2, max_retries=3) -> dict: qs = f"?{urlencode(params)}" if params else "" for attempt in range(max_retries): r = HTTP.request("GET", f"{url}{qs}", headers=headers) if r.status == 200: return json.loads(r.data.decode("utf-8")) if r.status in (429, 500, 502, 503, 504): wait = backoff_s * (2 ** attempt) logger.warning(f"HTTP {r.status} from DS API, retrying in {wait}s") time.sleep(wait) continue raise RuntimeError(f"DS API error {r.status}: {r.data[:200]}") raise RuntimeError("Exceeded retry budget for DS API") def _collect(api_base, headers, path, since_ts, account_id, page_size, max_pages, time_param): items = [] for page in range(max_pages): params = { "limit": page_size, "offset": page * page_size, time_param: since_ts, } if account_id: params["account-id"] = account_id data = _get_json(f"{api_base}/{path}", headers, params) batch = data.get("items") or data.get("data") or [] if not batch: break items.extend(batch) if len(batch) < page_size: break return items @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function triggered by Pub/Sub to fetch logs from Digital Shadows SearchLight API and write to GCS. Args: cloud_event: CloudEvent object containing Pub/Sub message """ bucket_name = os.environ["GCS_BUCKET"] api_key = os.environ["DS_API_KEY"] api_secret = os.environ["DS_API_SECRET"] prefix = os.environ.get("GCS_PREFIX", "digital-shadows-searchlight") state_key = os.environ.get("STATE_KEY", "digital-shadows-searchlight/state.json") api_base = os.environ.get("API_BASE", "https://api.searchlight.app/v1") account_id = os.environ.get("DS_ACCOUNT_ID", "") page_size = int(os.environ.get("PAGE_SIZE", "100")) max_pages = int(os.environ.get("MAX_PAGES", "10")) try: bucket = storage_client.bucket(bucket_name) last_ts = _load_state(bucket, state_key) logger.info(f"Checkpoint: {last_ts}") headers = { "Authorization": _basic_auth_header(api_key, api_secret), "Accept": "application/json", "User-Agent": "Chronicle-DigitalShadows-GCS/1.0", } records = [] incidents = _collect( api_base, headers, "incidents", last_ts, account_id, page_size, max_pages, time_param="published-after" ) for incident in incidents: incident['_source_type'] = 'incident' records.extend(incidents) intel_incidents = _collect( api_base, headers, "intel-incidents", last_ts, account_id, page_size, max_pages, time_param="published-after" ) for intel in intel_incidents: intel['_source_type'] = 'intelligence_incident' records.extend(intel_incidents) indicators = _collect( api_base, headers, "indicators", last_ts, account_id, page_size, max_pages, time_param="lastUpdated-after" ) for indicator in indicators: indicator['_source_type'] = 'ioc' records.extend(indicators) if records: newest = max( (r.get("updated") or r.get("raised") or r.get("lastUpdated") or last_ts) for r in records ) key = f"{prefix}/digital_shadows_{datetime.now(timezone.utc).strftime('%Y%m%d_%H%M%S')}.json" body = "\n".join(json.dumps(r, separators=(",", ":")) for r in records) blob = bucket.blob(key) blob.upload_from_string(body, content_type="application/x-ndjson") _save_state(bucket, state_key, newest) msg = f"Wrote {len(records)} records to gs://{bucket_name}/{key}" else: msg = "No new records" logger.info(msg) print(msg) except Exception as e: logger.error(f"Error processing logs: {str(e)}") raise- requirements.txt:
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0Cliquez sur Déployer pour enregistrer et déployer la fonction.
Attendez la fin du déploiement (deux à trois minutes).
Créer une tâche Cloud Scheduler
Cloud Scheduler publiera des messages dans le sujet Pub/Sub à intervalles réguliers, ce qui déclenchera la fonction Cloud Run.
- Dans la console Google Cloud , accédez à Cloud Scheduler.
- Cliquez sur Créer une tâche.
Fournissez les informations de configuration suivantes :
Paramètre Valeur Nom digital-shadows-collector-hourlyRégion Sélectionnez la même région que la fonction Cloud Run. Fréquence 0 * * * *(toutes les heures, à l'heure pile)Fuseau horaire Sélectionnez un fuseau horaire (UTC recommandé) Type de cible Pub/Sub Sujet Sélectionnez le sujet ( digital-shadows-trigger).Corps du message {}(objet JSON vide)Cliquez sur Créer.
Options de fréquence de programmation
Choisissez la fréquence en fonction du volume de journaux et des exigences de latence :
| Fréquence | Expression Cron | Cas d'utilisation |
|---|---|---|
| Toutes les 5 minutes | */5 * * * * |
Volume élevé, faible latence |
| Toutes les 15 minutes | */15 * * * * |
Volume moyen |
| Toutes les heures | 0 * * * * |
Standard (recommandé) |
| Toutes les 6 heures | 0 */6 * * * |
Traitement par lot de faible volume |
| Tous les jours | 0 0 * * * |
Collecte des données historiques |
Tester le job planifié
- Dans la console Cloud Scheduler, recherchez votre job.
- Cliquez sur Forcer l'exécution pour déclencher l'exécution manuellement.
- Patientez quelques secondes, puis accédez à Cloud Run > Services > digital-shadows-collector > Journaux.
- Vérifiez que la fonction a bien été exécutée.
- Vérifiez le bucket Cloud Storage pour confirmer que les journaux ont été écrits.
Configurer un flux dans Google SecOps pour ingérer les journaux Digital Shadows SearchLight
- Accédez à Paramètres > Gestion des données > Flux. Si vous utilisez une plate-forme SIEM uniquement, accédez à Paramètres > Flux.
- Cliquez sur Ajouter un flux d'actualités.
- Cliquez sur Configurer un flux unique.
- Dans le champ Nom du flux, saisissez un nom pour le flux (par exemple,
Digital Shadows SearchLight logs). - Sélectionnez Google Cloud Storage V2 comme Type de source.
- Sélectionnez Digital Shadows SearchLight comme Type de journal.
Cliquez sur Get Service Account (Obtenir un compte de service). Une adresse e-mail de compte de service unique s'affiche, par exemple :
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comCopiez cette adresse e-mail. Vous en aurez besoin lors de la tâche suivante.
Cliquez sur Suivant.
Spécifiez les valeurs des paramètres d'entrée suivants :
- URL du bucket de stockage : saisissez l'URI du bucket Cloud Storage avec le chemin d'accès du préfixe :
gs://digital-shadows-logs/digital-shadows-searchlight/Remplacez :
digital-shadows-logs: nom de votre bucket Cloud Storage.digital-shadows-searchlight: préfixe/chemin d'accès au dossier facultatif où les journaux sont stockés (laisser vide pour la racine).
Exemples : - Bucket racine :
gs://company-logs/- Avec préfixe :gs://company-logs/digital-shadows-searchlight/- Avec sous-dossier :gs://company-logs/vendor/application/- Option de suppression de la source : sélectionnez l'option de suppression de votre choix :
- Jamais : ne supprime jamais les fichiers après les transferts (recommandé pour les tests).
- Supprimer les fichiers transférés : supprime les fichiers une fois le transfert réussi.
- Supprimer les fichiers transférés et les répertoires vides : supprime les fichiers et les répertoires vides une fois le transfert réussi.
- Âge maximal du fichier : incluez les fichiers modifiés au cours d'un certain nombre de jours. La valeur par défaut est de 180 jours.
- Espace de noms de l'élément : espace de noms de l'élément.
- Étiquettes d'ingestion : étiquette à appliquer aux événements de ce flux.
Cliquez sur Suivant.
Vérifiez la configuration de votre nouveau flux sur l'écran Finaliser, puis cliquez sur Envoyer.
Accorder des autorisations IAM au compte de service Google SecOps
Le compte de service Google SecOps doit disposer du rôle Lecteur des objets Storage sur votre bucket Cloud Storage.
- Accédez à Cloud Storage > Buckets.
- Cliquez sur le nom de votre bucket.
- Accédez à l'onglet Autorisations.
- Cliquez sur Accorder l'accès.
- Fournissez les informations de configuration suivantes :
- Ajouter des comptes principaux : collez l'adresse e-mail du compte de service Google SecOps.
- Attribuer des rôles : sélectionnez Lecteur des objets Storage.
Cliquez sur Enregistrer.
Table de mappage UDM
| Champ du journal | Mappage UDM | Logique |
|---|---|---|
about_event-created |
about.labels |
Fusionné |
about_state |
about.labels |
Fusionné |
about_triage-item-id |
about.labels |
Fusionné |
about_triage-item-source-alert-id |
about.labels |
Fusionné |
about_triage-item-source-incident-id |
about.labels |
Fusionné |
about_triage-item_portal-id |
about.labels |
Fusionné |
about_triage-item_raised |
about.labels |
Fusionné |
about_triage-item_updated |
about.labels |
Fusionné |
event-created |
metadata.event_timestamp |
Analysé en tant que ISO8601 |
classification |
metadata.product_event_type |
Mappé lorsque event-num != `` |
event-num |
metadata.product_log_id |
Mappé lorsque event-num != `` |
about |
security_result.about |
Renommé/Mappé |
event-action |
security_result.action_details |
Mappage direct |
risk |
security_result.category_details |
Fusionné |
alert.description |
security_result.description |
Mappage direct |
risk-level |
security_result.severity_details |
Mappage direct |
triage-item.title |
security_result.summary |
Mappage direct |
triage-item-id |
security_result.threat_id |
Mappage direct |
classification |
security_result.threat_name |
Mappage direct |
triage-item.portal-id |
security_result.url_back_to_product |
Mappage direct |
_hostname |
target.hostname |
Mappé lorsque event-num != `` |
_commit_url |
target.url |
Mappé lorsque event-num != `` |
_repo_url |
target.url |
Mappé lorsque event-num != `` |
_email |
target.user.email_addresses |
Fusionné |
| N/A | security_result.threat_status |
Constante : ACTIVE |
Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.