Collecter les journaux ESET de renseignement sur les menaces

Version de l'analyseur : 1.0

Compatible avec :

Ce document explique comment ingérer les journaux ESET Threat Intelligence dans Google Security Operations à l'aide de Cloud Storage V2, d'une fonction Cloud Run et de Cloud Scheduler.

ESET Threat Intelligence (ETI) fournit des informations factuelles et des conseils pratiques sur les menaces existantes ou émergentes. Les services ETI vous avertissent des logiciels ou activités malveillants susceptibles de menacer votre organisation ou ses clients. Le service fournit des données de renseignement sur les menaces via des flux TAXII 2.1 au format STIX 2.1, y compris les IoC APT, les C&C et les cibles de botnets, les domaines, adresses IP, URL et fichiers malveillants, les URL d'hameçonnage, les ransomwares et les menaces Android.

Avant de commencer

Assurez-vous de remplir les conditions suivantes :

  • Une instance Google SecOps
  • Un projet Google Cloud avec les API suivantes activées :
    • API Cloud Storage
    • API Cloud Run functions
    • API Cloud Scheduler
    • API Pub/Sub
  • Autorisations permettant de créer et de gérer des buckets Cloud Storage, des fonctions Cloud Run, des sujets Pub/Sub et des jobs Cloud Scheduler
  • Autorisations de gérer les stratégies IAM (Identity and Access Management) sur les buckets Cloud Storage
  • Un abonnement ESET Threat Intelligence actif
  • Accès au portail ESET Threat Intelligence à l'adresse https://eti.eset.com

Créer un bucket Cloud Storage

  1. Accédez à la consoleGoogle Cloud .
  2. Sélectionnez votre projet ou créez-en un.
  3. Dans le menu de navigation, accédez à Cloud Storage > Buckets.
  4. Cliquez sur Créer un bucket.
  5. Fournissez les informations de configuration suivantes :

    Paramètre Valeur
    Attribuez un nom au bucket Saisissez un nom unique (par exemple, eset-ti-logs).
    Type d'emplacement Choisissez celle qui correspond le mieux à vos besoins (régionale, birégionale ou multirégionale).
    Emplacement Sélectionnez l'emplacement (par exemple, us-central1).
    Classe de stockage Standard (recommandé pour les journaux fréquemment consultés)
    Access control (Contrôle des accès) Uniforme (recommandé)
    Outils de protection Facultatif : Activez la gestion des versions d'objets ou la règle de conservation
  6. Cliquez sur Créer.

Collecter les identifiants TAXII d'ESET Threat Intelligence

Pour permettre à la fonction Cloud Run de récupérer des données de renseignement sur les menaces, vous devez activer les flux TAXII et générer des identifiants TAXII à partir du portail ETI.

Activer les flux TAXII

  1. Connectez-vous au portail ESET Threat Intelligence à l'adresse https://eti.eset.com.
  2. Accédez à Flux de données dans le menu principal.
  3. Cliquez sur l'icône à trois points à côté du flux de données que vous souhaitez activer.
  4. Sélectionnez Activer le flux.
  5. Répétez les étapes 3 et 4 pour chaque flux que vous souhaitez ingérer dans Google SecOps.

Générer des identifiants TAXII

  1. Dans le portail ESET de renseignement sur les menaces, accédez à Admin Settings > Access Credentials (Paramètres d'administration > Identifiants d'accès).
  2. Cliquez sur Générer des identifiants TAXII.
  3. Dans la boîte de dialogue qui s'affiche, copiez et enregistrez les valeurs suivantes :

    • Nom d'utilisateur : votre nom d'utilisateur TAXII
    • Mot de passe : votre mot de passe TAXII

Enregistrer les détails du flux TAXII

Après avoir activé les flux et généré des identifiants, enregistrez les informations suivantes pour chaque flux que vous souhaitez ingérer :

  1. Sur le portail ESET Threat Intelligence, accédez à Data Feeds (Flux de données).
  2. Cliquez sur l'icône à trois points à côté d'un flux activé.
  3. Sélectionnez Afficher les détails du flux de données.
  4. Dans le panneau latéral, notez les valeurs suivantes :

    • Nom du flux TAXII : identifiant du flux (par exemple, botnet stix 2.1)
    • ID TAXII 2 : ID de la collection (par exemple, 0abb06690b0b47e49cd7794396b76b20)
    • URL du flux TAXII 2 : URL complète de la collection

Flux TAXII disponibles

  • ESET Renseignement sur les menaces fournit les flux TAXII 2.1 suivants :

    Nom du flux Nom du flux TAXII ID de collection
    Flux d'infostealers Android androidinfostealer stix 2.1 9ee501cde0c44d6db4ae995fead1a7c8
    Flux de menaces Android androidthreats stix 2.1 daf3de8fab144552a1cb5af054ed07ee
    APT IoC apt stix 2.1 97e3eb74ae5f46dd9e22f677a6938ee7
    Flux de botnets botnet stix 2.1 0abb06690b0b47e49cd7794396b76b20
    Botnet - C&C botnet.cc stix 2.1 d1923a526e8f400dbb301259240ee3d5
    Botnet - Target botnet.target stix 2.1 61b6e4f9153e411ca7a9982a2c6ae788
    Flux d'escroqueries aux cryptomonnaies cryptoscam stix 2.1 2c183ce9551a43338c6cc2ed7c2a704d
    Flux de domaine domain stix 2.1 a34aa0a4f9de419582a883863503f9c4
    Flux d'IoC de cybercriminalité ecrime stix 2.1 08059376eac84ec4a076cfd682493f91
    Flux d'adresses IP ip stix 2.1 baaed2a92335418aa753fe944e13c23a
    Pièces jointes malveillantes emailattachments stix 2.1 c0d56cf7f81d482eb97fd46beaa4bae0
    Flux de fichiers malveillants fichier stix 2.1 ee6a153ed77e4ec3ab21e76cc2074b9f
    Flux d'URL d'hameçonnage phishingurl stix 2.1 d0a6c0f962dd4dd2b3eeb96b18612584
    Flux de fichiers de logiciels publicitaires PUA puaadware stix 2.1 d1bfc81202fc4c6599326771ec2da41d
    Flux de fichiers d'applications à double usage (PUA) puadualapps stix 2.1 970a7d0039ac4668addf058cd9feb953
    Flux de ransomware ransomware stix 2.1 8d3490d688ce4a989aee9af5c680d8bf
    Flux d'URL d'escroquerie scamurl stix 2.1 2130adc3c67c43f9a3664b187931375e
    Flux de smishing smishing stix 2.1 330ad7d0c736476babe5e49077b96c95
    Flux d'escroqueries par SMS smsscam stix 2.1 6e20217a2e1246b8ab11be29f759f716
    Flux d'URL url stix 2.1 1d3208c143be49da8130f5a66fd3a0fa

Créer un compte de service pour la fonction Cloud Run

  1. Dans la console Google Cloud , accédez à IAM et administration > Comptes de service.
  2. Cliquez sur Créer un compte de service.
  3. Fournissez les informations de configuration suivantes :

    • Nom du compte de service : saisissez eset-ti-collector.
    • Description du compte de service : saisissez Service account for ESET Threat Intelligence Cloud Run function to write STIX objects to GCS.
  4. Cliquez sur Créer et continuer.

  5. Dans la section Autoriser ce compte de service à accéder au projet, ajoutez les rôles suivants :

    1. Cliquez sur Sélectionner un rôle, puis recherchez et sélectionnez Administrateur des objets Storage.
    2. Cliquez sur Ajouter un autre rôle, puis recherchez et sélectionnez Demandeur Cloud Run.
  6. Cliquez sur Continuer.

  7. Cliquez sur OK.

Accorder des autorisations IAM sur le bucket Cloud Storage

  1. Accédez à Cloud Storage > Buckets.
  2. Cliquez sur le nom de votre bucket (par exemple, eset-ti-logs).
  3. Accédez à l'onglet Autorisations.
  4. Cliquez sur Accorder l'accès.
  5. Fournissez les informations de configuration suivantes :

    • Ajouter des comptes principaux : saisissez l'adresse e-mail du compte de service (par exemple, eset-ti-collector@PROJECT_ID.iam.gserviceaccount.com).
    • Attribuer des rôles : sélectionnez Administrateur des objets Storage.
  6. Cliquez sur Enregistrer.

Créer un sujet Pub/Sub

Le sujet Pub/Sub déclenche la fonction Cloud Run lorsqu'un message est publié par Cloud Scheduler.

  1. Dans la console Google Cloud , accédez à Pub/Sub > Sujets.
  2. Cliquez sur Créer un sujet.
  3. Fournissez les informations de configuration suivantes :
    • ID du sujet : saisissez eset-ti-trigger.
    • Ajouter un abonnement par défaut : laissez cette option sélectionnée.
  4. Cliquez sur Créer.

Créer la fonction Cloud Run

  1. Dans la console Google Cloud , accédez à Fonctions Cloud Run.
  2. Cliquez sur Créer une fonction.
  3. Fournissez les informations de configuration suivantes :

    Paramètre Valeur
    Environnement 2e génération
    Nom de la fonction eset-ti-collector
    Région Sélectionnez la même région que celle de votre bucket Cloud Storage.
    Type de déclencheur Pub/Sub
    Sujet Pub/Sub eset-ti-trigger
    Mémoire allouée 512 MiB
    Délai avant expiration 540 secondes
    Compte de service d'exécution eset-ti-collector
  4. Cliquez sur Suivant.

  5. Définissez le champ Environnement d'exécution sur Python 3.12.

  6. Définissez Point d'entrée sur main.

  7. Dans le fichier requirements.txt, ajoutez les dépendances suivantes :

    functions-framework==3.*
    google-cloud-storage==2.*
    urllib3==2.*
    
  8. Dans le fichier main.py, collez le code suivant :

    import functions_framework
    import json
    import os
    import logging
    import time
    import urllib3
    from datetime import datetime, timedelta, timezone
    from google.cloud import storage
    
    logger = logging.getLogger(__name__)
    logger.setLevel(logging.INFO)
    
    HTTP = urllib3.PoolManager(retries=False)
    storage_client = storage.Client()
    
    API_ROOT = "https://taxii.eset.com/taxii2/643f4eb5-f8b7-46a3-a606-6d61d5ce223a"
    TAXII_CONTENT_TYPE = "application/taxii+json;version=2.1"
    
    def _load_state(bucket_name: str, state_key: str, lookback_hours: int) -> str:
        """Return ISO8601 checkpoint (UTC)."""
        try:
            bucket = storage_client.bucket(bucket_name)
            blob = bucket.blob(state_key)
            if blob.exists():
                state_data = blob.download_as_text()
                state = json.loads(state_data)
                ts = state.get("last_poll_time")
                if ts:
                    logger.info(f"Loaded state: {ts}")
                    return ts
        except Exception as e:
            logger.warning(f"State read error: {e}")
        default_ts = (
            datetime.now(timezone.utc) - timedelta(hours=lookback_hours)
        ).strftime("%Y-%m-%dT%H:%M:%S.000Z")
        logger.info(f"No previous state found, using lookback: {default_ts}")
        return default_ts
    
    def _save_state(bucket_name: str, state_key: str, ts: str) -> None:
        """Persist the checkpoint to GCS."""
        bucket = storage_client.bucket(bucket_name)
        blob = bucket.blob(state_key)
        blob.upload_from_string(
            json.dumps({"last_poll_time": ts}),
            content_type="application/json",
        )
        logger.info(f"Saved state: {ts}")
    
    def _fetch_objects(
        username: str,
        password: str,
        collection_id: str,
        added_after: str,
        max_records: int,
    ) -> list:
        """Query TAXII 2.1 collection objects with pagination."""
        url = f"{API_ROOT}/collections/{collection_id}/objects/"
        headers = urllib3.make_headers(basic_auth=f"{username}:{password}")
        headers["Accept"] = TAXII_CONTENT_TYPE
        headers["User-Agent"] = "Chronicle-ESET-TI-GCS/1.0"
    
        all_objects = []
        params = {"added_after": added_after}
    
        while True:
            qs = "&".join(f"{k}={v}" for k, v in params.items())
            request_url = f"{url}?{qs}" if qs else url
    
            for attempt in range(3):
                try:
                    resp = HTTP.request("GET", request_url, headers=headers)
                    break
                except Exception as e:
                    wait = 2 ** (attempt + 1)
                    logger.warning(f"Request error: {e}, retrying in {wait}s")
                    time.sleep(wait)
            else:
                raise RuntimeError("Exceeded retry budget for TAXII API")
    
            if resp.status == 401:
                raise RuntimeError("Authentication failed: check TAXII credentials")
            if resp.status == 404:
                raise RuntimeError(
                    f"Collection not found: {collection_id}"
                )
            if resp.status not in (200, 206):
                raise RuntimeError(
                    f"TAXII API error {resp.status}: {resp.data[:500]}"
                )
    
            body = json.loads(resp.data.decode("utf-8"))
            objects = body.get("objects", [])
            all_objects.extend(objects)
            logger.info(
                f"Fetched {len(objects)} objects (total: {len(all_objects)})"
            )
    
            if len(all_objects) >= max_records:
                logger.info(f"Reached max_records limit: {max_records}")
                all_objects = all_objects[:max_records]
                break
    
            more = body.get("more", False)
            next_param = body.get("next")
            if more and next_param:
                params = {"added_after": added_after, "next": next_param}
            else:
                break
    
        return all_objects
    
    @functions_framework.cloud_event
    def main(cloud_event):
        """Cloud Run function entry point triggered by Pub/Sub."""
        bucket_name = os.environ["GCS_BUCKET"]
        prefix = os.environ.get("GCS_PREFIX", "eset-ti")
        state_key = os.environ.get("STATE_KEY", "eset-ti/state.json")
        username = os.environ["TAXII_USERNAME"]
        password = os.environ["TAXII_PASSWORD"]
        collection_id = os.environ["COLLECTION_ID"]
        max_records = int(os.environ.get("MAX_RECORDS", "10000"))
        lookback_hours = int(os.environ.get("LOOKBACK_HOURS", "48"))
    
        try:
            last_poll = _load_state(bucket_name, state_key, lookback_hours)
            objects = _fetch_objects(
                username, password, collection_id, last_poll, max_records
            )
    
            if not objects:
                logger.info("No new STIX objects found")
                return "No new objects", 200
    
            now_str = datetime.now(timezone.utc).strftime("%Y%m%d_%H%M%S")
            blob_path = (
                f"{prefix}/eset_ti_{collection_id}_{now_str}.json"
            )
            ndjson_body = "\n".join(
                json.dumps(obj, separators=(",", ":")) for obj in objects
            )
    
            bucket = storage_client.bucket(bucket_name)
            blob = bucket.blob(blob_path)
            blob.upload_from_string(
                ndjson_body, content_type="application/x-ndjson"
            )
    
            new_poll_time = datetime.now(timezone.utc).strftime(
                "%Y-%m-%dT%H:%M:%S.000Z"
            )
            _save_state(bucket_name, state_key, new_poll_time)
    
            msg = (
                f"Wrote {len(objects)} STIX objects to "
                f"gs://{bucket_name}/{blob_path}"
            )
            logger.info(msg)
            return msg, 200
    
        except Exception as e:
            logger.error(f"Error collecting ESET TI: {e}")
            raise
    
  9. Cliquez sur Déployer.

  10. Attendez que la fonction soit déployée. L'état passe à une coche verte une fois le déploiement terminé.

Configurer les variables d'environnement

  1. Une fois la fonction déployée, accédez à Fonctions Cloud Run > eset-ti-collector.
  2. Cliquez sur Modifier et déployer la nouvelle révision.
  3. Cliquez sur l'onglet Variables et secrets (ou développez Paramètres d'exécution, de compilation, de connexion et de sécurité pour la 1re génération).
  4. Ajoutez les variables d'environnement suivantes :

    Clé Exemple de valeur
    GCS_BUCKET eset-ti-logs
    GCS_PREFIX eset-ti
    STATE_KEY eset-ti/state.json
    TAXII_USERNAME Votre nom d'utilisateur TAXII sur le portail ETI
    TAXII_PASSWORD Votre mot de passe TAXII du portail ETI
    COLLECTION_ID 0abb06690b0b47e49cd7794396b76b20
    MAX_RECORDS 10000
    LOOKBACK_HOURS 48
  5. Cliquez sur Déployer.

Créer une tâche Cloud Scheduler

Cloud Scheduler publie un message dans le sujet Pub/Sub selon une planification, ce qui déclenche la fonction Cloud Run pour interroger ESET Threat Intelligence à la recherche de nouveaux objets STIX.

  1. Dans la console Google Cloud , accédez à Cloud Scheduler.
  2. Cliquez sur Créer une tâche.
  3. Fournissez les informations de configuration suivantes :

    Paramètre Valeur
    Nom eset-ti-poll
    Région Sélectionnez la même région que votre fonction.
    Fréquence 0 */1 * * * (toutes les heures)
    Fuseau horaire Sélectionnez votre fuseau horaire (par exemple, UTC).
  4. Cliquez sur Continuer.

  5. Dans la section Configurer l'exécution :

    • Type de cible : sélectionnez Pub/Sub.
    • Thème : sélectionnez eset-ti-trigger.
    • Corps du message : saisissez {"poll": true}.
  6. Cliquez sur Créer.

Vérifier la fonction Cloud Run

  1. Dans Cloud Scheduler, recherchez le job eset-ti-poll.
  2. Cliquez sur Forcer l'exécution pour déclencher une exécution immédiate.
  3. Accédez à Fonctions Cloud Run > eset-ti-collector > Journaux.
  4. Vérifiez que la fonction a bien été exécutée en recherchant des entrées de journal telles que :

    Fetched 250 objects (total: 250)
    Wrote 250 STIX objects to gs://eset-ti-logs/eset-ti/eset_ti_0abb06690b0b47e49cd7794396b76b20_20250115_103000.json
    
  5. Accédez à Cloud Storage > Buckets > eset-ti-logs.

  6. Accédez au préfixe eset-ti/.

  7. Vérifiez que les fichiers NDJSON sont créés avec des objets STIX.

Récupérer le compte de service Google SecOps et configurer le flux

Google SecOps utilise un compte de service unique pour lire les données de votre bucket Cloud Storage. Vous devez accorder à ce compte de service l'accès à votre bucket.

Obtenir l'adresse e-mail du compte de service

  1. Accédez à Paramètres > Gestion des données > Flux. Si vous utilisez une plate-forme SIEM uniquement, accédez à Paramètres > Flux.
  2. Cliquez sur Ajouter un flux d'actualités.
  3. Cliquez sur Configurer un flux unique.
  4. Dans le champ Nom du flux, saisissez un nom pour le flux (par exemple, ESET Threat Intelligence - Botnet).
  5. Sélectionnez Google Cloud Storage V2 comme Type de source.
  6. Sélectionnez ESET Threat Intelligence comme type de journal.
  7. Cliquez sur Get Service Account (Obtenir un compte de service). Une adresse e-mail de compte de service unique s'affiche, par exemple :

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  8. Copiez cette adresse e-mail pour l'utiliser à l'étape suivante.

  9. Cliquez sur Suivant.

  10. Spécifiez les valeurs des paramètres d'entrée suivants :

    • URL du bucket de stockage : saisissez l'URI du bucket Cloud Storage avec le chemin d'accès du préfixe :

      gs://eset-ti-logs/eset-ti/
      
    • Option de suppression de la source : sélectionnez l'option de suppression de votre choix :

      • Jamais : ne supprime jamais les fichiers après les transferts (recommandé pour les tests).
      • Supprimer les fichiers transférés : supprime les fichiers une fois le transfert réussi.
      • Supprimer les fichiers transférés et les répertoires vides : supprime les fichiers et les répertoires vides une fois le transfert réussi.

    • Âge maximal des fichiers : incluez les fichiers modifiés au cours d'un certain nombre de jours (180 jours par défaut).

    • Espace de noms de l'élément : espace de noms de l'élément

    • Étiquettes d'ingestion : étiquette à appliquer aux événements de ce flux (par exemple, ESET_IOC)

  11. Cliquez sur Suivant.

  12. Vérifiez la configuration de votre nouveau flux sur l'écran Finaliser, puis cliquez sur Envoyer.

Accorder des autorisations IAM au compte de service Google SecOps

Le compte de service Google SecOps doit disposer du rôle Lecteur des objets Storage sur votre bucket Cloud Storage.

  1. Accédez à Cloud Storage > Buckets.
  2. Cliquez sur le nom de votre bucket (par exemple, eset-ti-logs).
  3. Accédez à l'onglet Autorisations.
  4. Cliquez sur Accorder l'accès.
  5. Fournissez les informations de configuration suivantes :
    • Ajouter des comptes principaux : collez l'adresse e-mail du compte de service Google SecOps.
    • Attribuer des rôles : sélectionnez Lecteur d'objets Storage.
  6. Cliquez sur Enregistrer.

Table de mappage UDM

Champ du journal Mappage UDM Logique
date metadata.event_timestamp Horodatage de l'événement
metadata.event_type Type d'événement (par exemple, USER_LOGIN, NETWORK_CONNECTION)
messageid metadata.id Identifiant unique de l'événement
protocol network.ip_protocol Protocole IP (par exemple, TCP, UDP)
deviceName principal.hostname Nom d'hôte source
srcAddr principal.ip Adresse IP source de la connexion
srcPort principal.port Numéro de port source
action security_result.action Action effectuée par le produit de sécurité (par exemple, ALLOW, BLOCK)
dstAddr target.ip Adresse IP de destination
dstPort target.port Numéro du port de destination
metadata.product_name Nom du produit
metadata.vendor_name Nom du fournisseur/de l'entreprise
metadata.product_name ESET_IOC Mappé à partir du journal des modifications
confidence event.ioc.raw_severity Mappé à partir du journal des modifications

Journal des modifications

Afficher le journal des modifications de cet analyseur

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.