Raccogliere i log di Team Cymru Scout Threat Intelligence

Supportato in:

Google secops SIEM

Nota: questa funzionalità è coperta dai Termini delle offerte pre-GA dei Termini di servizio specifici del servizio Google Security Operations. Le funzionalità pre-GA potrebbero avere supporto limitato e le modifiche alle funzionalità pre-GA potrebbero non essere compatibili con altre versioni pre-GA. Per saperne di più, consulta le linee guida per i servizi di assistenza tecnica di Google SecOps e i Termini di servizio specifici di Google SecOps.

Questo documento spiega come importare i dati di intelligence sulle minacce di Team Cymru Scout in Google Security Operations utilizzando Google Cloud Storage. Team Cymru Scout fornisce dati di threat intelligence, tra cui metriche di utilizzo dell'account, limiti di query e statistiche delle query di base, per aiutare le organizzazioni a monitorare la propria postura di sicurezza e il consumo di threat intelligence.

Prima di iniziare

Assicurati di disporre dei seguenti prerequisiti:

• Un'istanza Google SecOps
• Un progetto GCP con l'API Cloud Storage abilitata
• Autorizzazioni per creare e gestire bucket GCS
• Autorizzazioni per gestire le policy IAM nei bucket GCS
• Autorizzazioni per creare servizi Cloud Run, argomenti Pub/Sub e job Cloud Scheduler
• Accesso privilegiato al tenant Team Cymru Scout

Creazione di un bucket Google Cloud Storage

1. Vai alla console Google Cloud.
2. Seleziona il tuo progetto o creane uno nuovo.
3. Nel menu di navigazione, vai a Cloud Storage > Bucket.
4. Fai clic su Crea bucket.

5. Fornisci i seguenti dettagli di configurazione:

   Impostazione	Valore
   Assegna un nome al bucket	Inserisci un nome univoco globale (ad esempio team-cymru-scout-ti).
   Tipo di località	Scegli in base alle tue esigenze (regione singola, doppia regione, più regioni)
   Località	Seleziona la posizione (ad esempio, us-central1).
   Classe di archiviazione	Standard (consigliato per i log a cui si accede di frequente)
   Controllo dell'accesso	Uniforme (consigliato)
   Strumenti di protezione	(Facoltativo) Attiva il controllo delle versioni degli oggetti o la policy di conservazione

6. Fai clic su Crea.

Raccogli le credenziali API di Team Cymru Scout

1. Accedi alla piattaforma Scout di Team Cymru.
2. Vai alla pagina Chiavi API.
3. Fai clic su pulsante Crea.
4. Se necessario, fornisci la descrizione della chiave.
5. Fai clic sul pulsante Crea chiave per generare la chiave API.

6. Copia e salva in una posizione sicura i seguenti dettagli:

   • SCOUT_API_TOKEN: token di accesso all'API
   • SCOUT_BASE_URL: URL di base dell'API Scout (in genere https://scout.cymru.com)
   Nota: il token API verrà utilizzato dalla funzione Cloud Run per l'autenticazione all'API Team Cymru Scout utilizzando il formato dell'intestazione Authorization: Token <api_token>. Team Cymru Scout supporta anche l'autenticazione di base con nome utente/password come alternativa all'autenticazione con token, ma questa integrazione utilizza l'autenticazione con token.

Testare l'accesso API

• Verifica le tue credenziali prima di procedere con l'integrazione:

  # Replace with your actual credentials
  SCOUT_API_TOKEN="your-api-token"
  SCOUT_BASE_URL="https://scout.cymru.com"
  
  # Test API access to usage endpoint
  curl -v --request GET \
    --url "${SCOUT_BASE_URL}/api/scout/usage" \
    --header "Authorization: Token ${SCOUT_API_TOKEN}"
  

Crea un service account per la funzione Cloud Run

La funzione Cloud Run richiede un service account con autorizzazioni per scrivere nel bucket GCS.

Crea service account

1. Nella console Google Cloud, vai a IAM e amministrazione > Service Accounts.
2. Fai clic su Crea service account.
3. Fornisci i seguenti dettagli di configurazione:
   • Nome del service account: inserisci team-cymru-scout-ti-sa.
   • Descrizione service account: inserisci Service account for Cloud Run function to collect Team Cymru Scout Threat Intelligence data.
4. Fai clic su Crea e continua.
5. Nella sezione Concedi a questo service account l'accesso al progetto:
   1. Fai clic su Seleziona un ruolo.
   2. Cerca e seleziona Amministratore oggetti di archiviazione.
   3. Fai clic su + Aggiungi un altro ruolo.
   4. Cerca e seleziona Cloud Run Invoker.
   5. Fai clic su + Aggiungi un altro ruolo.
   6. Cerca e seleziona Invoker di Cloud Functions.
6. Fai clic su Continua.
7. Fai clic su Fine.

Questi ruoli sono necessari per:

• Amministratore oggetti Storage: scrive i log nel bucket GCS e gestisce i file di stato
• Cloud Run Invoker: consente a Pub/Sub di richiamare la funzione
• Cloud Functions Invoker: consente la chiamata di funzioni

Concedi autorizzazioni IAM sul bucket GCS

Concedi al service account le autorizzazioni di scrittura sul bucket GCS:

1. Vai a Cloud Storage > Bucket.
2. Fai clic sul nome del bucket.
3. Vai alla scheda Autorizzazioni.
4. Fai clic su Concedi l'accesso.
5. Fornisci i seguenti dettagli di configurazione:
   • Aggiungi entità: inserisci l'email del service account (ad es. team-cymru-scout-ti-sa@PROJECT_ID.iam.gserviceaccount.com).
   • Assegna i ruoli: seleziona Storage Object Admin.
6. Fai clic su Salva.

Crea argomento Pub/Sub

Crea un argomento Pub/Sub a cui Cloud Scheduler pubblicherà e a cui la funzione Cloud Run si iscriverà.

1. Nella console GCP, vai a Pub/Sub > Argomenti.
2. Fai clic su Crea argomento.
3. Fornisci i seguenti dettagli di configurazione:
   • ID argomento: inserisci team-cymru-scout-ti-trigger.
   • Lascia le altre impostazioni sui valori predefiniti.
4. Fai clic su Crea.

Crea una funzione Cloud Run per raccogliere dati di intelligence sulle minacce

La funzione Cloud Run viene attivata dai messaggi Pub/Sub di Cloud Scheduler per recuperare i dati di intelligence sulle minacce dall'API Team Cymru Scout e li scrive in GCS.

1. Nella console GCP, vai a Cloud Run.
2. Fai clic su Crea servizio.
3. Seleziona Funzione (usa un editor in linea per creare una funzione).

4. Nella sezione Configura, fornisci i seguenti dettagli di configurazione:

   Impostazione	Valore
   Nome servizio	team-cymru-scout-ti-collector
   Regione	Seleziona la regione corrispondente al tuo bucket GCS (ad esempio us-central1)
   Runtime	Seleziona Python 3.12 o versioni successive

5. Nella sezione Trigger (facoltativo):

   1. Fai clic su + Aggiungi trigger.
   2. Seleziona Cloud Pub/Sub.
   3. In Seleziona un argomento Cloud Pub/Sub, scegli l'argomento team-cymru-scout-ti-trigger.
   4. Fai clic su Salva.

6. Nella sezione Autenticazione:

   1. Seleziona Richiedi autenticazione.
   2. Controlla Identity and Access Management (IAM).
   Nota: Pub/Sub gestisce automaticamente l'autenticazione quando richiama la funzione.

7. Scorri verso il basso ed espandi Container, networking, sicurezza.

8. Vai alla scheda Sicurezza:

   • Service account: seleziona il service account team-cymru-scout-ti-sa.

9. Vai alla scheda Container:

   1. Fai clic su Variabili e secret.
   2. Fai clic su + Aggiungi variabile per ogni variabile di ambiente:

   Nome variabile	Valore di esempio
   GCS_BUCKET	team-cymru-scout-ti
   GCS_PREFIX	team-cymru/scout-ti/
   STATE_KEY	team-cymru/scout-ti/state.json
   SCOUT_BASE_URL	https://scout.cymru.com
   SCOUT_API_TOKEN	your-scout-api-token
   COLLECTION_INTERVAL_HOURS	1
   HTTP_TIMEOUT	60
   HTTP_RETRIES	3

   Nota: SCOUT_BASE_URL deve essere https://scout.cymru.com come documentato nella documentazione ufficiale dell'API Team Cymru Scout. Il token API verrà utilizzato con il formato dell'intestazione Authorization: Token <api_token>.

10. Scorri verso il basso nella scheda Variabili e secret fino a Richieste:

    • Timeout richiesta: inserisci 600 secondi (10 minuti).

11. Vai alla scheda Impostazioni in Container:

    • Nella sezione Risorse:
      • Memoria: seleziona 512 MiB o un valore superiore.
      • CPU: seleziona 1.
    • Fai clic su Fine.

12. Scorri verso il basso fino a Ambiente di esecuzione:

    • Seleziona Predefinito (opzione consigliata).

13. Nella sezione Scalabilità della revisione:

    • Numero minimo di istanze: inserisci 0.
    • Numero massimo di istanze: inserisci 100 (o modifica in base al carico previsto).

14. Fai clic su Crea.

15. Attendi la creazione del servizio (1-2 minuti).

16. Dopo aver creato il servizio, si apre automaticamente l'editor di codice incorporato.

Aggiungi codice per la funzione

1. Inserisci main in Entry point della funzione

2. Nell'editor di codice incorporato, crea due file:

   • Primo file: main.py:

   import functions_framework
   from google.cloud import storage
   import json
   import os
   import urllib3
   from datetime import datetime, timezone
   import time
   
   # Initialize HTTP client
   http = urllib3.PoolManager()
   
   # Initialize Storage client
   storage_client = storage.Client()
   
   @functions_framework.cloud_event
   def main(cloud_event):
       """
       Cloud Run function triggered by Pub/Sub to fetch usage data from Team Cymru Scout API and write to GCS.
   
       Args:
           cloud_event: CloudEvent object containing Pub/Sub message
       """
   
       # Get environment variables
       bucket_name = os.environ.get('GCS_BUCKET')
       prefix = os.environ.get('GCS_PREFIX', 'team-cymru/scout-ti/')
       state_key = os.environ.get('STATE_KEY', 'team-cymru/scout-ti/state.json')
       collection_interval_hours = int(os.environ.get('COLLECTION_INTERVAL_HOURS', '1'))
       http_timeout = int(os.environ.get('HTTP_TIMEOUT', '60'))
       http_retries = int(os.environ.get('HTTP_RETRIES', '3'))
   
       # Team Cymru Scout API credentials
       scout_base_url = os.environ.get('SCOUT_BASE_URL', 'https://scout.cymru.com')
       scout_api_token = os.environ.get('SCOUT_API_TOKEN')
   
       if not all([bucket_name, scout_api_token]):
           print('Error: Missing required environment variables')
           return
   
       try:
           # Get GCS bucket
           bucket = storage_client.bucket(bucket_name)
   
           # Load state (last collection timestamp)
           state = load_state(bucket, state_key)
           now = time.time()
           last_collection = state.get('last_collection_ts', now - (collection_interval_hours * 3600))
   
           print(f'Collecting usage data at {iso_format(now)} (last collection: {iso_format(last_collection)})')
   
           # Fetch usage data from Team Cymru Scout API
           usage_data = fetch_usage_data(
               scout_base_url, 
               scout_api_token, 
               http_timeout,
               http_retries
           )
   
           if usage_data:
               # Add timestamp and event type
               usage_data['event_type'] = 'account_usage'
               usage_data['collection_timestamp'] = iso_format(now)
   
               # Write to GCS
               write_to_gcs(bucket, prefix, usage_data, now)
   
               # Update state
               save_state(bucket, state_key, {'last_collection_ts': now})
   
               print(f'Successfully collected and stored usage data')
           else:
               print('No usage data retrieved')
   
       except Exception as e:
           print(f'Error processing usage data: {str(e)}')
           raise
   
   def iso_format(ts):
       """Convert Unix timestamp to ISO 8601 format."""
       return time.strftime('%Y-%m-%dT%H:%M:%SZ', time.gmtime(ts))
   
   def load_state(bucket, key):
       """Load state from GCS."""
       try:
           blob = bucket.blob(key)
           if blob.exists():
               state_data = blob.download_as_text()
               return json.loads(state_data)
       except Exception as e:
           print(f'Warning: Could not load state: {str(e)}')
       return {}
   
   def save_state(bucket, key, state):
       """Save state to GCS."""
       try:
           blob = bucket.blob(key)
           blob.upload_from_string(
               json.dumps(state, separators=(',', ':')),
               content_type='application/json'
           )
       except Exception as e:
           print(f'Warning: Could not save state: {str(e)}')
   
   def http_request(url, method='GET', body=None, headers=None, timeout=60, retries=3):
       """Make HTTP request with retry logic."""
       attempt = 0
       while True:
           try:
               req_headers = headers or {}
               if body is not None:
                   req_headers['Content-Type'] = 'application/json'
                   body_bytes = body.encode('utf-8') if isinstance(body, str) else body
               else:
                   body_bytes = None
   
               response = http.request(
                   method,
                   url,
                   body=body_bytes,
                   headers=req_headers,
                   timeout=timeout
               )
   
               if response.status == 200:
                   return response.data, response.headers.get('Content-Type', 'application/json')
               elif response.status in (429, 500, 502, 503, 504) and attempt < retries:
                   delay = 1 + attempt
                   retry_after = response.headers.get('Retry-After')
                   if retry_after:
                       try:
                           delay = int(retry_after)
                       except:
                           pass
                   time.sleep(max(1, delay))
                   attempt += 1
                   continue
               else:
                   raise Exception(f'HTTP {response.status}: {response.data.decode("utf-8")}')
           except urllib3.exceptions.HTTPError as e:
               if attempt < retries:
                   time.sleep(1 + attempt)
                   attempt += 1
                   continue
               raise
   
   def fetch_usage_data(base_url, api_token, timeout, retries):
       """
       Fetch usage data from Team Cymru Scout API.
   
       Implementation mirrors the official Scout API example:
       curl --request GET --url 'https://scout.cymru.com/api/scout/usage' --header 'Authorization: Token valid_api_token'
       """
       # Use the documented /api/scout/usage endpoint
       url = f'{base_url}/api/scout/usage'
   
       # Use Token authentication as documented
       headers = {
           'Authorization': f'Token {api_token}',
           'Accept': 'application/json'
       }
   
       print(f'Fetching usage data from {url}')
   
       try:
           # Fetch data
           blob_data, content_type = http_request(url, method='GET', headers=headers, timeout=timeout, retries=retries)
   
           # Parse response
           usage_data = json.loads(blob_data.decode('utf-8'))
   
           print(f'Retrieved usage data: used_queries={usage_data.get("used_queries")}, query_limit={usage_data.get("query_limit")}')
   
           return usage_data
   
       except Exception as e:
           print(f'Error fetching usage data: {e}')
           return None
   
   def write_to_gcs(bucket, prefix, data, timestamp):
       """Write data to GCS."""
       # Create date-based path
       date_path = time.strftime('%Y/%m/%d', time.gmtime(timestamp))
       key = f'{prefix}{date_path}/usage_{int(timestamp)}.json'
   
       # Write as JSON
       blob = bucket.blob(key)
       blob.upload_from_string(
           json.dumps(data, separators=(',', ':')),
           content_type='application/json'
       )
       print(f'Wrote data to gs://{bucket.name}/{key}')
   

   • Secondo file: requirements.txt::

   functions-framework==3.*
   google-cloud-storage==2.*
   urllib3>=2.0.0
   

3. Fai clic su Esegui il deployment per salvare la funzione ed eseguirne il deployment.

4. Attendi il completamento del deployment (2-3 minuti).

   Nota :la configurazione del trigger Pub/Sub crea automaticamente le sottoscrizioni e le autorizzazioni necessarie. Questa implementazione utilizza l'endpoint API Team Cymru Scout documentato /api/scout/usage con l'autenticazione Authorization: Token <api_token> come specificato nella documentazione ufficiale dell'API Scout.

Crea job Cloud Scheduler

Cloud Scheduler pubblica messaggi nell'argomento Pub/Sub a intervalli regolari, attivando la funzione Cloud Run.

1. Nella console di GCP, vai a Cloud Scheduler.
2. Fai clic su Crea job.

3. Fornisci i seguenti dettagli di configurazione:

   Impostazione	Valore
   Nome	team-cymru-scout-ti-hourly
   Regione	Seleziona la stessa regione della funzione Cloud Run
   Frequenza	0 * * * * (ogni ora, all'ora)
   Fuso orario	Seleziona il fuso orario (UTC consigliato)
   Tipo di target	Pub/Sub
   Argomento	Seleziona l'argomento team-cymru-scout-ti-trigger
   Corpo del messaggio	{} (oggetto JSON vuoto)

4. Fai clic su Crea.

Opzioni di frequenza di pianificazione

• Scegli la frequenza in base al volume di dati e ai requisiti di latenza:

  Frequenza	Espressione cron	Caso d'uso
  Ogni 5 minuti	*/5 * * * *	Monitoraggio ad alta frequenza
  Ogni 15 minuti	*/15 * * * *	Frequenza media
  Ogni ora	0 * * * *	Standard (consigliato)
  Ogni 6 ore	0 */6 * * *	Bassa frequenza
  Ogni giorno	0 0 * * *	Monitoraggio dell'utilizzo giornaliero

Testa il job di pianificazione

1. Nella console Cloud Scheduler, trova il job.
2. Fai clic su Forza esecuzione per attivare manualmente.
3. Attendi qualche secondo e vai a Cloud Run > Servizi > team-cymru-scout-ti-collector > Log.
4. Verifica che la funzione sia stata eseguita correttamente.
5. Controlla il bucket GCS per verificare che i dati di utilizzo siano stati scritti.

Recuperare il service account Google SecOps

Google SecOps utilizza un service account univoco per leggere i dati dal tuo bucket GCS. Devi concedere a questo service account l'accesso al tuo bucket.

Recuperare l'email del service account

1. Vai a Impostazioni SIEM > Feed.
2. Fai clic su Aggiungi nuovo feed.
3. Fai clic su Configura un singolo feed.
4. Nel campo Nome feed, inserisci un nome per il feed (ad esempio, Team Cymru Scout Threat Intelligence).
5. Seleziona Google Cloud Storage V2 come Tipo di origine.
6. Seleziona Team Cymru Scout Threat Intelligence come Tipo di log.

7. Fai clic su Ottieni service account. Viene visualizzata un'email del service account univoca, ad esempio:

   [e-mail]
   

8. Copia questo indirizzo email per utilizzarlo nel passaggio successivo.

   Nota: ogni istanza di Google SecOps ha un service account univoco. Non utilizzare service account di altre documentazioni o esempi.

Concedi le autorizzazioni IAM al service account Google SecOps

Il service account Google SecOps deve avere il ruolo Visualizzatore oggetti Storage nel bucket GCS.

1. Vai a Cloud Storage > Bucket.
2. Fai clic sul nome del bucket.
3. Vai alla scheda Autorizzazioni.
4. Fai clic su Concedi l'accesso.
5. Fornisci i seguenti dettagli di configurazione:
   • Aggiungi entità: incolla l'email del service account Google SecOps.
   • Assegna i ruoli: seleziona Visualizzatore oggetti Storage.

6. Fai clic su Salva.

   Nota: se prevedi di utilizzare l'opzione di eliminazione "Elimina i file trasferiti" o "Elimina i file trasferiti e le directory vuote", assegna il ruolo Storage Object Admin anziché Storage Object Viewer.

Configura un feed in Google SecOps per importare i dati di intelligence sulle minacce di Team Cymru Scout

1. Vai a Impostazioni SIEM > Feed.
2. Fai clic su Aggiungi nuovo feed.
3. Fai clic su Configura un singolo feed.
4. Nel campo Nome feed, inserisci un nome per il feed (ad esempio, Team Cymru Scout Threat Intelligence).
5. Seleziona Google Cloud Storage V2 come Tipo di origine.
6. Seleziona Team Cymru Scout Threat Intelligence come Tipo di log.
7. Fai clic su Avanti.

8. Specifica i valori per i seguenti parametri di input:

   • URL del bucket di archiviazione: inserisci l'URI del bucket GCS con il percorso del prefisso:

     gs://team-cymru-scout-ti/team-cymru/scout-ti/
     

     • Sostituisci:

       • team-cymru-scout-ti: il nome del bucket GCS.
       • team-cymru/scout-ti/: il percorso del prefisso/della cartella in cui sono archiviati i log.
     Nota: includi sempre la barra finale (/) alla fine dell'URI.

   • Opzione di eliminazione dell'origine: seleziona l'opzione di eliminazione in base alle tue preferenze:

     • Mai: non elimina mai i file dopo i trasferimenti (opzione consigliata per i test).
     • Elimina file trasferiti: elimina i file dopo il trasferimento riuscito.

     • Elimina file trasferiti e directory vuote: elimina i file e le directory vuote dopo il trasferimento riuscito.

       Nota :se selezioni un'opzione di eliminazione, il service account deve disporre del ruolo Storage Object Admin anziché di Storage Object Viewer. Aggiorna le autorizzazioni IAM di conseguenza.

   • Età massima del file: includi i file modificati nell'ultimo numero di giorni. Il valore predefinito è 180 giorni.

   • Spazio dei nomi dell'asset: lo spazio dei nomi dell'asset.

   • Etichette di importazione: l'etichetta da applicare agli eventi di questo feed.

9. Fai clic su Avanti.

10. Controlla la nuova configurazione del feed nella schermata Finalizza e poi fai clic su Invia.

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.