Analizzare l'attività dei feed con Cloud Logging

Supportato in:

Questa guida aiuta gli ingegneri e gli amministratori della sicurezza a monitorare, eseguire il debug e risolvere i problemi relativi alle pipeline e ai feed di importazione in Google SecOps SIEM. Per una panoramica più ampia dell'importazione dati di monitoraggio, consulta Controllare importazione dati dati e Risolvere i problemi relativi all'acquisizione dei dati. Questa guida spiega come inviare, visualizzare ed eseguire query sui log delle attività di importazione e dei feed in Cloud Logging. Utilizzando Cloud Logging, puoi diagnosticare i problemi relativi alla distribuzione dei log, ad esempio log mancanti, ritardati o non riusciti, e ridurre il tempo necessario per risolvere le anomalie di importazione. Questa visibilità sui meccanismi di importazione basati su push e pull ti consente anche di utilizzare Gemini Cloud Assist per esaminare la telemetria di logging e delle metriche.

Prima di iniziare

  • Per ottenere le autorizzazioni necessarie per visualizzare i log, chiedi all'amministratore di concederti uno dei seguenti ruoli Identity and Access Management (IAM) sul tuo progetto:

    • Visualizzatore log (roles/logging.viewer)
    • Visualizzatore log privati (roles/logging.privateLogViewer)

    Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestire l'accesso.

  • Comprendi le implicazioni sui costi. Cloud Logging è un servizio a pagamento. È disponibile un livello senza costi nell'ambito del programma senza costi Google Cloud . Per ulteriori informazioni, consulta i Google Cloud prezzi di Observability.

Terminologia chiave

  • chronicle-siem: l'etichetta dello spazio dei nomi per i log associati all'ecosistema Google SecOps.
  • chronicle.googleapis.com/ingestion_activity: l'ID del log per lo stream di log correlato specificamente alle pipeline di importazione dati di Google SecOps.
  • storage_transfer_job: il tipo di risorsa per i log dei feed statici che utilizzano Storage Transfer Service (STS).
  • storagetransfer.googleapis.com/transfer_activity: l'ID del log per i log delle attività di STS.

Panoramica sull'analisi dell'attività dei feed

L'analisi dell'attività dei feed in Cloud Logging prevede diversi passaggi chiave:

  1. Accedere a Esplora log: vai a Esplora log nella Google Cloud console e seleziona il progetto corretto Google Cloud . Per ulteriori informazioni, consulta la documentazione dell'interfaccia di Esplora log.
  2. Eseguire query sui log: crea query per filtrare i log in base a vari parametri, come intervalli di tempo, spazi dei nomi, ID log, meccanismi di importazione, ID feed o ID collector. Per le regole di sintassi, consulta Linguaggio di query di Logging. Questa guida fornisce esempi per scenari di filtro comuni.
  3. Esaminare tipi di feed specifici: scopri come eseguire query sui log per i feed utilizzando diversi metodi di importazione, inclusi quelli che utilizzano Storage Transfer Service (STS), che hanno formati di log univoci.
  4. Utilizzare gli strumenti della console: sfrutta le funzionalità integrate della console Google SecOps, come Esegui il debug con i log e Gemini Cloud Assist, per semplificare il processo di analisi e debug.
  5. Comprendere lo schema dei log: consulta il riferimento allo schema per comprendere i campi e i tipi di dati all'interno dei payload dei log, il che aiuta a eseguire analisi e risoluzione dei problemi più approfondite.

Le sezioni seguenti forniscono informazioni dettagliate per aiutarti a monitorare efficacemente l'acquisizione dei dati delle pipeline, eseguire il debug dei problemi e risolvere gli errori.

Visualizzare ed eseguire query sui log delle attività dei feed

Per visualizzare ed eseguire query sui log delle attività dei feed:

  1. Vai alla pagina Esplora log nella Google Cloud console.
  2. Seleziona il Google Cloud progetto associato alla tua istanza di Google SecOps.
  3. Inserisci un'espressione di query nel riquadro Query per filtrare i log.
  4. Fai clic su Esegui query.

Nelle prossime sezioni vengono mostrate query di esempio per scenari comuni.

Filtrare per spazio dei nomi di Google SecOps

Per recuperare tutti i log associati all'ecosistema Google SecOps, utilizza la seguente query:

labels.namespace="chronicle-siem"

Filtrare per stream di log delle attività di importazione

Per isolare i log correlati specificamente alle pipeline di importazione dati, utilizza la seguente query:

log_id("chronicle.googleapis.com/ingestion_activity")

Filtrare per meccanismo di importazione

Per scegliere come target i log di un meccanismo di importazione specifico, ad esempio API di terze parti, utilizza il campo labels.ingestion_mechanism nella query:

labels.ingestion_mechanism="Third Party API"

Filtrare per ID feed o ID collector

Per visualizzare i log di un feed o di un collector di importazione specifico, utilizza il campo labels.feed_id o labels.collector_id. Per informazioni sulla configurazione dei feed, consulta Gestire i feed di dati e Panoramica dei feed di dati. Per i collector, consulta Importazione e analisi dei log:

labels.feed_id="FEED_ID"

Sostituisci FEED_ID con l'identificatore univoco del feed.

labels.collector_id="COLLECTOR_ID"

Sostituisci COLLECTOR_ID con l'identificatore univoco del collector.

Visualizzare i log di Storage Transfer Service

I log dei feed statici che utilizzano Storage Transfer Service (STS) vengono indirizzati dall'ambiente tenant al tuo Google Cloud progetto e utilizzano un tipo di risorsa e un nome di log diversi. Per informazioni generali su STS, consulta la documentazione di Storage Transfer Service.

  • Obiettivo: visualizzare l'attività dei log di STS.
    Azione: esegui la seguente query: none resource.type="storage_transfer_job" AND log_id("storagetransfer.googleapis.com/transfer_activity")

  • Errore previsto: la ricerca con log_id("chronicle.googleapis.com/ingestion_activity") non mostrerà i log di questi feed statici.

  • Passaggio correttivo: utilizza resource.type="storage_transfer_job" e l'STS specifico log_id.

Utilizzare gli strumenti della console per eseguire il debug dei feed

Google SecOps fornisce integrazioni della console per accedere ai log delle attività:

  • Chiedi a Gemini Cloud Assist: nella pagina Feed, seleziona Chiedi a Gemini Cloud Assist per aprire il riquadro della chat. Puoi porre domande sui volumi e sugli errori dei feed. Per ulteriori informazioni, consulta Panoramica di Gemini in Google SecOps.
  • Esegui il debug con i log: nella pagina Gestione dei feed, apri il menu Azioni per un feed specifico e seleziona Esegui il debug con i log. Questa opzione è disponibile anche nella pagina Visualizza feed. Apre Esplora log in una nuova scheda, prefiltrata per l'ID feed selezionato.

Riferimento allo schema dei log

I log delle attività dei feed utilizzano una struttura di payload JSON unificata.

Campi dei log delle attività di importazione

Campo Tipo di dati Descrizione
request_start_time string Timestamp (RFC 3339) in cui è stata avviata l'attività.
activity_duration string Durata totale trascorsa dell'attività (ad es. "1.500s").
transfer_id string Identificatore univoco di un'operazione di trasferimento di file o dati specifica.
feed_id string Identificatore univoco del feed di importazione di Google SecOps.
collector_id string Identificatore univoco del collector che esegue l'importazione.
log_type string Formato dei log importati (ad es. DUO, OFFICE_365). Per un elenco di stringhe di formato, consulta Parser predefiniti supportati.
file string Nome del file o del container blob elaborato (per le origini basate su file).
request_urls array of strings URL di destinazione utilizzati per eseguire il pull o il trasferimento dei dati (per le origini basate su API).
http_status_code integer Codice di stato HTTP ricevuto dalle operazioni di recupero dell'API.
bytes_transferred integer Numero di byte non elaborati trasferiti correttamente durante l'attività.
record_count integer Numero di singole voci di log elaborate, estratte o analizzate.
activity string Nome dell'attività in esecuzione (ad es. File Processing, File Transfer).
details string Metadati o dettagli aggiuntivi per l'attività di importazione.
error_details object Informazioni dettagliate sull'errore se l'attività ha riscontrato un errore. Consulta Campi dei dettagli dell'errore.

Campi dei dettagli dell'errore

Campo Tipo di dati Descrizione
error_message string Spiegazione dell'errore leggibile da una persona.
error_code string Codice o identificatore dell'errore (supporta codici di stringhe numerici e descrittivi).
error_type string Classificazione o categoria dell'errore.
is_retriable boolean Indica se è possibile riprovare l'operazione che ha causato l'errore.

Payload di log di esempio

Esempio di log delle attività di importazione riuscite

{
  "request_start_time": "2026-06-30T19:00:00Z",
  "activity_duration": "0.500s",
  "transfer_id": "transfer-12345",
  "feed_id": "feed-998877",
  "collector_id": "collector-abcd",
  "log_type": "WORKDAY_AUDIT",
  "file": "audit_log_2026_06_30.json",
  "request_urls": [
    "https://api.workday.com/ccx/v1/tenant/logs"
  ],
  "http_status_code": 200,
  "bytes_transferred": 4512000,
  "record_count": 12500,
  "activity": "File Processing",
  "details": "Successfully processed and validated 12500 records from Workday."
}

Esempio di log delle attività di importazione non riuscite

{
  "request_start_time": "2026-06-30T19:05:00Z",
  "activity_duration": "1.200s",
  "transfer_id": "transfer-12346",
  "feed_id": "feed-998877",
  "collector_id": "collector-abcd",
  "log_type": "WORKDAY_AUDIT",
  "request_urls": [
    "https://api.workday.com/ccx/v1/tenant/logs"
  ],
  "http_status_code": 401,
  "bytes_transferred": 0,
  "record_count": 0,
  "activity": "File Transfer",
  "details": "Authorization failure during API request.",
  "error_details": {
    "error_message": "Invalid API token or credential expired.",
    "error_code": "401",
    "error_type": "AUTHORIZATION_ERROR",
    "is_retriable": true
  }
}

Risoluzione dei problemi

Questa sezione descrive le limitazioni e i problemi comuni.

Limitazioni

  • Campi di Storage Transfer Service (STS): i log dei feed statici indirizzati da STS utilizzano il tipo di risorsa storage_transfer_job e il nome del log storagetransfer.googleapis.com/transfer_activity anziché chronicle.googleapis.com/ingestion_activity.
  • Correlazione della telemetria: i campi con cardinalità elevata, come feed_id, sono inclusi come etichette dei metadati nei log anziché come etichette delle risorse nella definizione della risorsa monitorata. Le funzionalità di correlazione di Gemini Cloud Assist che utilizzano le etichette dei metadati sono soggette a valutazione continua.

Correzione degli errori

Descrizione del problema Correggi
Log mancanti per i feed statici nelle query standard Assicurati di eseguire query utilizzando il tipo di risorsa specifico di STS storage_transfer_job e l'ID log storagetransfer.googleapis.com/transfer_activity. Consulta Visualizzare i log di Storage Transfer Service.

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.