Analizzare l'attività del feed con Cloud Logging

Supportato in:

Questa guida aiuta gli ingegneri e gli amministratori della sicurezza a monitorare, eseguire il debug e risolvere i problemi relativi a pipeline e feed di importazione all'interno di Google SecOps SIEM. Per una panoramica più ampia dell'importazione dati di monitoraggio, consulta Verificare l'importazione dati dell'acquisizione dei dati e Risolvere i problemi relativi all'acquisizione dei dati. Questa guida spiega come inviare, visualizzare ed eseguire query sui log delle attività di importazione e feed in Cloud Logging. Utilizzando Cloud Logging, puoi diagnosticare i problemi relativi alla distribuzione dei log, ad esempio log mancanti, ritardati o non riusciti, e ridurre il tempo necessario per risolvere le anomalie di importazione. Questa visibilità sui meccanismi di importazione basati su push e pull ti consente anche di utilizzare Gemini Cloud Assist per esaminare la telemetria di logging e delle metriche.

Prima di iniziare

  • Per ottenere le autorizzazioni necessarie per visualizzare i log, chiedi all'amministratore di concederti uno dei seguenti ruoli Identity and Access Management (IAM) nel tuo progetto:

    • Visualizzatore log (roles/logging.viewer)
    • Visualizzatore log privati (roles/logging.privateLogViewer)

    Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

  • Comprendi le implicazioni sui costi. Cloud Logging è un servizio fatturabile. Un livello senza costi è disponibile nell'ambito del programma senza costi Google Cloud . Per saperne di più, consulta la pagina Google Cloud Prezzi dell'osservabilità.

Terminologia chiave

  • chronicle-siem: l'etichetta dello spazio dei nomi per i log associati all'ecosistema Google SecOps.
  • chronicle.googleapis.com/ingestion_activity: l'ID log per lo stream di log correlato specificamente alle pipeline di importazione dati di Google SecOps.
  • storage_transfer_job: il tipo di risorsa per i log dei feed statici che utilizzano Storage Transfer Service (STS).
  • storagetransfer.googleapis.com/transfer_activity: l'ID log per i log attività STS.

Panoramica dell'analisi dell'attività del feed

L'analisi dell'attività dei feed in Cloud Logging prevede diversi passaggi chiave:

  1. Accesso a Esplora log: vai a Esplora log nella console Google Cloud e seleziona il progetto Google Cloud corretto. Per saperne di più, consulta la documentazione relativa all'interfaccia di Esplora log.
  2. Esecuzione di query sui log: crea query per filtrare i log in base a vari parametri, come intervalli di tempo, spazi dei nomi, ID log, meccanismi di importazione, ID feed o ID agente di raccolta. Per le regole di sintassi, consulta Linguaggio di query di Logging. Questa guida fornisce esempi per scenari di filtraggio comuni.
  3. Analisi di tipi di feed specifici: scopri come eseguire query sui log per i feed utilizzando diversi metodi di importazione, inclusi quelli che utilizzano Storage Transfer Service (STS), che hanno formati di log unici.
  4. Utilizzo degli strumenti della console: sfrutta le funzionalità integrate della console Google SecOps, come Debug con i log e Gemini Cloud Assist, per semplificare il processo di analisi e debug.
  5. Informazioni sullo schema dei log: consulta il riferimento allo schema per comprendere i campi e i tipi di dati all'interno dei payload dei log, il che aiuta a eseguire analisi e risoluzione dei problemi più approfondite.

Le sezioni seguenti forniscono informazioni dettagliate per aiutarti a monitorare in modo efficace l'integrità delle pipeline di importazione dati, eseguire il debug dei problemi e risolvere gli errori.

Visualizzare ed eseguire query sui log delle attività del feed

Per visualizzare ed eseguire query sui log attività dei feed:

  1. Vai alla pagina Esplora log nella console Google Cloud .
  2. Seleziona il progetto Google Cloud associato alla tua istanza di Google SecOps.
  3. Inserisci un'espressione di query nel riquadro Query per filtrare i log.
  4. Fai clic su Esegui query.

Nelle sezioni successive vengono mostrate query di esempio per scenari comuni.

Filtra per spazio dei nomi Google SecOps

Per recuperare tutti i log associati all'ecosistema Google SecOps, utilizza la seguente query:

labels.namespace="chronicle-siem"

Filtra per flusso di log delle attività di importazione

Per isolare i log specificamente correlati alle pipeline di importazione dati, utilizza la seguente query:

log_id("chronicle.googleapis.com/ingestion_activity")

Filtra per meccanismo di importazione

Per scegliere come target i log per un meccanismo di importazione specifico, ad esempio API di terze parti, utilizza il campo labels.ingestion_mechanism nella query:

labels.ingestion_mechanism="Third Party API"

Filtra per ID feed o ID raccoglitore

Per visualizzare i log per un feed di importazione o un raccoglitore specifico, utilizza il campo labels.feed_id o labels.collector_id. Per informazioni sulla configurazione dei feed, vedi Gestire i feed di dati e Panoramica dei feed di dati. Per i raccoglitori, vedi Inserimento e analisi dei log:

labels.feed_id="FEED_ID"

Sostituisci FEED_ID con l'identificatore univoco del tuo feed.

labels.collector_id="COLLECTOR_ID"

Sostituisci COLLECTOR_ID con l'identificatore univoco del tuo agente di raccolta.

Visualizzare i log di Storage Transfer Service

I log per i feed statici che utilizzano Storage Transfer Service (STS) vengono indirizzati dall'ambiente tenant al tuo progetto Google Cloud e utilizzano un tipo di risorsa e un nome di log diversi. Per informazioni generali su STS, consulta la documentazione di Storage Transfer Service.

  • Obiettivo: visualizza l'attività di log STS.
    Azione: esegui la seguente query: none resource.type="storage_transfer_job" AND log_id("storagetransfer.googleapis.com/transfer_activity")

  • Errore previsto: la ricerca con log_id("chronicle.googleapis.com/ingestion_activity") non mostrerà i log per questi feed statici.

  • Passaggio correttivo: utilizza resource.type="storage_transfer_job" e lo STS specifico log_id.

Escludere log specifici utilizzando il router dei log

Hai il controllo completo e granulare su quali log delle attività dei feed vengono indirizzati a Cloud Logging. Configurando i filtri di esclusione nel tuo progetto Google Cloud , puoi interrompere la ricezione di log specifici, ad esempio i log per un determinato ID feed.

Per creare un filtro di esclusione e interrompere la ricezione di log specifici:

  1. Nella Google Cloud console, seleziona il progetto.
  2. Nella casella di ricerca, cerca Router dei log.
  3. Nell'elenco Sink del router dei log, fai clic sul menu Altro (tre puntini) accanto al sink _Default e poi seleziona Modifica sink.
  4. Nella pagina Modifica sink, vai alla sezione Scegli i log da escludere dal sink (facoltativo) e aggiungi le esclusioni necessarie.

Ad esempio, per filtrare i log di Storage Transfer Service (STS), aggiungi un filtro di esclusione e fornisci la seguente espressione di filtro:

resource.type="storage_transfer_job"

Se riscontri problemi e vuoi disattivare completamente la registrazione di tutte le attività dei feed, puoi aprire una richiesta di assistenza e richiedere questa azione. Google SecOps può disattivare completamente la registrazione dei log dalla sua parte, ma si tratta di un'azione "tutto o niente": disattiva completamente i log per tutti i feed del tuo account, anziché per righe o feed specifici.

Utilizzare gli strumenti della console per eseguire il debug dei feed

Google SecOps fornisce integrazioni della console per accedere ai log delle attività:

  • Chiedi a Gemini Cloud Assist: nella pagina Feed, seleziona Chiedi a Gemini Cloud Assist per aprire il riquadro della chat. Puoi porre domande sui volumi e sugli errori dei feed. Per saperne di più, consulta la panoramica di Gemini in Google SecOps.
  • Esegui il debug con i log: nella pagina Gestione feed, apri il menu Azioni per un feed specifico e seleziona Esegui il debug con i log. Questa opzione è disponibile anche nella pagina Visualizza feed. Si apre Esplora log in una nuova scheda, prefiltrata per l'ID feed selezionato.

Riferimento allo schema dei log

I log delle attività dei feed utilizzano una struttura di payload JSON unificata.

Campi del log delle attività di importazione

Campo Tipo di dati Descrizione
request_start_time string Timestamp (RFC 3339) di quando è stata avviata l'attività.
activity_duration string Durata totale trascorsa dell'attività (ad es. "1500 s").
transfer_id string Identificatore univoco di un'operazione specifica di trasferimento di file o dati.
feed_id string Identificatore univoco del feed di importazione di Google SecOps.
collector_id string Identificatore univoco dell'agente di raccolta che esegue l'importazione.
log_type string Formato dei log di cui viene eseguito l'inserimento (ad es. DUO, OFFICE_365). Per un elenco di stringhe di formato, consulta Parser predefiniti supportati.
file string Nome del file elaborato o del contenitore blob (per le origini basate su file).
request_urls array of strings URL di destinazione utilizzati per estrarre o trasferire dati (per le origini basate su API).
http_status_code integer Codice di stato HTTP ricevuto dalle operazioni di recupero dell'API.
bytes_transferred integer Numero di byte non elaborati trasferiti correttamente durante l'attività.
record_count integer Numero di singole voci di log elaborate, estratte o analizzate.
activity string Nome dell'attività in esecuzione (ad es. File Processing, File Transfer).
details string Metadati o dettagli aggiuntivi per l'attività di importazione.
error_details object Informazioni dettagliate sull'errore se l'attività ha riscontrato un errore. Consulta Campi dei dettagli dell'errore.

Campi dei dettagli dell'errore

Campo Tipo di dati Descrizione
error_message string Spiegazione dell'errore leggibile.
error_code string Codice o identificatore di errore (supporta codici numerici e stringhe descrittive).
error_type string Classificazione o categoria dell'errore.
is_retriable boolean Indica se è possibile riprovare l'operazione che ha causato l'errore.

Payload di log di esempio

Esempio di log delle attività di importazione riuscita

{
  "request_start_time": "2026-06-30T19:00:00Z",
  "activity_duration": "0.500s",
  "transfer_id": "transfer-12345",
  "feed_id": "feed-998877",
  "collector_id": "collector-abcd",
  "log_type": "WORKDAY_AUDIT",
  "file": "audit_log_2026_06_30.json",
  "request_urls": [
    "https://api.workday.com/ccx/v1/tenant/logs"
  ],
  "http_status_code": 200,
  "bytes_transferred": 4512000,
  "record_count": 12500,
  "activity": "File Processing",
  "details": "Successfully processed and validated 12500 records from Workday."
}

Esempio di log delle attività di importazione non riuscita

{
  "request_start_time": "2026-06-30T19:05:00Z",
  "activity_duration": "1.200s",
  "transfer_id": "transfer-12346",
  "feed_id": "feed-998877",
  "collector_id": "collector-abcd",
  "log_type": "WORKDAY_AUDIT",
  "request_urls": [
    "https://api.workday.com/ccx/v1/tenant/logs"
  ],
  "http_status_code": 401,
  "bytes_transferred": 0,
  "record_count": 0,
  "activity": "File Transfer",
  "details": "Authorization failure during API request.",
  "error_details": {
    "error_message": "Invalid API token or credential expired.",
    "error_code": "401",
    "error_type": "AUTHORIZATION_ERROR",
    "is_retriable": true
  }
}

Risoluzione dei problemi

Questa sezione illustra le limitazioni e i problemi comuni.

Limitazioni

  • Campi di Storage Transfer Service (STS): i log per i feed statici indirizzati da STS utilizzano il tipo di risorsa storage_transfer_job e il nome log storagetransfer.googleapis.com/transfer_activity anziché chronicle.googleapis.com/ingestion_activity.
  • Correlazione della telemetria: i campi con cardinalità elevata, come feed_id, sono inclusi come etichette dei metadati nei log anziché come etichette delle risorse nella definizione della risorsa monitorata. Le funzionalità di correlazione di Gemini Cloud Assist che utilizzano le etichette dei metadati sono soggette a valutazione continua.

Correzione degli errori

Descrizione del problema Correggi
Log mancanti per i feed statici nelle query standard Assicurati di eseguire query utilizzando il tipo di risorsa specifico di STS storage_transfer_job e l'ID log storagetransfer.googleapis.com/transfer_activity. Consulta Visualizzare i log di Storage Transfer Service.

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.