Analisar a atividade do feed com o Cloud Logging
Este guia ajuda engenheiros e administradores de segurança a monitorar, depurar e resolver problemas em pipelines e feeds de ingestão no Google SecOps SIEM. Para uma visão geral mais ampla do monitoramento da ingestão de dados, consulte Verificar a integridade da ingestão de dados e Resolver problemas de ingestão de dados. Este guia explica como enviar, visualizar e consultar registros de atividades de ingestão e feed no Cloud Logging. Com o Cloud Logging, é possível diagnosticar problemas com a entrega de registros, como registros ausentes, atrasados ou com falha, e diminuir o tempo necessário para resolver anomalias de ingestão. Essa visibilidade dos mecanismos de ingestão baseados em push e pull também permite usar o Gemini Cloud Assist para investigar a telemetria de registros e métricas.
Antes de começar
Para receber as permissões necessárias para visualizar registros, peça ao administrador para conceder a você um dos seguintes papéis do Identity and Access Management (IAM) no seu projeto:
- Visualizador de registros (
roles/logging.viewer) - Visualizador de registros particulares (
roles/logging.privateLogViewer)
Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.
- Visualizador de registros (
Entenda as implicações de custo. O Cloud Logging é um serviço faturável. Um nível sem custo financeiro está disponível como parte do Programa sem custo financeiro do Google Cloud . Para mais informações, consulte Preços doGoogle Cloud Observability.
Terminologia importante
chronicle-siem: o rótulo do namespace para registros associados ao ecossistema do Google SecOps.chronicle.googleapis.com/ingestion_activity: o ID do registro do fluxo de registros relacionado especificamente aos pipelines de ingestão de dados do Google SecOps.storage_transfer_job: o tipo de recurso para registros de feeds estáticos que usam o Serviço de transferência do Cloud Storage (STS).storagetransfer.googleapis.com/transfer_activity: o ID do registro de atividades do STS.
Visão geral da análise da atividade do feed
A análise da atividade do feed no Cloud Logging envolve várias etapas importantes:
- Acessar a Análise de registros: navegue até a Análise de registros no console do Google Cloud e selecione o projeto Google Cloud correto. Para mais informações, consulte a documentação da interface da Análise de registros.
- Consultar registros: crie consultas para filtrar registros com base em vários parâmetros, como intervalos de tempo, namespaces, IDs de registro, mecanismos de ingestão, IDs de feed ou IDs de coletor. Para regras de sintaxe, consulte Linguagem de consulta do Logging. Este guia fornece exemplos de cenários de filtragem comuns.
- Investigar tipos de feed específicos: aprenda a consultar registros de feeds usando diferentes métodos de ingestão, incluindo aqueles que utilizam o Serviço de transferência do Cloud Storage (STS), que têm formatos de registro exclusivos.
- Usar ferramentas do console: aproveite os recursos integrados do console do Google SecOps, como Depurar com registros e o Gemini Cloud Assist, para simplificar o processo de análise e depuração.
- Entender o esquema de registros: consulte a referência de esquema para entender os campos e tipos de dados nos payloads de registros, o que ajuda na análise e na solução de problemas mais detalhadas.
As seções a seguir fornecem informações detalhadas para ajudar você a monitorar a integridade dos pipelines de ingestão de dados, depurar problemas e solucionar erros de maneira eficaz.
Ver e consultar registros de atividades do feed
Para ver e consultar os registros de atividade do feed, faça o seguinte:
- Acesse a página do Explorador de registros no console do Google Cloud .
- Selecione o projeto Google Cloud associado à sua instância do Google SecOps.
- Insira uma expressão de consulta no painel Consulta para filtrar os registros.
- Clique em Executar consulta.
As próximas seções mostram exemplos de consultas para cenários comuns.
Filtrar por namespace do Google SecOps
Para recuperar todos os registros associados ao ecossistema do Google SecOps, use a seguinte consulta:
labels.namespace="chronicle-siem"
Filtrar por fluxo de registro de atividades de ingestão
Para isolar registros relacionados especificamente a pipelines de ingestão de dados, use a seguinte consulta:
log_id("chronicle.googleapis.com/ingestion_activity")
Filtrar por mecanismo de ingestão
Para segmentar registros de um mecanismo de ingestão específico, como APIs de terceiros, use o campo labels.ingestion_mechanism na consulta:
labels.ingestion_mechanism="Third Party API"
Filtrar por ID do feed ou do coletor
Para ver os registros de um feed ou coletor de ingestão específico, use o campo labels.feed_id ou labels.collector_id. Para informações sobre como configurar feeds, consulte Gerenciar feeds de dados e Visão geral dos feeds de dados. Para coletores, consulte Ingestão e análise de registros:
labels.feed_id="FEED_ID"
Substitua FEED_ID pelo identificador exclusivo do seu feed.
labels.collector_id="COLLECTOR_ID"
Substitua COLLECTOR_ID pelo identificador exclusivo do seu coletor.
Ver registros do Serviço de transferência do Cloud Storage
Os registros de feeds estáticos que usam o Serviço de transferência do Cloud Storage (STS) são roteados do ambiente do locatário para seu projeto Google Cloud e usam um tipo de recurso e um nome de registro diferentes. Para informações gerais sobre o STS, consulte a documentação do Serviço de transferência do Cloud Storage.
Objetivo: ver a atividade de registro do STS.
Ação: execute a seguinte consulta:none resource.type="storage_transfer_job" AND log_id("storagetransfer.googleapis.com/transfer_activity")Falha prevista: a pesquisa com
log_id("chronicle.googleapis.com/ingestion_activity")não vai mostrar registros desses feeds estáticos.Etapa corretiva: use o
resource.type="storage_transfer_job"e o STS específicolog_id.
Excluir registros específicos usando o roteador de registros
Você tem controle total e granular sobre quais registros de atividades do feed são encaminhados para o Cloud Logging. Ao configurar filtros de exclusão no projeto Google Cloud , você pode parar de receber registros específicos, como os de um ID de feed específico.
Para criar um filtro de exclusão e parar de receber registros específicos, faça o seguinte:
- No console Google Cloud , selecione seu projeto.
- Na caixa de pesquisa, procure Roteador de registros.
- Na lista Coletores do Roteador de registros, clique no menu Mais (três pontos) ao lado do coletor
_Defaulte selecione Editar coletor. - Na página Editar coletor, acesse a seção Escolher registros para filtrar do coletor (opcional) e adicione exclusões conforme necessário.
Por exemplo, para filtrar os registros do Serviço de transferência do Cloud Storage (STS, na sigla em inglês), adicione um filtro de exclusão e forneça a seguinte expressão de filtro:
resource.type="storage_transfer_job"
Se você tiver problemas e quiser desativar completamente o registro de atividades do feed, abra um caso de suporte e peça essa ação. O Google SecOps pode desativar a geração de registros completamente, mas essa é uma ação "tudo ou nada". Ela desativa completamente os registros de todos os feeds da sua conta, em vez de linhas ou feeds específicos.
Usar ferramentas de console para depurar feeds
O Google SecOps oferece integrações de console para acessar registros de atividades:
- Perguntar ao Gemini Cloud Assist: na página Feeds, selecione Perguntar ao Gemini Cloud Assist para abrir o painel de chat. Você pode fazer perguntas sobre os volumes e erros do feed. Para mais informações, consulte Visão geral do Gemini no Google SecOps.
- Depurar com registros: na página Gerenciamento de feeds, abra o menu de ações de um feed específico e selecione Depurar com registros. Essa opção também está disponível na página Ver feed. Ela abre a Análise de registros em uma nova guia, pré-filtrada para o ID do feed selecionado.
Referência do esquema de registro
Os registros de atividades do feed usam uma estrutura unificada de payload JSON.
Campos do registro de atividades de ingestão
| Campo | Tipo de dado | Descrição |
|---|---|---|
request_start_time |
string |
Carimbo de data/hora (RFC 3339) em que a atividade foi iniciada. |
activity_duration |
string |
Duração total decorrida da atividade (por exemplo, "1.500s"). |
transfer_id |
string |
Identificador exclusivo de um arquivo ou operação de transferência de dados específica. |
feed_id |
string |
Identificador exclusivo do feed de ingestão do Google SecOps. |
collector_id |
string |
Identificador exclusivo do coletor que executa a ingestão. |
log_type |
string |
Formato dos registros ingeridos (por exemplo, DUO, OFFICE_365). Para uma lista de strings de formato, consulte Analistas padrão compatíveis. |
file |
string |
Nome do arquivo processado ou do contêiner de blob (para fontes baseadas em arquivos). |
request_urls |
array of strings |
URLs de destino usados para extrair ou transferir dados (para fontes baseadas em API). |
http_status_code |
integer |
Código de status HTTP recebido das operações de busca da API. |
bytes_transferred |
integer |
Número de bytes brutos transferidos durante a atividade. |
record_count |
integer |
Número de entradas de registro individuais processadas, extraídas ou analisadas. |
activity |
string |
Nome da tarefa em execução (por exemplo, File Processing, File Transfer). |
details |
string |
Metadados ou detalhes adicionais da atividade de ingestão. |
error_details |
object |
Informações detalhadas sobre o erro se a atividade falhou. Consulte Campos de detalhes do erro. |
Campos de detalhes do erro
| Campo | Tipo de dado | Descrição |
|---|---|---|
error_message |
string |
Explicação do erro legível por humanos. |
error_code |
string |
Código ou identificador de erro (aceita códigos numéricos e strings descritivas). |
error_type |
string |
Classificação ou categoria do erro. |
is_retriable |
boolean |
Indica se é possível tentar de novo a operação que causou o erro. |
Exemplos de payloads de registros
Exemplo de registro de atividades de ingestão bem-sucedida
{
"request_start_time": "2026-06-30T19:00:00Z",
"activity_duration": "0.500s",
"transfer_id": "transfer-12345",
"feed_id": "feed-998877",
"collector_id": "collector-abcd",
"log_type": "WORKDAY_AUDIT",
"file": "audit_log_2026_06_30.json",
"request_urls": [
"https://api.workday.com/ccx/v1/tenant/logs"
],
"http_status_code": 200,
"bytes_transferred": 4512000,
"record_count": 12500,
"activity": "File Processing",
"details": "Successfully processed and validated 12500 records from Workday."
}
Exemplo de registro de atividades de ingestão com falha
{
"request_start_time": "2026-06-30T19:05:00Z",
"activity_duration": "1.200s",
"transfer_id": "transfer-12346",
"feed_id": "feed-998877",
"collector_id": "collector-abcd",
"log_type": "WORKDAY_AUDIT",
"request_urls": [
"https://api.workday.com/ccx/v1/tenant/logs"
],
"http_status_code": 401,
"bytes_transferred": 0,
"record_count": 0,
"activity": "File Transfer",
"details": "Authorization failure during API request.",
"error_details": {
"error_message": "Invalid API token or credential expired.",
"error_code": "401",
"error_type": "AUTHORIZATION_ERROR",
"is_retriable": true
}
}
Solução de problemas
Esta seção descreve as limitações e os problemas comuns.
Limitações
- Campos do Serviço de transferência do Cloud Storage (STS): os registros de feeds estáticos encaminhados do STS usam o tipo de recurso
storage_transfer_jobe o nome do registrostoragetransfer.googleapis.com/transfer_activityem vez dechronicle.googleapis.com/ingestion_activity. - Correlação de telemetria: campos de alta cardinalidade, como
feed_id, são incluídos como rótulos de metadados em registros em vez de rótulos de recursos na definição de recurso monitorado. Os recursos de correlação do Gemini Cloud Assist que usam rótulos de metadados estão sujeitos a avaliação contínua.
Correção de erros
| Descrição do problema | Corrigir |
|---|---|
| Registros ausentes para feeds estáticos em consultas padrão | Verifique se você está consultando usando o tipo de recurso específico do STS storage_transfer_job e o ID do registro storagetransfer.googleapis.com/transfer_activity. Consulte Ver registros do Serviço de transferência do Cloud Storage. |
Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.