Feedaktivität mit Cloud Logging analysieren

Unterstützt in:

Dieser Leitfaden hilft Sicherheitsingenieuren und Administratoren, Aufnahmepipelines und ‑feeds in Google SecOps SIEM zu überwachen, zu debuggen und Fehler zu beheben. Einen umfassenderen Überblick über die Überwachung der Datenaufnahme finden Sie unter Status der Datenaufnahme prüfen und Fehlerbehebung bei der Datenaufnahme. In diesem Leitfaden wird beschrieben, wie Sie Logs zu Aufnahme- und Feedaktivitäten in Cloud Logging senden, ansehen und abfragen. Mit Cloud Logging können Sie Probleme bei der Logbereitstellung diagnostizieren, z. B. fehlende, verzögerte oder fehlerhafte Logs, und die Zeit verkürzen, die zum Beheben von Aufnahmeanomalien erforderlich ist. Diese Sichtbarkeit in Push- und Pull-basierten Erfassungsmechanismen ermöglicht es Ihnen auch, Gemini Cloud Assist zu verwenden, um Telemetriedaten für Logging und Messwerte zu untersuchen.

Hinweis

  • Bitten Sie Ihren Administrator, Ihnen eine der folgenden IAM-Rollen (Identity and Access Management) für Ihr Projekt zuzuweisen, um die erforderlichen Berechtigungen zum Aufrufen von Logs zu erhalten:

    • Loganzeige (roles/logging.viewer)
    • Betrachter privater Logs (roles/logging.privateLogViewer)

    Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

  • Kosten im Blick behalten Cloud Logging ist ein kostenpflichtiger Dienst. Im Rahmen des kostenlosen Programms von Google Cloud ist eine kostenlose Stufe verfügbar. Weitere Informationen finden Sie unter Preise fürGoogle Cloud Observability.

Schlüsselterminologie

  • chronicle-siem: Das Namespace-Label für Logs, die mit dem Google SecOps-Ökosystem verknüpft sind.
  • chronicle.googleapis.com/ingestion_activity: Die Log-ID für den Logstream, der sich speziell auf Google SecOps-Pipelines für die Datenaufnahme bezieht.
  • storage_transfer_job: Der Ressourcentyp für Logs aus statischen Feeds, die den Storage Transfer Service (STS) verwenden.
  • storagetransfer.googleapis.com/transfer_activity: Die Log-ID für STS-Aktivitätslogs.

Feedaktivität analysieren – Übersicht

Die Analyse von Feedaktivitäten in Cloud Logging umfasst mehrere wichtige Schritte:

  1. Auf den Log-Explorer zugreifen: Rufen Sie in der Google Cloud Console den Log-Explorer auf und wählen Sie das richtige Google Cloud Projekt aus. Weitere Informationen finden Sie in der Dokumentation zur Oberfläche des Log-Explorers.
  2. Logs abfragen: Erstellen Sie Abfragen, um Logs anhand verschiedener Parameter zu filtern, z. B. Zeiträume, Namespaces, Log-IDs, Erfassungsmechanismen, Feed-IDs oder Collector-IDs. Informationen zu Syntaxregeln finden Sie unter Logging-Abfragesprache. In diesem Leitfaden finden Sie Beispiele für gängige Filterszenarien.
  3. Bestimmte Feedtypen untersuchen: Hier erfahren Sie, wie Sie Logs für Feeds mit verschiedenen Aufnahmemethoden abfragen, einschließlich derer, die den Storage Transfer Service (STS) verwenden und eindeutige Logformate haben.
  4. Konsolentools verwenden: Nutzen Sie integrierte Google SecOps-Konsolenfunktionen wie Mit Logs debuggen und Gemini Cloud Assist, um die Analyse und das Debugging zu optimieren.
  5. Protokollschema verstehen: In der Schemareferenz finden Sie Informationen zu den Feldern und Datentypen in den Protokoll-Payloads. Das hilft bei der detaillierten Analyse und Fehlerbehebung.

In den folgenden Abschnitten finden Sie detaillierte Informationen, mit denen Sie den Zustand Ihrer Pipelines für die Datenaufnahme effektiv überwachen, Probleme beheben und Fehler beseitigen können.

Feed-Aktivitätslogs ansehen und abfragen

So rufen Sie Feed-Aktivitätslogs auf und führen Abfragen dafür aus:

  1. Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf:
  2. Wählen Sie das Google Cloud -Projekt aus, das mit Ihrer Google SecOps-Instanz verknüpft ist.
  3. Geben Sie im Bereich Abfrage einen Abfrageausdruck ein, um die Logs zu filtern.
  4. Klicken Sie auf Abfrage ausführen.

In den nächsten Abschnitten finden Sie Beispielabfragen für gängige Szenarien.

Nach Google SecOps-Namespace filtern

Verwenden Sie die folgende Abfrage, um alle Logs abzurufen, die mit dem Google SecOps-Ökosystem verknüpft sind:

labels.namespace="chronicle-siem"

Nach Ingestion-Aktivitätslogstream filtern

Verwenden Sie die folgende Abfrage, um Logs zu isolieren, die sich speziell auf Pipelines für die Datenaufnahme beziehen:

log_id("chronicle.googleapis.com/ingestion_activity")

Nach Aufnahmemethode filtern

Wenn Sie Logs für einen bestimmten Erfassungsmechanismus wie Drittanbieter-APIs als Ziel angeben möchten, verwenden Sie das Feld labels.ingestion_mechanism in Ihrer Abfrage:

labels.ingestion_mechanism="Third Party API"

Nach Feed-ID oder Collector-ID filtern

Wenn Sie Logs für einen bestimmten Ingestion-Feed oder Collector aufrufen möchten, verwenden Sie das Feld labels.feed_id oder labels.collector_id. Informationen zum Konfigurieren von Feeds finden Sie unter Datenfeeds verwalten und Datenfeeds – Übersicht. Informationen zu Collectors finden Sie unter Log-Aufnahme und ‑Parsing:

labels.feed_id="FEED_ID"

Ersetzen Sie FEED_ID durch die eindeutige Kennzeichnung Ihres Feeds.

labels.collector_id="COLLECTOR_ID"

Ersetzen Sie COLLECTOR_ID durch die eindeutige Kennung Ihres Collectors.

Storage Transfer Service-Logs ansehen

Logs für statische Feeds, die den Storage Transfer Service (STS) verwenden, werden von der Mandantenumgebung an Ihr Google Cloud -Projekt weitergeleitet. Dabei werden ein anderer Ressourcentyp und ein anderer Log-Name verwendet. Allgemeine Informationen zu STS finden Sie in der Storage Transfer Service-Dokumentation.

  • Ziel: STS-Logaktivität ansehen.
    Aktion: Führen Sie die folgende Abfrage aus: none resource.type="storage_transfer_job" AND log_id("storagetransfer.googleapis.com/transfer_activity")

  • Erwarteter Fehler: Bei der Suche mit log_id("chronicle.googleapis.com/ingestion_activity") werden keine Logs für diese statischen Feeds angezeigt.

  • Korrektiver Schritt: Verwenden Sie die resource.type="storage_transfer_job" und die spezifische STS log_id.

Konsolentools zum Debuggen von Feeds verwenden

Google SecOps bietet Konsolenintegrationen für den Zugriff auf Aktivitätsprotokolle:

  • Gemini Cloud Assist fragen: Wählen Sie auf der Seite Feeds die Option Gemini Cloud Assist fragen aus, um den Chatbereich zu öffnen. Sie können Fragen zu Ihren Feedvolumen und ‑fehlern stellen. Weitere Informationen finden Sie unter Übersicht über Gemini in Google SecOps.
  • Mit Logs debuggen: Öffnen Sie auf der Seite Feedverwaltung das Aktionsmenü für einen bestimmten Feed und wählen Sie Mit Logs debuggen aus. Diese Option ist auch auf der Seite Feed ansehen verfügbar. Der Log-Explorer wird in einem neuen Tab geöffnet und ist bereits nach der ausgewählten Feed-ID gefiltert.

Referenz für das Log-Schema

Für Feed-Aktivitätsprotokolle wird eine einheitliche JSON-Nutzlaststruktur verwendet.

Felder für das Log für Aufnahmeaktivitäten

Feld Datentyp Beschreibung
request_start_time string Zeitstempel (RFC 3339), wann die Aktivität initiiert wurde.
activity_duration string Gesamtdauer der Aktivität (z.B. „1.500 s“).
transfer_id string Eindeutige Kennung einer bestimmten Datei oder eines bestimmten Datenübertragungsvorgangs.
feed_id string Eindeutige Kennung des Google SecOps-Aufnahmefeeds.
collector_id string Eindeutige Kennung des Collectors, der die Aufnahme ausführt.
log_type string Format der aufgenommenen Logs (z.B. DUO, OFFICE_365). Eine Liste der Formatstrings finden Sie unter Unterstützte Standardparser.
file string Name der verarbeiteten Datei oder des Blob-Containers (für dateibasierte Quellen).
request_urls array of strings Ziel-URLs, die zum Abrufen oder Übertragen von Daten verwendet werden (für API-basierte Quellen).
http_status_code integer HTTP-Statuscode, der von API-Abrufvorgängen empfangen wurde.
bytes_transferred integer Anzahl der Rohbytes, die während der Aktivität erfolgreich übertragen wurden.
record_count integer Anzahl der einzelnen Logeinträge, die verarbeitet, abgerufen oder geparst wurden.
activity string Name der ausgeführten Aufgabe (z.B. File Processing, File Transfer).
details string Zusätzliche Metadaten oder Details für die Aufnahmeaktivität.
error_details object Detaillierte Fehlerinformationen, wenn bei der Aktivität ein Fehler aufgetreten ist. Weitere Informationen finden Sie unter Felder für Fehlerdetails.

Felder für Fehlerdetails

Feld Datentyp Beschreibung
error_message string Eine für Menschen lesbare Erklärung des Fehlers.
error_code string Fehlercode oder ‑kennung (unterstützt numerische und beschreibende String-Codes).
error_type string Klassifizierung oder Kategorie des Fehlers.
is_retriable boolean Gibt an, ob der Vorgang, der den Fehler verursacht hat, wiederholt werden kann.

Beispielnutzlasten für Logs

Beispiel für ein erfolgreiches Aktivitätsprotokoll für die Aufnahme

{
  "request_start_time": "2026-06-30T19:00:00Z",
  "activity_duration": "0.500s",
  "transfer_id": "transfer-12345",
  "feed_id": "feed-998877",
  "collector_id": "collector-abcd",
  "log_type": "WORKDAY_AUDIT",
  "file": "audit_log_2026_06_30.json",
  "request_urls": [
    "https://api.workday.com/ccx/v1/tenant/logs"
  ],
  "http_status_code": 200,
  "bytes_transferred": 4512000,
  "record_count": 12500,
  "activity": "File Processing",
  "details": "Successfully processed and validated 12500 records from Workday."
}

Beispiel für Aktivitätslog für fehlgeschlagene Aufnahme

{
  "request_start_time": "2026-06-30T19:05:00Z",
  "activity_duration": "1.200s",
  "transfer_id": "transfer-12346",
  "feed_id": "feed-998877",
  "collector_id": "collector-abcd",
  "log_type": "WORKDAY_AUDIT",
  "request_urls": [
    "https://api.workday.com/ccx/v1/tenant/logs"
  ],
  "http_status_code": 401,
  "bytes_transferred": 0,
  "record_count": 0,
  "activity": "File Transfer",
  "details": "Authorization failure during API request.",
  "error_details": {
    "error_message": "Invalid API token or credential expired.",
    "error_code": "401",
    "error_type": "AUTHORIZATION_ERROR",
    "is_retriable": true
  }
}

Fehlerbehebung

In diesem Abschnitt werden Einschränkungen und häufige Probleme beschrieben.

Beschränkungen

  • Storage Transfer Service-Felder: Logs für statische Feeds, die über STS weitergeleitet werden, verwenden den Ressourcentyp storage_transfer_job und den Lognamen storagetransfer.googleapis.com/transfer_activity anstelle von chronicle.googleapis.com/ingestion_activity.
  • Telemetriekorrelation: Felder mit hoher Kardinalität wie feed_id werden als Metadatenlabels in Logs und nicht als Ressourcenlabels in der Definition der überwachten Ressource aufgenommen. Die Korrelationsfunktionen von Gemini Cloud Assist mit Metadatenlabels werden fortlaufend evaluiert.

Fehlerbehebung

Problembeschreibung Korrigieren
Fehlende Logs für Static-Feeds in Standardabfragen Achten Sie darauf, dass Sie die STS-spezifische Ressource storage_transfer_job und die Log-ID storagetransfer.googleapis.com/transfer_activity verwenden. Weitere Informationen finden Sie unter Storage Transfer Service-Logs ansehen.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten