Suchergebnisse deduplizieren

Unterstützt in:

In Google Security Operations können Suchergebnisse Duplikate enthalten, wenn dasselbe Ereignis von mehreren Systemen protokolliert wird (z. B. ein Authentifizierungssystem und eine Firewall, die beide eine einzelne Anmeldung protokollieren).

Wenn Sie nur eindeutige Ergebnisse zurückgeben möchten, verwenden Sie den Abschnitt dedup in Ihrer YARA-L-Syntax. Wenn Sie diesem Abschnitt UDM-Felder hinzufügen, gibt die Abfrage für jede eindeutige Kombination von Werten ein einzelnes Ergebnis zurück.

Leistungsrichtlinien

Der Operator dedup verarbeitet alle Daten in einem Zeitraum als eine einzelne Einheit, um die Richtigkeit zu gewährleisten.

  • Optimale Zeiträume: Die Leistung ist am besten für Zeiträume von maximal einem Tag.
  • Latenz: Bei Zeiträumen zwischen 7 und 30 Tagen erhöht sich die Latenz erheblich und es kann zu Zeitüberschreitungen bei Abfragen kommen.

Wir empfehlen, immer den kürzestmöglichen Zeitraum zu verwenden, der für Ihre Untersuchung geeignet ist, wenn Sie den Operator dedup anwenden.

Deduplizierung nach Abfragetyp

Das Deduplizierungsverhalten hängt davon ab, ob Ihre Abfrage Aggregationen verwendet. Es gilt für die folgenden Arten von Such- und Dashboard-Abfragen.

Aggregierte Suchanfragen

Aggregierte Suchanfragen enthalten die Abschnitte match, match und outcome oder aggregated outcome. Die Deduplizierung erfolgt nachdem die Ergebnisse ermittelt wurden.

Fügen Sie für diese Abfragen die folgenden Felder zum Abschnitt dedup hinzu:

  • Felder aus dem Abschnitt match
  • *Felder aus dem Abschnitt outcome

UDM-Suchanfragen

UDM-Suchanfragen enthalten nicht die Abschnitte match, outcome oder `aggregated outcome`.outcome Hinweis: UDM-Suchanfragen können einen Abschnitt outcome enthalten, solange keine Aggregationen und kein Abschnitt match vorhanden sind.

Wenn Sie UDM-Suchanfragen deduplizieren möchten, fügen Sie dem Abschnitt dedup die folgenden Felder hinzu:

  • Alle nicht wiederholten, nicht arraybasierten und nicht gruppierten Ereignisfelder.
  • Platzhalterfelder aus dem Abschnitt events.
  • Ergebnisvariablen aus dem Abschnitt outcome (wenn keine Aggregationen vorhanden sind).

In diesem Abschnitt wird die YARA-L-Syntax gezeigt, die in der Sucheausgeführt werden kann.

Beispiel: Nach eindeutigen IP-Adressen suchen

Die folgende Beispielabfrage ermittelt Netzwerkverbindungen zwischen internen und externen IP-Adressen, dedupliziert nach der internen IP-Adresse (principal.ip):

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""

match:
   target.ip, principal.ip

dedup:
   principal.ip

Beispiel: Eindeutige IP-Adressen mit Trafficvolumen

Ähnlich wie im vorherigen Beispiel werden in der folgenden Beispielsuche Netzwerkverbindungsereignisse mit eindeutigen IP-Adressen angezeigt. Wenn Sie dedup auf principal.ip anwenden, werden die Ergebnisse auf Ereignisse beschränkt, die mit eindeutigen IP-Adressen verknüpft sind. Im Abschnitt outcome werden die insgesamt zwischen principal.ip und target.ip gesendeten Byte angezeigt. Die Ergebnisse werden nach Trafficvolumen sortiert, vom höchsten zum niedrigsten.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""

match:
   target.ip, principal.ip

outcome:
   $total_bytes = sum(network.sent_bytes)

dedup:
   principal.ip

order:
   $total_bytes desc

Beispiel: Grundlegende UDM-Deduplizierung

Im folgenden Beispiel wird nach einer allgemeinen Übersicht eindeutiger Hostnamen gesucht, auf die über alle Logtypen hinweg zugegriffen wurde. Wenn Sie dedup auf target.hostname anwenden, werden die Ergebnisse auf Ereignisse beschränkt, die mit eindeutigen externen Hostnamen verknüpft sind. Hinweis: Dieses Format ist für Abfragen geeignet, für die keine Aggregationen erforderlich sind.

metadata.log_type != ""

dedup:
    target.hostname

Das folgende Beispiel ist gleichwertig, verwendet aber nicht die Option dedup. In der Regel werden deutlich mehr Ereignisse zurückgegeben.

metadata.log_type != "" AND target.hostname != ""

Beispiel: Eindeutige Hostnamen

Ähnlich wie im vorherigen Beispiel werden in dieser Suche Netzwerkverbindungsereignisse mit eindeutigen Hostnamen angezeigt. Wenn Sie die Option dedup auf principal.hostname anwenden, werden die Ergebnisse auf Ereignisse beschränkt, die mit eindeutigen Hosts verknüpft sind:

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.hostname != ""
   principal.hostname != ""

match:
   target.hostname, principal.hostname

outcome:
   $total_bytes = sum(network.sent_bytes)

dedup:
   principal.hostname

order:
   $total_bytes desc

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten