Datenverarbeitungspipelines einrichten und verwalten

Unterstützt in:

Mit der Funktion Datenverarbeitung haben Sie eine robuste Kontrolle über die Datenaufnahme in Google Security Operations, bevor die Daten geparst werden. Sie können Ereignisse filtern, Felder transformieren oder vertrauliche Werte unkenntlich machen, um die Datenkompatibilität zu optimieren, Kosten zu senken und vertrauliche Informationen in Google SecOps zu schützen.

In diesem Dokument wird der gesamte Workflow für die Datenerfassung und -verarbeitung mit der BindPlane-Konsole beschrieben. Sie erfahren, wie Sie:

  • Konfigurieren Sie die Verbindung zu einer Google SecOps-Zielinstanz.
  • Erstellen Sie eine neue Google SecOps-Pipeline.
  • Datenverarbeitung einrichten, einschließlich Streams und Prozessoren
  • Stellen Sie die Pipeline bereit, um die Datenaufnahme und -verarbeitung zu starten.
  • Pipeline-Streams und ‑Prozessoren in der Google SecOps Console überwachen

Sie können die Datenverarbeitung für lokale und Cloud-Datenstreams entweder über die Bindplane-Verwaltungskonsole oder direkt über die öffentlichen Google SecOps Data Pipeline APIs konfigurieren.

Die Datenverarbeitung besteht aus den folgenden Elementen:

  • Streams: Ein oder mehrere Streams speisen Daten in die Datenverarbeitungspipeline ein. Jeder Stream ist für einen bestimmten Streamtyp konfiguriert.
  • Verarbeitungsknoten: Die Datenverarbeitung hat einen Verarbeitungsknoten, der einen oder mehrere Prozessoren enthält. Jeder Prozessor gibt eine Aktion an, die für die Daten ausgeführt werden soll (z. B. filtern, transformieren und unkenntlich machen), während sie durch die Pipeline fließen.
  • Ziel: Die Google SecOps-Zielinstanz, an die die verarbeiteten Daten gesendet werden.

Anwendungsfälle

Beispiel-Anwendungsfälle umfassen Folgendes:

  • Leere Schlüssel/Wert-Paare aus Rohlogs entfernen
  • Entfernen Sie sensible Daten.
  • Aufnahme-Labels aus Rohlog-Inhalten hinzufügen
  • In Umgebungen mit mehreren Instanzen können Sie Erfassungs-Labels auf Logdaten für die Direkterfassung anwenden, um die Quellstream-Instanz (z. B.Google Cloud Workspace) zu identifizieren.
  • Palo Alto Cortex-Daten nach Feldwerten filtern
  • SentinelOne-Daten nach Kategorie reduzieren
  • Extrahieren Sie Hostinformationen aus Feeds und Logs für die direkte Aufnahme und ordnen Sie sie dem Feld ingestion_source für Cloud Monitoring zu.

Vorbereitung

Wenn Sie die Bindplane-Konsole für die Verwaltung der Verarbeitung Ihrer Google SecOps-Daten verwenden möchten, führen Sie die folgenden Schritte aus:

  1. Weisen Sie dem Installer in der Google Security Operations-Konsole die erforderlichen vordefinierten Administratorrollen zu. Weitere Informationen finden Sie unter Rolle „Project IAM Admin“ in einem dedizierten Projekt zuweisen.

  2. Wählen Sie unter Rollen zuweisen die folgenden vordefinierten IAM-Rollen (Identity and Access Management) aus:

    • Chronicle API-Administrator (roles/chronicle.admin)

  3. Installieren Sie die BindPlane-Serverkonsole. Informationen zur SaaS- oder On-Premise-Installation finden Sie unter BindPlane Server-Konsole installieren.

  4. Stellen Sie in der Bindplane-Konsole eine Verbindung zwischen einer Google SecOps-Zielinstanz und Ihrem Bindplane-Projekt her. Weitere Informationen finden Sie unter Verbindung zu einer Google SecOps-Instanz herstellen.

Verzögerungen bei der Bestätigung von SecOps-Daten mit geringem Volumen verwalten

Bei Nutzern der Ingestion API, die ihren eigenen Agent konfigurieren, kann es bei SecOps-Pipelines mit geringem Volumen in der Datenverarbeitungspipeline zu einer längeren Bestätigungszeit kommen.

Die durchschnittliche Latenz kann von 700 ms auf bis zu 2 Sekunden steigen. Erhöhen Sie die Zeitüberschreitungen und den Arbeitsspeicher nach Bedarf. Die Bestätigungszeit sinkt, wenn der Datendurchsatz 4 MB überschreitet.

Verbindung zu einer Google SecOps-Instanz herstellen

Bevor Sie beginnen, müssen Sie sicherstellen, dass Sie Projektadministratorberechtigungen für Bindplane haben, um auf die Seite Projektintegrationen zuzugreifen.

Die Google SecOps-Instanz dient als Ziel für Ihre Datenausgabe.

So stellen Sie über die Bindplane-Konsole eine Verbindung zu einer Google SecOps-Instanz her:

  1. Rufen Sie in der Bindplane-Konsole die Seite Projekt verwalten auf.
  2. Rufen Sie die Karte Integrationen auf und klicken Sie auf Mit Google SecOps verbinden, um das Fenster Integration bearbeiten zu öffnen.

  3. Geben Sie die Details für die Google SecOps-Zielinstanz ein.
    In dieser Instanz werden die verarbeiteten Daten (Ausgabe Ihrer Datenverarbeitung) so aufgenommen:

    Feld Beschreibung
    Region Region Ihrer Google SecOps-Instanz.
     Wenn Sie die Instanz in der Google Cloud -Konsole aufrufen möchten, gehen Sie zu Sicherheit > Erkennungen und Steuerelemente > Google Security Operations > Instanzdetails.
    Kundennummer Kundennummer Ihrer Google SecOps-Instanz.

    Rufen Sie in der Google SecOps-Konsole die SIEM-Einstellungen > Profile > Organisationsdetails auf.
    Google Cloud Projektnummer Google Cloud Projektnummer Ihrer Google SecOps-Instanz.

    Die Projektnummer finden Sie in der Google SecOps Console unter SIEM-Einstellungen > Profile > Organisationsdetails.
    Anmeldedaten Anmeldedaten für Dienstkonten sind der JSON-Wert, der für die Authentifizierung und den Zugriff auf die Google SecOps Data Pipeline APIs erforderlich ist. Rufen Sie diesen JSON-Wert aus der Datei mit den Anmeldedaten für das Google-Dienstkonto ab.

     Das Dienstkonto muss sich im selben Google Cloud Projekt wie Ihre Google SecOps-Instanz befinden und erfordert die Berechtigungen der Rolle „Chronicle API Admin“ (roles/chronicle.admin).

    Informationen zum Erstellen eines Dienstkontos und zum Herunterladen der JSON-Datei finden Sie unter Dienstkontoschlüssel erstellen und löschen.

  4. Klicken Sie auf Verbinden. Wenn Ihre Verbindungsdetails korrekt sind und Sie erfolgreich eine Verbindung zu Google SecOps herstellen, können Sie Folgendes erwarten:

    • Eine Verbindung zur Google SecOps-Instanz wird geöffnet.
    • Wenn Sie die Verbindung zum ersten Mal herstellen, wird SecOps Pipelines in der Bindplane-Konsole angezeigt.
    • In der Bindplane-Konsole werden alle verarbeiteten Daten angezeigt, die Sie zuvor für diese Instanz über die API eingerichtet haben. Das System konvertiert einige Prozessoren, die Sie mit der API konfiguriert haben, in Bindplane-Prozessoren und zeigt andere im Rohformat der OpenTelemetry Transformation Language (OTTL) an. Sie können die Bindplane-Konsole verwenden, um Pipelines und Prozessoren zu bearbeiten, die zuvor mit der API eingerichtet wurden.

  5. Nachdem Sie eine Verbindung zu einer Google SecOps-Instanz hergestellt haben, können Sie eine SecOps-Pipeline erstellen und die Datenverarbeitung über die Bindplane-Konsole einrichten.

Datenverarbeitung mit der Bindplane-Konsole einrichten

In der Bindplane-Konsole können Sie Ihre von Google SecOps verarbeiteten Daten verwalten, einschließlich Pipelines, die über die API eingerichtet wurden.

Hinweise

Bevor Sie beginnen, sollten Sie sich diese wichtigen Empfehlungen durchlesen:

  • Pushbasierte Streams, die die Backstory API aufrufen, sind eingestellt und unterstützen keine Datenverarbeitung mehr. Migrieren Sie Ihre Integrationen zur Verwendung der Chronicle Ingestion API.
  • Informationen zum erstmaligen Installieren der BindPlane-Konsole oder zum Verbinden einer Google SecOps-Zielinstanz mit Ihrem BindPlane-Projekt finden Sie unter Voraussetzungen.
  • Alternativ zur Verwendung der Bindplane-Konsole können Sie Google SecOps APIs direkt aufrufen, um die Datenverarbeitung einzurichten und zu verwalten. Weitere Informationen finden Sie unter Google SecOps Data Pipeline APIs verwenden.
  • Daten, die von Forwardern und Bindplane aufgenommen werden, werden mit einem separaten collectorID aus direkten Aufnahmestreams getaggt. Damit alle Logs sichtbar sind, müssen Sie entweder alle Erfassungsmethoden auswählen, wenn Sie Datenquellen abfragen, oder explizit auf die entsprechende collectorID verweisen, wenn Sie mit der API interagieren.

So stellen Sie eine neue Logverarbeitungs-Pipeline in Google SecOps bereit und stellen sie bereit, in der Regel über die Bindplane-Konsole:

  1. Neue SecOps-Pipeline erstellen
  2. Datenverarbeitung konfigurieren
    1. Streams konfigurieren
    2. Prozessoren konfigurieren
  3. Datenverarbeitungs-Pipeline bereitstellen:

Neue Google SecOps-Pipeline erstellen

Eine Google SecOps-Pipeline ist ein Container, in dem Sie einen Datenverarbeitungscontainer konfigurieren können. So erstellen Sie einen neuen Google SecOps-Pipeline-Container:

  1. Klicken Sie in der Bindplane-Konsole auf den Tab SecOps Pipelines, um die Seite SecOps Pipelines zu öffnen.
  2. Klicken Sie auf SecOps-Pipeline erstellen.
  3. Legen Sie im Fenster Create new SecOps Pipeline (Neue SecOps-Pipeline erstellen) den SecOps Pipeline type (SecOps-Pipeline-Typ) auf Google SecOps (Standard) fest.

  4. Geben Sie einen SecOps-Pipelinename und eine Beschreibung ein.

  5. Klicken Sie auf Erstellen. Der neue Pipeline-Container wird auf der Seite SecOps Pipelines angezeigt.

  6. Datenverarbeitungscontainer konfigurieren: Streams und Prozessoren in diesem Container konfigurieren.

Datenverarbeitungscontainer konfigurieren

In einem Datenverarbeitungscontainer werden Datenstreams für die Aufnahme und Prozessoren (z. B. Filter, Transformation oder Schwärzung) angegeben, mit denen die Daten manipuliert werden, während sie zur Google SecOps-Zielinstanz fließen.

Eine Pipeline-Konfigurationskarte ist eine Visualisierung der Datenverarbeitungspipeline, in der Sie die Datenstreams und den Prozessorknoten konfigurieren können:

  • In einem Stream werden Daten gemäß den konfigurierten Spezifikationen erfasst und in den Container eingespeist. Ein Datenverarbeitungscontainer kann einen oder mehrere Streams haben, die jeweils für einen anderen Stream konfiguriert sind.
  • Der Prozessorknoten besteht aus Prozessoren, die die Daten bearbeiten, während sie zur Google SecOps-Zielinstanz fließen.

So konfigurieren Sie einen Datenverarbeitungscontainer:

  1. Neue SecOps-Pipeline erstellen
  2. Klicken Sie in der Bindplane-Konsole auf den Tab SecOps Pipelines, um die Seite SecOps Pipelines zu öffnen.
  3. Wählen Sie die SecOps-Pipeline aus, in der Sie den neuen Datenverarbeitungscontainer konfigurieren möchten.

  4. Auf der Konfigurationskarte Pipeline:

    1. Stream hinzufügen
    2. Konfigurieren Sie den Prozessorknoten. Informationen zum Hinzufügen eines Prozessors über die Bindplane-Konsole finden Sie unter Prozessoren konfigurieren.

  5. Wenn Sie diese Konfigurationen abgeschlossen haben, lesen Sie den Abschnitt Datenverarbeitung einführen, um mit der Verarbeitung der Daten zu beginnen.

Stream hinzufügen

So fügen Sie einen Stream hinzu:

  1. Klicken Sie auf der Konfigurationskarte Pipeline auf Stream hinzufügen, um das Fenster Stream erstellen zu öffnen.

  2. Geben Sie im Fenster SecOps-Stream erstellen Details für die folgenden Felder ein:

    Feld Beschreibung
    Logtyp Wählen Sie den Protokolltyp der aufzunehmenden Daten aus. Beispiel: CrowdStrike Falcon (CS_EDR).
    Hinweis: Das Symbol Warnung Warnung weist darauf hin, dass der Protokolltyp bereits in einem anderen Stream konfiguriert ist (entweder in dieser Pipeline oder in einer anderen Pipeline in Ihrer Google SecOps-Instanz).

    Wenn Sie einen nicht verfügbaren Logtyp verwenden möchten, müssen Sie ihn zuerst aus der anderen Streamkonfiguration löschen.

    Eine Anleitung dazu, wie Sie die Streamkonfiguration finden, in der der Logtyp konfiguriert ist, finden Sie unter SecOps Pipeline-Konfigurationen filtern.
    Aufnahmemethode Wählen Sie die Aufnahmemethode aus, die zum Aufnehmen der Daten für den ausgewählten Logtyp verwendet werden soll. Diese Erfassungsmethoden wurden zuvor für Ihre Google SecOps-Instanz definiert.

    Sie müssen eine der folgenden Optionen auswählen:

    • Alle Erfassungsmethoden: Enthält alle Erfassungsmethoden für den ausgewählten Logtyp. Wenn Sie diese Option auswählen, können Sie keine weiteren Streams hinzufügen, die bestimmte Aufnahmemethoden für denselben Logtyp verwenden. Ausnahme: Sie können für diesen Logtyp in anderen Streams andere nicht konfigurierte spezifische Erfassungsmethoden auswählen.
    • Spezifische Erfassungsmethode, z. B. Cloud Native Ingestion, Feed, Ingestion API oder Workspace.
    Feed Wenn Sie Feed als Erfassungsmethode auswählen, wird ein weiteres Feld mit einer Liste der verfügbaren Feednamen (in Ihrer Google SecOps-Instanz vorkonfiguriert) für den ausgewählten Logtyp angezeigt. Sie müssen den entsprechenden Feed auswählen, um die Konfiguration abzuschließen. Wenn Sie Ihre verfügbaren Feeds ansehen und verwalten möchten, rufen Sie die SIEM-Einstellungen > Feedtabelle auf.

  3. Klicken Sie auf Stream hinzufügen, um den neuen Stream zu speichern.Der neue Datenstream wird sofort auf der Konfigurationskarte Pipeline angezeigt. Der Stream wird automatisch mit dem Prozessorknoten und dem Ziel von Google SecOps verbunden.

SecOps-Pipelinekonfigurationen filtern

Über die Suchleiste auf der Seite SecOps Pipelines können Sie Ihre SecOps-Pipelines (Datenverarbeitungscontainer) anhand verschiedener Konfigurationselemente filtern und suchen. Sie können Pipelines filtern, indem Sie nach bestimmten Kriterien wie Protokolltyp, Erfassungsmethode oder Feedname suchen.

Verwenden Sie die folgende Syntax, um zu filtern:

  • logtype:value
  • ingestionmethod:value
  • feed:value

Wenn Sie beispielsweise Streamkonfigurationen ermitteln möchten, die einen bestimmten Logtyp enthalten, geben Sie in der Suchleiste logtype: ein und wählen Sie den Logtyp aus der angezeigten Liste aus.

Prozessoren konfigurieren

Ein Datenverarbeitungscontainer hat einen Prozessorknoten, der einen oder mehrere Prozessoren enthält. Jeder Prozessor verarbeitet die Streamdaten sequenziell:

  1. Der erste Prozessor verarbeitet die Rohdaten des Streams.
  2. Die Ausgabe des ersten Prozessors wird sofort zur Eingabe für den nächsten Prozessor in der Sequenz.
  3. Diese Sequenz wird für alle nachfolgenden Prozessoren in der genauen Reihenfolge fortgesetzt, in der sie im Bereich Prozessoren angezeigt werden. Die Ausgabe des einen wird zur Eingabe des nächsten.

In der folgenden Tabelle sind die Prozessoren aufgeführt:

Prozessortyp Leistungsvermögen
Filter Nach Bedingung filtern
Filter Nach HTTP-Status filtern
Filter Nach Messwertname filtern
Filter Nach regulärem Ausdruck filtern
Filter Nach Schweregrad filtern
Entfernen Entfernen Sie sensible Daten
Transformieren Felder hinzufügen
Transformieren Coalesce
Transformieren Concat
Transformieren Feld kopieren
Transformieren Felder löschen
Transformieren Marshal
Transformieren Feld verschieben
Transformieren CSV parsen
Transformieren JSON parsen
Transformieren Schlüsselwert parsen
Transformieren Schweregradfelder parsen
Transformieren Zeitstempel parsen
Transformieren Mit regulärem Ausdruck analysieren
Transformieren XML parsen
Transformieren Felder umbenennen
Transformieren Zeitstempel der Umschreibung
Transformieren Aufteilen
Transformieren Transformieren
  1. Konfigurieren Sie den Prozessorknoten, indem Sie einen oder mehrere Prozessoren hinzufügen, entfernen oder die Reihenfolge ändern.

Prozessor hinzufügen

So fügen Sie einen Prozessor hinzu:

  1. Klicken Sie auf der Konfigurationskarte Pipeline auf den Knoten Prozessor, um das Fenster Prozessoren bearbeiten zu öffnen. Das Fenster Prozessoren bearbeiten ist in die folgenden Bereiche unterteilt, die nach Datenfluss angeordnet sind:

    • Eingabe (oder Quelldaten): Aktuelle eingehende Stream-Logdaten (vor der Verarbeitung)
    • Konfiguration (oder Prozessorliste): Prozessoren und ihre Konfigurationen
    • Ausgabe (oder Ergebnisse): Aktuelle ausgehende Ergebnisprotokolldaten (nach der Verarbeitung)

    Wenn die Pipeline bereits eingeführt wurde, werden im System in den Bereichen die letzten eingehenden Logdaten (vor der Verarbeitung) und die letzten ausgehenden Logdaten (nach der Verarbeitung) angezeigt.

  2. Klicken Sie auf Prozessor hinzufügen, um die Prozessorliste aufzurufen. Die Liste der Auftragsverarbeiter ist nach Auftragsverarbeitertyp gruppiert. Wenn Sie die Liste organisieren und eigene Sets hinzufügen möchten, wählen Sie einen oder mehrere Prozessoren aus und klicken Sie auf Neue Prozessorsets hinzufügen.

  3. Wählen Sie in der Liste der Prozessoren einen Prozessor aus, den Sie hinzufügen möchten.

  4. Konfigurieren Sie den Prozessor nach Bedarf.

  5. Klicken Sie auf Speichern, um die Prozessorkonfiguration im Knoten Prozessor zu speichern.

Das System testet die neue Konfiguration sofort, indem es eine neue Stichprobe der eingehenden Streamdaten (aus dem Bereich Eingabe) verarbeitet und die resultierenden ausgehenden Daten im Bereich Ausgabe anzeigt.

Datenverarbeitungspipeline einführen

Nachdem Sie die Stream- und Prozessorkonfigurationen abgeschlossen haben, müssen Sie die Pipeline bereitstellen, um mit der Verarbeitung von Daten zu beginnen. Gehen Sie dazu so vor:

  1. Klicken Sie auf Roll-out starten. Dadurch wird die Datenverarbeitung sofort aktiviert und die sichere Infrastruktur von Google kann mit der Verarbeitung von Daten gemäß Ihrer Konfiguration beginnen.

  2. Wenn die Einführung erfolgreich ist, wird die Versionsnummer des Datenverarbeitungscontainers erhöht und neben dem Namen des Containers angezeigt.

Details zur Datenverarbeitung in der Google SecOps Console ansehen

In den folgenden Abschnitten wird beschrieben, wie Sie Details zur Datenverarbeitung in der Google SecOps Console aufrufen:

Alle Konfigurationen für die Datenverarbeitung ansehen

  1. Rufen Sie in der Google SecOps-Konsole SIEM-Einstellungen > Datenverarbeitung auf, um alle konfigurierten Pipelines aufzurufen.
  2. Suchen Sie in der Suchleiste Incoming Data Pipelines (Eingehende Datenpipelines) nach einer von Ihnen erstellten Pipeline. Sie können nach Elementen wie Pipelinename oder Komponenten suchen. In den Suchergebnissen werden die Prozessoren der Pipeline und eine Zusammenfassung ihrer Konfiguration angezeigt.
  3. In der Pipelineübersicht haben Sie folgende Möglichkeiten:
    • Prüfen Sie die Prozessorkonfigurationen.
    • Konfigurationsdetails kopieren.
    • Klicken Sie auf In Bindplane öffnen, um direkt in der Bindplane-Konsole auf die Pipeline zuzugreifen und sie zu verwalten.

Konfigurierte Feeds ansehen

So rufen Sie konfigurierte Feeds in Ihrem System auf:

  1. Rufen Sie in der Google SecOps Console die SIEM-Einstellungen > Feeds auf. Auf der Seite Feeds werden alle Feeds angezeigt, die Sie in Ihrem System konfiguriert haben.
  2. Bewegen Sie den Mauszeiger auf die jeweilige Zeile, um das Menü ⋮ Mehr aufzurufen. Dort können Sie Feeddetails ansehen, den Feed bearbeiten, deaktivieren oder löschen.
  3. Klicken Sie auf Details ansehen, um das Detailfenster aufzurufen.
  4. Klicken Sie auf In Bindplane öffnen, um die Streamkonfiguration für diesen Feed in der Bindplane-Konsole zu öffnen.

Details zur Datenverarbeitung ansehen (verfügbare Logtypen)

So rufen Sie die Details zur Datenverarbeitung auf der Seite Verfügbare Logtypen auf, auf der alle verfügbaren Logtypen angezeigt werden:

  1. Rufen Sie in der Google SecOps Console SIEM Settings > Available Log Types auf. Auf der Hauptseite werden alle Ihre Logtypen angezeigt.
  2. Bewegen Sie den Mauszeiger auf die einzelnen Feedzeilen, um das more_vert Mehr aufzurufen. In diesem Menü können Sie Feeddetails ansehen, bearbeiten, deaktivieren oder löschen.
  3. Klicken Sie auf Datenverarbeitung ansehen, um die Konfiguration des Feeds aufzurufen.
  4. Klicken Sie auf In Bindplane öffnen, um die Prozessorkonfiguration für diesen Prozessor in der Bindplane-Konsole zu öffnen.

Google SecOps-Methoden für Datenpipelines verwenden

Die Google SecOps-Datenpipelinemethoden bieten umfassende Tools zum Verwalten Ihrer verarbeiteten Daten. Zu diesen Methoden für Datenpipelines gehören das Erstellen, Aktualisieren, Löschen und Auflisten von Pipelines sowie das Verknüpfen von Feeds und Log-Typen mit Pipelines.

Anwendungsfälle

Dieser Abschnitt enthält Beispiele für typische Anwendungsfälle, die sich auf Methoden für Datenpipelines beziehen.

So verwenden Sie die Beispiele in diesem Abschnitt:

  • Ersetzen Sie die kundenspezifischen Parameter (z. B. URLs und Feed-IDs) durch Parameter, die für Ihre eigene Umgebung geeignet sind.
  • Fügen Sie Ihre eigene Authentifizierung ein. In diesem Abschnitt werden die Bearer-Tokens mit ****** unkenntlich gemacht.

Alle Pipelines in einer bestimmten Google SecOps-Instanz auflisten

Mit dem folgenden Befehl werden alle Pipelines aufgelistet, die in einer bestimmten Google SecOps-Instanz vorhanden sind:

curl --location 'https://abc.def.googleapis.com/v123/projects/projectabc-byop/locations/us/instances/aaaa1aa1-111a-11a1-1111-11111a1aa1aa/logProcessingPipelines' \
--header 'Authorization: Bearer ******'

Einfache Pipeline mit einem Prozessor erstellen

So erstellen Sie eine einfache Pipeline mit dem Transform-Prozessor und verknüpfen drei Quellen damit:

  1. Führen Sie dazu diesen Befehl aus:

    curl --location 'https://abc.def.googleapis.com/v123/projects/projectabc-byop/locations/us/instances/aaaa1aa1-111a-11a1-1111-11111a1aa1aa/logProcessingPipelines' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer ******' \
--data '{
    "displayName": "Example Pipeline",
    "description": "My description",
    "processors": [
        {
            "transformProcessor": {
                "statements": [
                    "set(attributes[\"myKey1\"], \"myVal1\")",
                    "set(attributes[\"myKey2\"], \"myVal2\")"
                ]
            }
        }
    ]
}'

  2. Kopieren Sie aus der Antwort den Wert des Felds displayName.

  3. Führen Sie den folgenden Befehl aus, um drei Streams (Logtyp, Logtyp mit Collector-ID und Feed) mit der Pipeline zu verknüpfen. Verwenden Sie den Wert des Felds displayName als {pipelineName}-Wert.

    curl --location 'https://abc.def.googleapis.com/v123/{pipelineName}:associateStreams' \
    --header 'Content-Type: application/json' \
--header 'Authorization: Bearer ******' \
--data '{
    "streams": [
        {
            "logType": "MICROSOFT_SENTINEL"
        },
        {
            "logType": "A10_LOAD_BALANCER",
            "collectorId": "dddddddd-dddd-dddd-dddd-dddddddddddd"
        },
        {
            "feed": "1a1a1a1a-1a1a-1a1a-1a1a-1a1a1a1a1a1a"
        }
    ]
}'

Pipeline mit drei Prozessoren erstellen

Die Pipeline verwendet die folgenden Prozessoren:

  • Transform: Transformiert und parst den Log-Body als JSON.
  • Filter: Hiermit werden Logs herausgefiltert, die einer Bedingung auf Grundlage des geparsten Texts entsprechen.
  • Entfernen: Entfernt Daten, die mit den voreingestellten sensiblen Werten von Bindplane übereinstimmen.

So erstellen Sie eine Pipeline und verknüpfen drei Quellen damit:

  1. Führen Sie dazu diesen Befehl aus:

    curl --location 'https://abc.def.googleapis.com/v123/projects/projectabc-byop/locations/us/instances/aaaa1aa1-111a-11a1-1111-11111a1aa1aa/logProcessingPipelines' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer ******' \
--data-raw '{
    "displayName": "My Pipeline 2",
    "description": "My description 2",
    "processors": [
        {
            "transformProcessor": {
                "statements": [
                    "merge_maps(\n  body,\n  ParseJSON(\n    body\n  ),\n  \"upsert\"\n) where IsMap(body) and true\n",
                    "set(\n  body,\n  ParseJSON(\n    body\n  )\n) where not IsMap(body) and true\n"
                ],
                "errorMode": "IGNORE"
            }
        },
        {
            "filterProcessor": {
                "logConditions": [
                    "true and severity_number != 0 and severity_number < 9"
                ]
            }
        },
        {
            "redactProcessor": {
                "blockedValues": [
                    "\\b[A-Z]{2}\\d{2}(?: ?[A-Z0-9]){11,31}(?:\\s[A-Z0-9])*\\b",
                    "\\b([0-9A-Fa-f]{2}[:-]){5}[0-9A-Fa-f]{2}\\b",
                    "\\b(?:(?:(?:\\d{4}[- ]?){3}\\d{4}|\\d{15,16}))\\b",
                    "\\b(?:(?:19|20)?\\d{2}[-/])?(?:0?[1-9]|1[0-2])[-/](?:0?[1-9]|[12]\\d|3[01])(?:[-/](?:19|20)?\\d{2})?\\b",
                    "\\b[a-zA-Z0-9._/\\+\\-—|]+@[A-Za-z0-9\\-—|]+\\.[a-zA-Z|]{2,6}\\b",
                    "\\b(?:(?:25[0-5]|2[0-4][0-9]|1[0-9][0-9]|[1-9]?[0-9])\\.){3}(?:25[0-5]|2[0-4][0-9]|1[0-9][0-9]|[1-9]?[0-9])\\b",
                    "\\b(?:[0-9a-fA-F]{1,4}:){7}[0-9a-fA-F]{1,4}\\b",
                    "\\b((\\+|\\b)[1l][\\-\\. ])?\\(?\\b[\\dOlZSB]{3,5}([\\-\\. ]|\\) ?)[\\dOlZSB]{3}[\\-\\. ][\\dOlZSB]{4}\\b",
                    "\\+[1-9]\\d{0,2}(?:[-.\\s]?\\(?\\d+\\)?(?:[-.\\s]?\\d+)*)\\b",
                    "\\b\\d{3}[- ]\\d{2}[- ]\\d{4}\\b",
                    "\\b[A-Z][A-Za-z\\s\\.]+,\\s{0,1}[A-Z]{2}\\b",
                    "\\b\\d+\\s[A-z]+\\s[A-z]+(\\s[A-z]+)?\\s*\\d*\\b",
                    "\\b\\d{5}(?:[-\\s]\\d{4})?\\b",
                    "\\b[0-9a-fA-F]{8}-[0-9a-fA-F]{4}-[1-5][0-9a-fA-F]{3}-[89abAB][0-9a-fA-F]{3}-[0-9a-fA-F]{12}\\b"
                ],
                "allowAllKeys": true,
                "allowedKeys": [
                    "__bindplane_id__"
                ],
                "ignoredKeys": [
                    "__bindplane_id__"
                ],
                "redactAllTypes": true
            }
        }
    ]
}'

  2. Kopieren Sie aus der Antwort den Wert des Felds displayName.

  3. Führen Sie den folgenden Befehl aus, um drei Streams (Logtyp, Logtyp mit Collector-ID und Feed) mit der Pipeline zu verknüpfen. Verwenden Sie den Wert des Felds displayName als {pipelineName}-Wert. 

    curl --location 'https://abc.def.googleapis.com/v123/{pipelineName}:associateStreams' \
    --header 'Content-Type: application/json' \
--header 'Authorization: Bearer ******' \
--data '{
    "streams": [
        {
            "logType": "MICROSOFT_SENTINEL"
        },
        {
            "logType": "A10_LOAD_BALANCER",
            "collectorId": "dddddddd-dddd-dddd-dddd-dddddddddddd"
        },
        {
            "feed": "1a1a1a1a-1a1a-1a1a-1a1a-1a1a1a1a1a1a"
        }
    ]
}'

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten