Kong Gateway-Logs erfassen

Unterstützt in:

In diesem Dokument wird beschrieben, wie Sie Kong Gateway- und Kong Konnect-Logs mit verschiedenen Aufnahmemethoden in Google Security Operations erfassen, darunter Webhooks, Syslog über den Bindplane-Agent und Cloud Storage.

Kong Gateway ist ein cloudnatives Open-Source-API-Gateway, das auf NGINX basiert. Es bietet Funktionen für Trafficverwaltung, Authentifizierung, Ratenbegrenzung, Analysen und Logging für APIs und Mikrodienste. Kong Konnect ist die SaaS-Verwaltungsplattform für Kong Gateway, die eine zentrale Verwaltung der Steuerungsebene, Audit-Logging und Beobachtbarkeit bietet.

Hinweis

Prüfen Sie, ob folgende Voraussetzungen erfüllt sind:

  • Eine Google SecOps-Instanz
  • Eine laufende Kong Gateway-Instanz (selbstverwaltet) oder ein Kong Konnect-Konto (SaaS)
  • Administratorzugriff auf die Kong Gateway Admin API über Port 8001 (HTTP) oder 8444 (HTTPS)
  • Für Kong Konnect: Ein persönliches Zugriffstoken (PAT) oder ein Systemkontotoken mit den entsprechenden Berechtigungen
  • Zugriff auf die Google Cloud Console (zum Erstellen von API-Schlüsseln, wenn die Webhook-Aufnahme verwendet wird)

Kong Gateway so konfigurieren, dass Logs per Webhook (HTTP Log-Plug-in) übertragen werden

Bei dieser Methode wird das Kong Gateway HTTP Log-Plug-in verwendet, um Anfrage- und Antwortlogs über HTTP POST direkt an einen Google SecOps-Webhook-Endpunkt zu senden. Für jede weitergeleitete Anfrage wird ein JSON-Logeintrag generiert, der an den konfigurierten Endpunkt gesendet wird.

Webhook-Feed in Google SecOps erstellen

Feed erstellen

  1. Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
  2. Klicken Sie auf Neuen Feed hinzufügen.
  3. Klicken Sie auf der nächsten Seite auf Einzelnen Feed konfigurieren.
  4. Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. Kong Gateway Logs.
  5. Wählen Sie Webhook als Quelltyp aus.
  6. Wählen Sie Kong Gateway als Logtyp aus.
  7. Klicken Sie auf Weiter.
  8. Geben Sie Werte für die folgenden Eingabeparameter an:
    • Trennzeichen für Aufteilung (optional): Geben Sie \n ein, um durch Zeilenumbruch getrennte JSON-Ereignisse aufzuteilen.
    • Asset-Namespace: Der Asset-Namespace
    • Labels für Datenaufnahme: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.
  9. Klicken Sie auf Weiter.
  10. Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.

Secret-Schlüssel generieren und speichern

Nachdem Sie den Feed erstellt haben, müssen Sie einen Secret-Schlüssel für die Authentifizierung generieren:

  1. Klicken Sie auf der Feed-Detailseite auf Geheimen Schlüssel generieren.
  2. In einem Dialogfeld wird der geheime Schlüssel angezeigt.
  3. Kopieren und speichern Sie den geheimen Schlüssel an einem sicheren Ort.

Wichtig: Der geheime Schlüssel wird nur einmal angezeigt und kann später nicht mehr abgerufen werden. Wenn Sie ihn verlieren, müssen Sie einen neuen geheimen Schlüssel generieren.

Feed-Endpunkt-URL abrufen

  1. Gehen Sie zum Tab Details des Feeds.
  2. Kopieren Sie im Abschnitt Endpunktinformationen die Feed-Endpunkt-URL.
  3. Das URL-Format lautet:

    https://{region}-chronicle.googleapis.com/v1/{parent}/logs:import
    

    Dabei ist {region} die Region Ihrer Google SecOps-Instanz (z. B. us, europe oder asia-southeast1) und {parent} der Ressourcenpfad im Format projects/<PROJECT_ID>/locations/<LOCATION>/instances/<INSTANCE_ID>/logTypes/<LOG_TYPE>.

  4. Speichern Sie diese URL für die nächsten Schritte.

  5. Klicken Sie auf Fertig.

Google Cloud API-Schlüssel erstellen

Chronicle erfordert einen API-Schlüssel für die Authentifizierung. Erstellen Sie in der Google Cloud Console einen eingeschränkten API-Schlüssel.

API-Schlüssel erstellen

  1. Rufen Sie die Seite „Anmeldedaten“ derGoogle Cloud Console auf.
  2. Wählen Sie Ihr Projekt aus (das Projekt, das mit Ihrer Chronicle-Instanz verknüpft ist).
  3. Klicken Sie auf Anmeldedaten erstellen > API-Schlüssel.
  4. Ein API-Schlüssel wird erstellt und in einem Dialogfeld angezeigt.
  5. Klicken Sie auf API-Schlüssel bearbeiten, um den Schlüssel einzuschränken.

API-Schlüssel einschränken

  1. Auf der Seite mit den Einstellungen für den API-Schlüssel:
    • Name: Geben Sie einen aussagekräftigen Namen ein (z. B. Chronicle Webhook API Key).
  2. Gehen Sie unter API-Einschränkungen so vor:
    1. Wählen Sie Schlüssel einschränken aus.
    2. Suchen Sie im Drop-down-Menü APIs auswählen nach der Google SecOps API (oder Chronicle API) und wählen Sie sie aus.
  3. Klicken Sie auf Speichern.
  4. Kopieren Sie den Wert des API-Schlüssels aus dem Feld API-Schlüssel oben auf der Seite.
  5. Speichern Sie den API-Schlüssel an einem sicheren Ort.

Webhook-URL erstellen

  • Kombinieren Sie die Chronicle-Endpunkt-URL und den API-Schlüssel:

    <ENDPOINT_URL>?key=<API_KEY>&secret=<SECRET_KEY>
    
  • Beispiel:

    https://{region}-chronicle.googleapis.com/v1/{parent}/logs:import?key=AIzaSyD...&secret=abcd1234...
    

Speichern Sie diese vollständige URL für die Konfiguration des Kong Gateway-HTTP-Log-Plug-ins.

Kong Gateway-HTTP-Log-Plug-in konfigurieren

Das HTTP-Log-Plug-in sendet Anfrage- und Antwortlogs über POST-Anfragen im JSON-Format an einen HTTP-Endpunkt. Sie können das Plug-in global (für alle Dienste und Routen), pro Dienst oder pro Route über die Kong Admin API aktivieren.

HTTP-Log-Plug-in global aktivieren

  • Wenn Sie Logs für alle über den Proxy geleiteten Anfragen an Google SecOps senden möchten, aktivieren Sie das Plug-in global, indem Sie die folgende Anfrage an die Kong Admin API senden:

    curl -i -X POST http://localhost:8001/plugins/ \
        --header "Accept: application/json" \
        --header "Content-Type: application/json" \
        --data '{
            "name": "http-log",
            "config": {
                "http_endpoint": "<ENDPOINT_URL>?key=<API_KEY>&secret=<SECRET_KEY>",
                "method": "POST",
                "timeout": 3000,
                "keepalive": 60000,
                "retry_count": 1,
                "queue": {
                    "max_batch_size": 100,
                    "max_coalescing_delay": 10
                }
            }
        }'
    

Ersetzen Sie Folgendes:

  • <ENDPOINT_URL>: Die URL des Google SecOps-Feed-Endpunkts
  • <API_KEY>: Der API-Schlüssel von Google Cloud
  • <SECRET_KEY>: Der geheime Schlüssel des Google SecOps-Webhooks

HTTP-Log-Plug-in für einen bestimmten Dienst aktivieren

  • Wenn Sie Logs nur für einen bestimmten Dienst senden möchten, senden Sie die folgende Anfrage:

    curl -i -X POST http://localhost:8001/services/{serviceName|Id}/plugins/ \
        --header "Accept: application/json" \
        --header "Content-Type: application/json" \
        --data '{
            "name": "http-log",
            "config": {
                "http_endpoint": "<ENDPOINT_URL>?key=<API_KEY>&secret=<SECRET_KEY>",
                "method": "POST",
                "timeout": 3000,
                "keepalive": 60000,
                "retry_count": 1
            }
        }'
    

    Ersetzen Sie {serviceName|Id} durch den Namen oder die ID des Zieldienstes.

HTTP-Log-Plug-in für eine bestimmte Route aktivieren

  • Wenn Sie Logs nur für eine bestimmte Route senden möchten, senden Sie die folgende Anfrage:

    curl -i -X POST http://localhost:8001/routes/{routeName|Id}/plugins/ \
        --header "Accept: application/json" \
        --header "Content-Type: application/json" \
        --data '{
            "name": "http-log",
            "config": {
                "http_endpoint": "<ENDPOINT_URL>?key=<API_KEY>&secret=<SECRET_KEY>",
                "method": "POST",
                "timeout": 3000,
                "keepalive": 60000,
                "retry_count": 1
            }
        }'
    

    Ersetzen Sie {routeName|Id} durch den Namen oder die ID der Zielroute.

HTTP-Log-Plug-in über die Kong Konnect API aktivieren

  • Wenn Sie Kong Gateway über Kong Konnect verwalten, aktivieren Sie das HTTP-Log-Plug-in über die Konnect API:

    curl -X POST https://{region}.api.konghq.com/v2/control-planes/{controlPlaneId}/core-entities/plugins/ \
        --header "accept: application/json" \
        --header "Content-Type: application/json" \
        --header "Authorization: Bearer $KONNECT_TOKEN" \
        --data '{
            "name": "http-log",
            "config": {
                "http_endpoint": "<ENDPOINT_URL>?key=<API_KEY>&secret=<SECRET_KEY>",
                "method": "POST",
                "timeout": 3000,
                "keepalive": 60000,
                "retry_count": 1
            }
        }'
    

Ersetzen Sie Folgendes:

  • {region}: Die geografische Region, in der Ihr Kong Konnect gehostet wird (z. B. us, eu)
  • {controlPlaneId}: Die ID der Steuerungsebene
  • $KONNECT_TOKEN: Ihr persönliches Zugriffstoken (PAT)

HTTP-Log-Plug-in über deklarative Konfiguration (decK) aktivieren

  • Fügen Sie der kong.yaml-Konfigurationsdatei Folgendes hinzu:

    _format_version: "3.0"
    plugins:
      - name: http-log
        config:
          http_endpoint: "<ENDPOINT_URL>?key=<API_KEY>&secret=<SECRET_KEY>"
          method: POST
          timeout: 3000
          keepalive: 60000
          retry_count: 1
          queue:
            max_batch_size: 100
            max_coalescing_delay: 10
    

HTTP-Log-Plug-in prüfen

  1. Senden Sie eine Testanfrage über Kong Gateway:

    curl -i http://localhost:8000/your-route
    
  2. Prüfen Sie, ob das Plug-in aktiviert ist, indem Sie die Plug-ins auflisten:

    curl -s http://localhost:8001/plugins/ | grep http-log
    
  3. Rufen Sie in Google SecOps die Suche auf und suchen Sie nach Logs mit metadata.log_type = "KONG_GATEWAY", um die Logaufnahme zu bestätigen.

Webhook für Kong Konnect-Audit-Log konfigurieren

Bei dieser Methode wird Kong Konnect (SaaS) so konfiguriert, dass Audit-Logs (Authentifizierungs-, Autorisierungs- und Zugriffsereignisse) an einen Google SecOps-Webhook-Endpunkt gesendet werden.

Persönliches Zugriffstoken für Kong Konnect generieren

  1. Melden Sie sich bei Kong Konnect an.
  2. Klicken Sie rechts oben auf Ihr Nutzersymbol, um das Kontextmenü zu öffnen.
  3. Klicken Sie auf Personal access tokens (Persönliche Zugriffstokens).
  4. Klicken Sie auf Generate Token (Token generieren).
  5. Geben Sie einen Namen für das Token ein (z. B. Chronicle Audit Log Setup).
  6. Wählen Sie einen Ablaufzeitraum aus.
  7. Klicken Sie auf Generieren.
  8. Kopieren und speichern Sie das Token an einem sicheren Ort. Das Token wird nur einmal angezeigt.

Google SecOps-Webhook-Feed für Konnect-Audit-Logs erstellen

  1. Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
  2. Klicken Sie auf Neuen Feed hinzufügen.
  3. Klicken Sie auf der nächsten Seite auf Einzelnen Feed konfigurieren.
  4. Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. Kong Konnect Audit Logs.
  5. Wählen Sie Webhook als Quelltyp aus.
  6. Wählen Sie Kong Gateway als Logtyp aus.
  7. Klicken Sie auf Weiter.
  8. Geben Sie Werte für die folgenden Eingabeparameter an:
    • Trennzeichen für Aufteilung: Geben Sie \n ein, um durch Zeilenumbrüche getrennte Ereignisse aufzuteilen.
    • Asset-Namespace: Der Asset-Namespace
    • Labels für Datenaufnahme: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.
  9. Klicken Sie auf Weiter.
  10. Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.
  11. Klicken Sie auf Generate Secret Key (Geheimschlüssel generieren) und speichern Sie den Geheimschlüssel.
  12. Wechseln Sie zum Tab Details und kopieren Sie die Feed-Endpunkt-URL.
  13. Erstellen Sie einen Google Cloud API-Schlüssel. Folgen Sie dazu der Anleitung im vorherigen Abschnitt.
  14. Erstellen Sie die vollständige Webhook-URL:

    <ENDPOINT_URL>?key=<API_KEY>&secret=<SECRET_KEY>
    

Audit-Log-Ziel in Konnect erstellen

  • Senden Sie eine POST-Anfrage an die Konnect API, um ein Audit-Log-Ziel zu erstellen:

    curl -X POST "https://global.api.konghq.com/v3/audit-log-destinations" \
        --header "Authorization: Bearer $KONNECT_TOKEN" \
        --header "Content-Type: application/json" \
        --data '{
            "endpoint": "<ENDPOINT_URL>?key=<API_KEY>",
            "authorization": "<SECRET_KEY>",
            "log_format": "json",
            "name": "Chronicle SecOps"
        }'
    

Ersetzen Sie Folgendes:

  • $KONNECT_TOKEN: Ihr persönliches Zugriffstoken für Kong Konnect
  • <ENDPOINT_URL>: Die URL des Google SecOps-Feed-Endpunkts
  • <API_KEY>: Der API-Schlüssel von Google Cloud
  • <SECRET_KEY>: Der geheime Schlüssel des Google SecOps-Webhooks

Speichern Sie den id-Wert aus der Antwort für den nächsten Schritt.

Audit-Log-Webhook aktivieren

  • Senden Sie eine PATCH-Anfrage, um den Webhook zu aktivieren:

    curl -X PATCH "https://us.api.konghq.com/v3/audit-log-webhook" \
        --header "Authorization: Bearer $KONNECT_TOKEN" \
        --header "Content-Type: application/json" \
        --data '{
            "audit_log_destination_id": "<DESTINATION_ID>",
            "enabled": true
        }'
    

    Ersetzen Sie <DESTINATION_ID> durch die ID, die im vorherigen Schritt zurückgegeben wurde.

Zustellung von Konnect-Audit-Logs prüfen

  1. Lösen Sie ein Audit-Log-Ereignis aus, indem Sie eine Konnect API-Anfrage stellen:

    curl -X GET "https://us.api.konghq.com/v2/control-planes" \
        --header "Authorization: Bearer $KONNECT_TOKEN"
    
  2. Warten Sie ein bis zwei Minuten, bis das Protokoll übernommen wurde.

  3. Suchen Sie in Google SecOps nach Logs mit metadata.log_type = "KONG_GATEWAY".

Webhook-Verhalten für Konnect-Audit-Logs

  • Konnect wiederholt die Webhook-Zustellung bei den HTTP-Statuscodes 429 (Zu viele Anfragen) und 500 (Serverfehler).
  • Mindestwartezeit für Wiederholungsversuche: 1 Sekunde.
  • Maximale Wartezeit für Wiederholungsversuche: 30 Sekunden.
  • Maximale Anzahl an Wiederholungen: 4.
  • Konnect bewahrt Audit-Logs 7 Tage lang auf. Nach 7 Tagen werden die Logs endgültig gelöscht.
  • Unterstützte Logformate: cef (ArcSight CEF-Format), json und cps (CrowdStrike Parsing Standard).

Referenz zu Authentifizierungsmethoden

Chronicle-Webhook-Feeds unterstützen mehrere Authentifizierungsmethoden. Wählen Sie die Methode aus, die von Ihrem Anbieter unterstützt wird.

Methode 1: Suchparameter

  • Das Kong Gateway HTTP Log-Plug-in unterstützt die Übergabe von Anmeldedaten in der URL.

  • URL-Format:

    <ENDPOINT_URL>?key=<API_KEY>&secret=<SECRET_KEY>
    
  • Beispiel:

    https://{region}-chronicle.googleapis.com/v1/{parent}/logs:import?key=AIzaSyD...&secret=abcd1234...
    

Methode 2: Benutzerdefinierte Header mit Suchparameter

Das Kong Gateway HTTP Log-Plug-in unterstützt benutzerdefinierte HTTP-Header über den Parameter config.headers. Sie können den API-Schlüssel in der URL und den geheimen Schlüssel in einem benutzerdefinierten Header übergeben.

  • Beispiel für die Kong Admin API:

    curl -i -X POST http://localhost:8001/plugins/ \
        --header "Accept: application/json" \
        --header "Content-Type: application/json" \
        --data '{
            "name": "http-log",
            "config": {
                "http_endpoint": "<ENDPOINT_URL>?key=<API_KEY>",
                "method": "POST",
                "timeout": 3000,
                "headers": {
                    "x-chronicle-auth": "<SECRET_KEY>"
                }
            }
        }'
    

Namen der Authentifizierungsheader

Chronicle akzeptiert die folgenden Headernamen für die Authentifizierung:

Für API-Schlüssel:

  • x-goog-chronicle-auth (empfohlen)
  • X-Goog-Chronicle-Auth (Groß-/Kleinschreibung wird nicht berücksichtigt)

Für den geheimen Schlüssel:

  • x-chronicle-auth (empfohlen)
  • X-Chronicle-Auth (Groß-/Kleinschreibung wird nicht berücksichtigt)

Webhook-Limits und Best Practices

Anfragelimits

Limit Wert
Maximale Anfragegröße 4 MB
Maximale Abfragen pro Sekunde 15.000
Zeitlimit für Anfragen 30 Sekunden
Wiederholungsverhalten Automatisch mit exponentiellem Backoff

Konfiguration der Warteschlange des Kong-HTTP-Log-Plug-ins

Parameter Beschreibung Empfohlener Wert
config.queue.max_batch_size Maximale Anzahl von Logeinträgen pro Batch 100
config.queue.max_coalescing_delay Maximale Wartezeit (Sekunden) vor dem Senden eines Batches 10
config.queue.max_entries Maximale Anzahl von Einträgen in der Warteschlange 10000
config.queue.max_retry_time Maximale Zeit (Sekunden) für die Wiederholung fehlgeschlagener Zustellungen 60
config.queue.initial_retry_delay Anfängliche Wartezeit (Sekunden) vor dem Wiederholungsversuch 0.01

Syslog-Weiterleitung für Kong Gateway mit dem Bindplane-Agenten konfigurieren

Bei dieser Methode wird das Kong Gateway Syslog-Plug-in verwendet, um Logs in den lokalen Syslog-Daemon zu schreiben. Diese werden dann vom Bindplane-Agenten erfasst und an Google SecOps weitergeleitet. Dieser Ansatz eignet sich für selbstverwaltete Kong Gateway-Bereitstellungen.

Google SecOps-Anmeldedaten für den Bindplane-Agenten abrufen

Wählen Sie eine der folgenden Methoden aus, um den Bindplane-Agenten bei Google SecOps zu authentifizieren:

  • Neue Bereitstellungen: Verwenden Sie die Chronicle API (Option 1).
  • Legacy-Bereitstellungen: Verwenden Sie die Authentifizierungsdatei für die Datenaufnahme (Option 2) weiter, bis die Ingestion API am 20. Juli 2027 eingestellt wird.
  1. Melden Sie sich in der Google Cloud -Konsole an und wählen Sie das Google Cloud Projekt aus, das mit Ihrer Google SecOps-Instanz verknüpft ist.
  2. Rufen Sie IAM und Verwaltung > Dienstkonten auf.
  3. Klicken Sie auf Dienstkonto erstellen.
  4. Geben Sie die folgenden Konfigurationsdetails an:
    • Name des Dienstkontos: Geben Sie einen Namen für das Konto ein (z. B. bindplane-ingest).
    • Dienstkontobeschreibung: Geben Sie eine Beschreibung ein (z. B. Bindplane agent log ingestion).
  5. Klicken Sie auf Erstellen und fortfahren.
  6. Klicken Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen auf Rolle auswählen und wählen Sie Chronicle Editor aus.
  7. Klicken Sie auf Weiter und dann auf Fertig.
  8. Klicken Sie auf das von Ihnen erstellte Dienstkonto und rufen Sie den Tab Schlüssel auf.
  9. Klicken Sie auf Schlüssel hinzufügen > Neuen Schlüssel erstellen.
  10. Wählen Sie JSON aus und klicken Sie auf Erstellen. Die Schlüsseldatei wird auf Ihren Computer heruntergeladen.
  11. Speichern Sie die Schlüsseldatei als ingestion-auth.json im Bindplane-Collector-Verzeichnis (/opt/observiq-otel-collector/ingestion-auth.json unter Linux oder C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json unter Windows) oder aktualisieren Sie creds_file_path in config.yaml, sodass der Pfad mit dem Pfad übereinstimmt, unter dem Sie sie speichern.
  12. Rufen Sie IAM & Verwaltung > Einstellungen auf und kopieren Sie die Projektnummer. Sie benötigen ihn für die Exporter-Konfiguration.

Option 2: Authentifizierungsdatei für die Datenaufnahme herunterladen (Legacy)

  1. Melden Sie sich in der Google SecOps-Konsole an.
  2. Rufen Sie Einstellungen > Datenverwaltung > Erfassungs-Agents auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Erfassungs-Agents auf.
  3. Laden Sie die Authentifizierungsdatei für die Datenaufnahme herunter.
  4. Speichern Sie die Datei sicher auf dem System, auf dem der Bindplane-Agent installiert werden soll.

Google SecOps-Kundennummer abrufen

  1. Melden Sie sich in der Google SecOps-Konsole an.
  2. Gehen Sie zu Einstellungen > Verwaltung > Profil. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Profil auf.
  3. Kopieren und speichern Sie die Kundennummer aus dem Bereich Organization Details (Organisationsdetails).

Bindplane-Agent installieren

Installieren Sie den Bindplane-Agenten gemäß der folgenden Anleitung auf Ihrem Windows- oder Linux-Betriebssystem.

Windows-Installation

  1. Öffnen Sie die Eingabeaufforderung oder PowerShell als Administrator.
  2. Führen Sie dazu diesen Befehl aus:

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
    
  3. Warten Sie, bis die Installation abgeschlossen ist.

  4. Überprüfen Sie die Installation mit folgendem Befehl:

    sc query observiq-otel-collector
    

Der Dienst sollte als RUNNING angezeigt werden.

Linux-Installation

  1. Öffnen Sie ein Terminal mit Root- oder sudo-Berechtigungen.
  2. Führen Sie dazu diesen Befehl aus:

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
    
  3. Warten Sie, bis die Installation abgeschlossen ist.

  4. Überprüfen Sie die Installation mit folgendem Befehl:

    sudo systemctl status observiq-otel-collector
    

Der Dienst sollte als active (running) angezeigt werden.

Zusätzliche Installationsressourcen

Weitere Installationsoptionen und Informationen zur Fehlerbehebung finden Sie in der Installationsanleitung für den Bindplane-Agenten.

Bindplane-Agent für die Aufnahme von Syslog und das Senden an Google SecOps konfigurieren

Konfigurationsdatei suchen

  • Linux:

    sudo nano /opt/observiq-otel-collector/config.yaml
    
  • Windows:

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
    

Konfigurationsdatei bearbeiten

  • Ersetzen Sie den gesamten Inhalt von config.yaml durch die folgende Konfiguration:

    receivers:
      udplog:
        listen_address: "0.0.0.0:514"
    
    exporters:
      chronicle/kong_gateway:
        protocol: https
        # Region of your instance, for example us, europe, asia-southeast1
        location: <LOCATION>
        # Project number of the Google Cloud project linked to the instance
        project: '<PROJECT_NUMBER>'
        compression: gzip
        creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
        customer_id: '<CUSTOMER_ID>'
        endpoint: chronicle.googleapis.com
        log_type: KONG_GATEWAY
        raw_log_field: body
    
    service:
      pipelines:
        logs/kong_to_chronicle:
          receivers:
            - udplog
          exporters:
            - chronicle/kong_gateway
    

Konfigurationsparameter

Ersetzen Sie die folgenden Platzhalter:

  • Exporter-Konfiguration:

    • <CUSTOMER_ID>: Die im vorherigen Schritt kopierte Google SecOps-Kundennummer
    • creds_file_path: Vollständiger Pfad zur JSON-Schlüsseldatei des Dienstkontos (Option 1):
      • Linux: /opt/observiq-otel-collector/ingestion-auth.json
      • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
    • location: Ersetzen Sie <LOCATION> durch die Region Ihrer Google SecOps-Instanz (z. B. us, europe oder asia-southeast1). Der Exporter stellt chronicle.googleapis.com diesen Wert voran. Eine vollständige Liste finden Sie unter Regionale Endpunkte.
    • project: Ersetzen Sie <PROJECT_NUMBER> durch die Projektnummer aus IAM & Verwaltung > Einstellungen.
    • endpoint: Behalten Sie die Einstellung chronicle.googleapis.com bei.

Legacy-Ingestion-API-Exporter

  • Wenn Sie die Authentifizierungsdatei für die Datenaufnahme aus Option 2 verwenden, ersetzen Sie den Block exporters durch Folgendes. Legen Sie für creds_file_path den Pfad zur Authentifizierungsdatei für die Datenaufnahme fest. Wenn sich Ihre Instanz außerhalb der USA befindet, ersetzen Sie malachiteingestion-pa.googleapis.com durch Ihren regionalen Endpunkt (z. B. europe-malachiteingestion-pa.googleapis.com).

    exporters:
      chronicle/kong_gateway:
        compression: gzip
        creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
        customer_id: '<CUSTOMER_ID>'
        endpoint: malachiteingestion-pa.googleapis.com
        log_type: KONG_GATEWAY
        raw_log_field: body
    

Konfigurationsdatei speichern

  • Speichern Sie die Datei nach der Bearbeitung:
    • Linux: Drücken Sie Ctrl+O, dann Enter und dann Ctrl+X.
    • Windows: Klicken Sie auf Datei > Speichern.

Starten Sie den Bindplane-Agent neu, um die Änderungen zu übernehmen.

  • Führen Sie den folgenden Befehl aus, um den Bindplane-Agenten unter Linux neu zu starten:

    sudo systemctl restart observiq-otel-collector
    
    1. Prüfen Sie, ob der Dienst ausgeführt wird:

      sudo systemctl status observiq-otel-collector
      
    2. Prüfen Sie die Logs auf Fehler:

      sudo journalctl -u observiq-otel-collector -f
      
  • Wählen Sie eine der folgenden Optionen aus, um den Bindplane-Agenten unter Windows neu zu starten:

    • Eingabeaufforderung oder PowerShell als Administrator:

      net stop observiq-otel-collector && net start observiq-otel-collector
      
  • Dienstkonsole:

    1. Drücken Sie die Windows-Taste + R, geben Sie „services.msc“ ein und drücken Sie die Eingabetaste.
    2. Suchen Sie nach observIQ OpenTelemetry Collector.
    3. Klicken Sie mit der rechten Maustaste und wählen Sie Neu starten aus.
    4. Prüfen Sie, ob der Dienst ausgeführt wird:

      sc query observiq-otel-collector
      
    5. Prüfen Sie die Logs auf Fehler:

      type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
      

Syslog-Weiterleitung für Kong Gateway konfigurieren

Es gibt zwei Methoden, um Kong Gateway-Logs über Syslog weiterzuleiten: mit dem Syslog-Plug-in (für API-Traffic-Logs pro Anfrage) und mit kong.conf (für Zugriffs- und Fehlerlogs auf Systemebene).

Methode 1: Syslog-Plug-in über die Admin API aktivieren

  • Das Syslog-Plug-in protokolliert jede weitergeleitete Anfrage und Antwort im lokalen Syslog-Daemon im JSON-Format. Aktivieren Sie das Plug-in global, indem Sie die folgende Anfrage an die Kong Admin API senden:

    curl -i -X POST http://localhost:8001/plugins/ \
        --header "Accept: application/json" \
        --header "Content-Type: application/json" \
        --data '{
            "name": "syslog",
            "config": {
                "log_level": "info",
                "successful_severity": "info",
                "client_errors_severity": "info",
                "server_errors_severity": "info"
            }
        }'
    

Die Konfigurationsparameter für das Syslog-Plug-in:

  • log_level: Die Mindestlogebene, die an syslog gesendet werden soll. Zulässige Werte: debug, info, notice, warning, err, crit, alert, emerg. Standard: info.
  • successful_severity: Syslog-Schweregrad für erfolgreiche Anfragen (2xx-Statuscodes). Standardeinstellung: info
  • client_errors_severity: Syslog-Schweregrad für Clientfehleranfragen (4xx-Statuscodes). Standardeinstellung: info
  • server_errors_severity: Syslog-Schweregrad für Serverfehleranfragen (5xx-Statuscodes). Standardeinstellung: info

Methode 2: kong.conf für die Remote-Syslog-Weiterleitung konfigurieren

  • Wenn Sie Kong Gateway-Systemprotokolle (Zugriffs- und Fehlerprotokolle) direkt an einen Remote-Syslog-Server weiterleiten möchten, bearbeiten Sie die Datei kong.conf und legen Sie die folgenden Parameter fest:

    proxy_access_log=syslog:server=<BINDPLANE_IP>:514,facility=user,tag=kong_proxy_access,severity=info
    proxy_error_log=syslog:server=<BINDPLANE_IP>:514,facility=user,tag=kong_proxy_error,severity=info
    admin_access_log=syslog:server=<BINDPLANE_IP>:514,facility=user,tag=kong_admin_access,severity=info
    admin_error_log=syslog:server=<BINDPLANE_IP>:514,facility=user,tag=kong_admin_error,severity=info
    

Ersetzen Sie <BINDPLANE_IP> durch die IP-Adresse des Hosts, auf dem der Bindplane-Agent ausgeführt wird.

  • Nachdem Sie kong.conf bearbeitet haben, starten Sie Kong Gateway neu:

    kong restart
    

Methode 3: Syslog-Plug-in über deklarative Konfiguration (decK) aktivieren

  • Fügen Sie der kong.yaml-Konfigurationsdatei Folgendes hinzu:

    _format_version: "3.0"
    plugins:
      - name: syslog
        config:
          log_level: info
          successful_severity: info
          client_errors_severity: info
          server_errors_severity: info
    

Syslog-Weiterleitung überprüfen

  1. Senden Sie eine Testanfrage über Kong Gateway:

    curl -i http://localhost:8000/your-route
    
  2. Prüfen Sie die Bindplane-Agent-Logs auf eingehende Syslog-Nachrichten:

    sudo journalctl -u observiq-otel-collector -f
    
  3. Suchen Sie in Google SecOps nach Logs mit metadata.log_type = "KONG_GATEWAY", um die Logaufnahme zu bestätigen.

Referenz zum Kong Gateway-Logformat

Alle Kong Gateway-Logging-Plug-ins (HTTP Log, Syslog, File Log, TCP Log, UDP Log) geben Logs im selben JSON-Format aus. Jeder Logeintrag enthält die folgenden Felder:

Feld Beschreibung
request Eigenschaften der Clientanfrage, einschließlich Header, Methode, URI, Größe und URL
response Eigenschaften der Antwort, einschließlich Statuscode, Header und Größe
latencies.kong Interne Kong Gateway-Verarbeitungslatenz in Millisekunden
latencies.proxy Zeit, die der Upstream-Dienst für die Verarbeitung der Anfrage benötigt, in Millisekunden
latencies.request Gesamte Anfragezeit vom ersten empfangenen Byte bis zum letzten gesendeten Byte in Millisekunden
latencies.receive Zeit zum Empfangen und Verarbeiten der Upstream-Antwort in Millisekunden
Dienst Attribute des Gateway-Dienstes, der mit der Anfrage verknüpft ist
route Attribute der angeforderten Route
client_ip Die ursprüngliche Client-IP-Adresse
tries Load-Balancer-Iterationen, einschließlich IP-Adresse, Port und Load-Balancer-Latenz
workspace UUID des Arbeitsbereichs, der mit der Anfrage verknüpft ist
workspace_name Name des mit der Anfrage verknüpften Arbeitsbereichs
upstream_uri Der an den Upstream-Dienst gesendete URI
upstream_status Vom Upstream-Dienst empfangener HTTP-Statuscode
source Gibt an, ob die Antwort von kong oder upstream generiert wurde
started_at Unix-Zeitstempel des Beginns der Anfrageverarbeitung
consumer Der authentifizierte Nutzer (nur vorhanden, wenn die Authentifizierung aktiviert ist)
authenticated_entity Eigenschaften der authentifizierten Anmeldedaten (nur vorhanden, wenn die Authentifizierung aktiviert ist)

UDM-Zuordnungstabelle

Logfeld UDM-Zuordnung Logik
intermediary_host intermediary Zusammengeführt aus dem Zwischen-Hash, der den Hostnamen aus „intermediary_host“ und die IP-Adresse aus „xff_ips“ enthält
xff_ips intermediary
service.host metadata.event_type Wird auf „NETWORK_CONNECTION“ gesetzt, wenn „service.host“ oder „client_ip“ nicht leer ist, andernfalls auf „STATUS_UNCATEGORIZED“, wenn „target“ nicht leer ist, andernfalls auf „GENERIC_EVENT“
client_ip metadata.event_type
request.headers.x-consumer-id metadata.ingestion_labels Zusammengeführt als Label mit dem Schlüssel „x-consumer-id“ und dem Wert aus request.headers.x-consumer-id
metadata._id metadata.product_log_id Wert direkt kopiert
metadata.version metadata.product_version Wert direkt kopiert
application_protocol network.application_protocol Wert von application_protocol, der von route.protocols oder service.protocol festgelegt wird
request.method network.http.method Wert direkt kopiert
response.status network.http.response_code In Ganzzahl umgewandelt
response.size network.received_bytes In uinteger umgewandelt
request.size network.sent_bytes In uinteger umgewandelt
agent.name observer.asset_id Verkettet aus agent.name und agent.id
agent.id observer.asset_id
agent.hostname observer.hostname Wert direkt kopiert
agent.version observer.platform_version Wert direkt kopiert
agent.ephemeral_id observer.resource.attribute.labels Zusammengeführt als Label mit dem Schlüssel „ephemeral_id“ und dem Wert aus agent.ephemeral_id
cloud.availability_zone principal.cloud.availability_zone Wert direkt kopiert
cloud.instance.id principal.cloud.project.id Wert direkt kopiert
cloud.instance.name principal.cloud.project.name Wert direkt kopiert
cloud.machine.type principal.cloud.project.type Wird auf „VIRTUAL_MACHINE“ gesetzt, wenn nicht leer
principal_host principal.hostname Wert aus „principal_host“, wenn nicht leer, andernfalls „host.fqdn“
host.fqdn principal.hostname
host.ip principal.ip Zusammengeführt aus dem Array „host.ip“
host.mac principal.mac Zusammengeführt aus dem Array „host.mac“
host.os.name principal.platform Wird auf „LINUX“ gesetzt, wenn (?i)Linux übereinstimmt, auf „WINDOWS“, wenn (?i)windows übereinstimmt, und auf „MAC“, wenn (?i)mac übereinstimmt
host.os.version principal.platform_version Wert direkt kopiert
request.headers.content-type principal.resource.attribute.labels Zusammengeführt aus Labels mit dem Schlüssel „content-type“ und dem Wert aus request.headers.content-type sowie dem Schlüssel „auth_type“ und dem Wert aus request.decoded_headers.authorization.auth_type
request.decoded_headers.authorization.auth_type principal.resource.attribute.labels
request.url principal.url Wert direkt kopiert
request.decoded-headers.authorization.user principal.user.user_display_name Wert direkt kopiert
log_level security_result Zusammengeführt aus dem Hash „security_result“ mit Schweregrad, der auf der Grundlage von Übereinstimmungen mit dem regulären Ausdruck „log_level“ festgelegt wurde
service.host target.asset_id Verkettet aus service.host und service.id
service.id target.asset_id
log.file.path target.file.full_path Wert direkt kopiert
service.host target.hostname Wert wird direkt kopiert, wenn service.host keine IP-Adresse ist
client_ip target.ip Zusammengeführt aus client_ip und service_host, wenn service.host eine IP-Adresse ist
service_host target.ip
service.port target.port In Ganzzahl umgewandelt
response.headers.set-cookie target.resource.attribute.labels Zusammengeführt aus Labels mit dem Schlüssel „set-cookie“ und dem Wert aus response.headers.set-cookie sowie dem Schlüssel „route.id“ und dem Wert aus route.id
route.id target.resource.attribute.labels
metadata.vendor_name metadata.vendor_name Legen Sie „KONG_GATEWAY“ fest.
metadata.product_name metadata.product_name Legen Sie „KONG_GATEWAY“ fest.

Änderungsprotokoll

Änderungsprotokoll für diesen Parser ansehen

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten