Kong Gateway-Logs erfassen
In diesem Dokument wird beschrieben, wie Sie Kong Gateway- und Kong Konnect-Logs mit verschiedenen Aufnahmemethoden in Google Security Operations erfassen, darunter Webhooks, Syslog über den Bindplane-Agent und Cloud Storage.
Kong Gateway ist ein cloudnatives Open-Source-API-Gateway, das auf NGINX basiert. Es bietet Funktionen für Trafficverwaltung, Authentifizierung, Ratenbegrenzung, Analysen und Logging für APIs und Mikrodienste. Kong Konnect ist die SaaS-Verwaltungsplattform für Kong Gateway, die eine zentrale Verwaltung der Steuerungsebene, Audit-Logging und Beobachtbarkeit bietet.
Hinweis
Prüfen Sie, ob folgende Voraussetzungen erfüllt sind:
- Eine Google SecOps-Instanz
- Eine laufende Kong Gateway-Instanz (selbstverwaltet) oder ein Kong Konnect-Konto (SaaS)
- Administratorzugriff auf die Kong Gateway Admin API über Port
8001(HTTP) oder8444(HTTPS) - Für Kong Konnect: Ein persönliches Zugriffstoken (PAT) oder ein Systemkontotoken mit den entsprechenden Berechtigungen
- Zugriff auf die Google Cloud Console (zum Erstellen von API-Schlüsseln, wenn die Webhook-Aufnahme verwendet wird)
Kong Gateway so konfigurieren, dass Logs per Webhook (HTTP Log-Plug-in) übertragen werden
Bei dieser Methode wird das Kong Gateway HTTP Log-Plug-in verwendet, um Anfrage- und Antwortlogs über HTTP POST direkt an einen Google SecOps-Webhook-Endpunkt zu senden. Für jede weitergeleitete Anfrage wird ein JSON-Logeintrag generiert, der an den konfigurierten Endpunkt gesendet wird.
Webhook-Feed in Google SecOps erstellen
Feed erstellen
- Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
- Klicken Sie auf Neuen Feed hinzufügen.
- Klicken Sie auf der nächsten Seite auf Einzelnen Feed konfigurieren.
- Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B.
Kong Gateway Logs. - Wählen Sie Webhook als Quelltyp aus.
- Wählen Sie Kong Gateway als Logtyp aus.
- Klicken Sie auf Weiter.
- Geben Sie Werte für die folgenden Eingabeparameter an:
- Trennzeichen für Aufteilung (optional): Geben Sie
\nein, um durch Zeilenumbruch getrennte JSON-Ereignisse aufzuteilen. - Asset-Namespace: Der Asset-Namespace
- Labels für Datenaufnahme: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.
- Trennzeichen für Aufteilung (optional): Geben Sie
- Klicken Sie auf Weiter.
- Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.
Secret-Schlüssel generieren und speichern
Nachdem Sie den Feed erstellt haben, müssen Sie einen Secret-Schlüssel für die Authentifizierung generieren:
- Klicken Sie auf der Feed-Detailseite auf Geheimen Schlüssel generieren.
- In einem Dialogfeld wird der geheime Schlüssel angezeigt.
- Kopieren und speichern Sie den geheimen Schlüssel an einem sicheren Ort.
Wichtig: Der geheime Schlüssel wird nur einmal angezeigt und kann später nicht mehr abgerufen werden. Wenn Sie ihn verlieren, müssen Sie einen neuen geheimen Schlüssel generieren.
Feed-Endpunkt-URL abrufen
- Gehen Sie zum Tab Details des Feeds.
- Kopieren Sie im Abschnitt Endpunktinformationen die Feed-Endpunkt-URL.
Das URL-Format lautet:
https://{region}-chronicle.googleapis.com/v1/{parent}/logs:importDabei ist
{region}die Region Ihrer Google SecOps-Instanz (z. B.us,europeoderasia-southeast1) und{parent}der Ressourcenpfad im Formatprojects/<PROJECT_ID>/locations/<LOCATION>/instances/<INSTANCE_ID>/logTypes/<LOG_TYPE>.Speichern Sie diese URL für die nächsten Schritte.
Klicken Sie auf Fertig.
Google Cloud API-Schlüssel erstellen
Chronicle erfordert einen API-Schlüssel für die Authentifizierung. Erstellen Sie in der Google Cloud Console einen eingeschränkten API-Schlüssel.
API-Schlüssel erstellen
- Rufen Sie die Seite „Anmeldedaten“ derGoogle Cloud Console auf.
- Wählen Sie Ihr Projekt aus (das Projekt, das mit Ihrer Chronicle-Instanz verknüpft ist).
- Klicken Sie auf Anmeldedaten erstellen > API-Schlüssel.
- Ein API-Schlüssel wird erstellt und in einem Dialogfeld angezeigt.
- Klicken Sie auf API-Schlüssel bearbeiten, um den Schlüssel einzuschränken.
API-Schlüssel einschränken
- Auf der Seite mit den Einstellungen für den API-Schlüssel:
- Name: Geben Sie einen aussagekräftigen Namen ein (z. B.
Chronicle Webhook API Key).
- Name: Geben Sie einen aussagekräftigen Namen ein (z. B.
- Gehen Sie unter API-Einschränkungen so vor:
- Wählen Sie Schlüssel einschränken aus.
- Suchen Sie im Drop-down-Menü APIs auswählen nach der Google SecOps API (oder Chronicle API) und wählen Sie sie aus.
- Klicken Sie auf Speichern.
- Kopieren Sie den Wert des API-Schlüssels aus dem Feld API-Schlüssel oben auf der Seite.
Speichern Sie den API-Schlüssel an einem sicheren Ort.
Webhook-URL erstellen
Kombinieren Sie die Chronicle-Endpunkt-URL und den API-Schlüssel:
<ENDPOINT_URL>?key=<API_KEY>&secret=<SECRET_KEY>Beispiel:
https://{region}-chronicle.googleapis.com/v1/{parent}/logs:import?key=AIzaSyD...&secret=abcd1234...
Speichern Sie diese vollständige URL für die Konfiguration des Kong Gateway-HTTP-Log-Plug-ins.
Kong Gateway-HTTP-Log-Plug-in konfigurieren
Das HTTP-Log-Plug-in sendet Anfrage- und Antwortlogs über POST-Anfragen im JSON-Format an einen HTTP-Endpunkt. Sie können das Plug-in global (für alle Dienste und Routen), pro Dienst oder pro Route über die Kong Admin API aktivieren.
HTTP-Log-Plug-in global aktivieren
Wenn Sie Logs für alle über den Proxy geleiteten Anfragen an Google SecOps senden möchten, aktivieren Sie das Plug-in global, indem Sie die folgende Anfrage an die Kong Admin API senden:
curl -i -X POST http://localhost:8001/plugins/ \ --header "Accept: application/json" \ --header "Content-Type: application/json" \ --data '{ "name": "http-log", "config": { "http_endpoint": "<ENDPOINT_URL>?key=<API_KEY>&secret=<SECRET_KEY>", "method": "POST", "timeout": 3000, "keepalive": 60000, "retry_count": 1, "queue": { "max_batch_size": 100, "max_coalescing_delay": 10 } } }'
Ersetzen Sie Folgendes:
<ENDPOINT_URL>: Die URL des Google SecOps-Feed-Endpunkts<API_KEY>: Der API-Schlüssel von Google Cloud<SECRET_KEY>: Der geheime Schlüssel des Google SecOps-Webhooks
HTTP-Log-Plug-in für einen bestimmten Dienst aktivieren
Wenn Sie Logs nur für einen bestimmten Dienst senden möchten, senden Sie die folgende Anfrage:
curl -i -X POST http://localhost:8001/services/{serviceName|Id}/plugins/ \ --header "Accept: application/json" \ --header "Content-Type: application/json" \ --data '{ "name": "http-log", "config": { "http_endpoint": "<ENDPOINT_URL>?key=<API_KEY>&secret=<SECRET_KEY>", "method": "POST", "timeout": 3000, "keepalive": 60000, "retry_count": 1 } }'Ersetzen Sie
{serviceName|Id}durch den Namen oder die ID des Zieldienstes.
HTTP-Log-Plug-in für eine bestimmte Route aktivieren
Wenn Sie Logs nur für eine bestimmte Route senden möchten, senden Sie die folgende Anfrage:
curl -i -X POST http://localhost:8001/routes/{routeName|Id}/plugins/ \ --header "Accept: application/json" \ --header "Content-Type: application/json" \ --data '{ "name": "http-log", "config": { "http_endpoint": "<ENDPOINT_URL>?key=<API_KEY>&secret=<SECRET_KEY>", "method": "POST", "timeout": 3000, "keepalive": 60000, "retry_count": 1 } }'Ersetzen Sie
{routeName|Id}durch den Namen oder die ID der Zielroute.
HTTP-Log-Plug-in über die Kong Konnect API aktivieren
Wenn Sie Kong Gateway über Kong Konnect verwalten, aktivieren Sie das HTTP-Log-Plug-in über die Konnect API:
curl -X POST https://{region}.api.konghq.com/v2/control-planes/{controlPlaneId}/core-entities/plugins/ \ --header "accept: application/json" \ --header "Content-Type: application/json" \ --header "Authorization: Bearer $KONNECT_TOKEN" \ --data '{ "name": "http-log", "config": { "http_endpoint": "<ENDPOINT_URL>?key=<API_KEY>&secret=<SECRET_KEY>", "method": "POST", "timeout": 3000, "keepalive": 60000, "retry_count": 1 } }'
Ersetzen Sie Folgendes:
{region}: Die geografische Region, in der Ihr Kong Konnect gehostet wird (z. B.us,eu){controlPlaneId}: Die ID der Steuerungsebene$KONNECT_TOKEN: Ihr persönliches Zugriffstoken (PAT)
HTTP-Log-Plug-in über deklarative Konfiguration (decK) aktivieren
Fügen Sie der
kong.yaml-Konfigurationsdatei Folgendes hinzu:_format_version: "3.0" plugins: - name: http-log config: http_endpoint: "<ENDPOINT_URL>?key=<API_KEY>&secret=<SECRET_KEY>" method: POST timeout: 3000 keepalive: 60000 retry_count: 1 queue: max_batch_size: 100 max_coalescing_delay: 10
HTTP-Log-Plug-in prüfen
Senden Sie eine Testanfrage über Kong Gateway:
curl -i http://localhost:8000/your-routePrüfen Sie, ob das Plug-in aktiviert ist, indem Sie die Plug-ins auflisten:
curl -s http://localhost:8001/plugins/ | grep http-logRufen Sie in Google SecOps die Suche auf und suchen Sie nach Logs mit
metadata.log_type = "KONG_GATEWAY", um die Logaufnahme zu bestätigen.
Webhook für Kong Konnect-Audit-Log konfigurieren
Bei dieser Methode wird Kong Konnect (SaaS) so konfiguriert, dass Audit-Logs (Authentifizierungs-, Autorisierungs- und Zugriffsereignisse) an einen Google SecOps-Webhook-Endpunkt gesendet werden.
Persönliches Zugriffstoken für Kong Konnect generieren
- Melden Sie sich bei Kong Konnect an.
- Klicken Sie rechts oben auf Ihr Nutzersymbol, um das Kontextmenü zu öffnen.
- Klicken Sie auf Personal access tokens (Persönliche Zugriffstokens).
- Klicken Sie auf Generate Token (Token generieren).
- Geben Sie einen Namen für das Token ein (z. B.
Chronicle Audit Log Setup). - Wählen Sie einen Ablaufzeitraum aus.
- Klicken Sie auf Generieren.
- Kopieren und speichern Sie das Token an einem sicheren Ort. Das Token wird nur einmal angezeigt.
Google SecOps-Webhook-Feed für Konnect-Audit-Logs erstellen
- Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
- Klicken Sie auf Neuen Feed hinzufügen.
- Klicken Sie auf der nächsten Seite auf Einzelnen Feed konfigurieren.
- Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B.
Kong Konnect Audit Logs. - Wählen Sie Webhook als Quelltyp aus.
- Wählen Sie Kong Gateway als Logtyp aus.
- Klicken Sie auf Weiter.
- Geben Sie Werte für die folgenden Eingabeparameter an:
- Trennzeichen für Aufteilung: Geben Sie
\nein, um durch Zeilenumbrüche getrennte Ereignisse aufzuteilen. - Asset-Namespace: Der Asset-Namespace
- Labels für Datenaufnahme: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.
- Trennzeichen für Aufteilung: Geben Sie
- Klicken Sie auf Weiter.
- Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.
- Klicken Sie auf Generate Secret Key (Geheimschlüssel generieren) und speichern Sie den Geheimschlüssel.
- Wechseln Sie zum Tab Details und kopieren Sie die Feed-Endpunkt-URL.
- Erstellen Sie einen Google Cloud API-Schlüssel. Folgen Sie dazu der Anleitung im vorherigen Abschnitt.
Erstellen Sie die vollständige Webhook-URL:
<ENDPOINT_URL>?key=<API_KEY>&secret=<SECRET_KEY>
Audit-Log-Ziel in Konnect erstellen
Senden Sie eine POST-Anfrage an die Konnect API, um ein Audit-Log-Ziel zu erstellen:
curl -X POST "https://global.api.konghq.com/v3/audit-log-destinations" \ --header "Authorization: Bearer $KONNECT_TOKEN" \ --header "Content-Type: application/json" \ --data '{ "endpoint": "<ENDPOINT_URL>?key=<API_KEY>", "authorization": "<SECRET_KEY>", "log_format": "json", "name": "Chronicle SecOps" }'
Ersetzen Sie Folgendes:
$KONNECT_TOKEN: Ihr persönliches Zugriffstoken für Kong Konnect<ENDPOINT_URL>: Die URL des Google SecOps-Feed-Endpunkts<API_KEY>: Der API-Schlüssel von Google Cloud<SECRET_KEY>: Der geheime Schlüssel des Google SecOps-Webhooks
Speichern Sie den id-Wert aus der Antwort für den nächsten Schritt.
Audit-Log-Webhook aktivieren
Senden Sie eine PATCH-Anfrage, um den Webhook zu aktivieren:
curl -X PATCH "https://us.api.konghq.com/v3/audit-log-webhook" \ --header "Authorization: Bearer $KONNECT_TOKEN" \ --header "Content-Type: application/json" \ --data '{ "audit_log_destination_id": "<DESTINATION_ID>", "enabled": true }'Ersetzen Sie
<DESTINATION_ID>durch die ID, die im vorherigen Schritt zurückgegeben wurde.
Zustellung von Konnect-Audit-Logs prüfen
Lösen Sie ein Audit-Log-Ereignis aus, indem Sie eine Konnect API-Anfrage stellen:
curl -X GET "https://us.api.konghq.com/v2/control-planes" \ --header "Authorization: Bearer $KONNECT_TOKEN"Warten Sie ein bis zwei Minuten, bis das Protokoll übernommen wurde.
Suchen Sie in Google SecOps nach Logs mit
metadata.log_type = "KONG_GATEWAY".
Webhook-Verhalten für Konnect-Audit-Logs
- Konnect wiederholt die Webhook-Zustellung bei den HTTP-Statuscodes
429(Zu viele Anfragen) und500(Serverfehler). - Mindestwartezeit für Wiederholungsversuche: 1 Sekunde.
- Maximale Wartezeit für Wiederholungsversuche: 30 Sekunden.
- Maximale Anzahl an Wiederholungen: 4.
- Konnect bewahrt Audit-Logs 7 Tage lang auf. Nach 7 Tagen werden die Logs endgültig gelöscht.
- Unterstützte Logformate:
cef(ArcSight CEF-Format),jsonundcps(CrowdStrike Parsing Standard).
Referenz zu Authentifizierungsmethoden
Chronicle-Webhook-Feeds unterstützen mehrere Authentifizierungsmethoden. Wählen Sie die Methode aus, die von Ihrem Anbieter unterstützt wird.
Methode 1: Suchparameter
Das Kong Gateway HTTP Log-Plug-in unterstützt die Übergabe von Anmeldedaten in der URL.
URL-Format:
<ENDPOINT_URL>?key=<API_KEY>&secret=<SECRET_KEY>Beispiel:
https://{region}-chronicle.googleapis.com/v1/{parent}/logs:import?key=AIzaSyD...&secret=abcd1234...
Methode 2: Benutzerdefinierte Header mit Suchparameter
Das Kong Gateway HTTP Log-Plug-in unterstützt benutzerdefinierte HTTP-Header über den Parameter config.headers. Sie können den API-Schlüssel in der URL und den geheimen Schlüssel in einem benutzerdefinierten Header übergeben.
Beispiel für die Kong Admin API:
curl -i -X POST http://localhost:8001/plugins/ \ --header "Accept: application/json" \ --header "Content-Type: application/json" \ --data '{ "name": "http-log", "config": { "http_endpoint": "<ENDPOINT_URL>?key=<API_KEY>", "method": "POST", "timeout": 3000, "headers": { "x-chronicle-auth": "<SECRET_KEY>" } } }'
Namen der Authentifizierungsheader
Chronicle akzeptiert die folgenden Headernamen für die Authentifizierung:
Für API-Schlüssel:
x-goog-chronicle-auth(empfohlen)X-Goog-Chronicle-Auth(Groß-/Kleinschreibung wird nicht berücksichtigt)
Für den geheimen Schlüssel:
x-chronicle-auth(empfohlen)X-Chronicle-Auth(Groß-/Kleinschreibung wird nicht berücksichtigt)
Webhook-Limits und Best Practices
Anfragelimits
| Limit | Wert |
|---|---|
| Maximale Anfragegröße | 4 MB |
| Maximale Abfragen pro Sekunde | 15.000 |
| Zeitlimit für Anfragen | 30 Sekunden |
| Wiederholungsverhalten | Automatisch mit exponentiellem Backoff |
Konfiguration der Warteschlange des Kong-HTTP-Log-Plug-ins
| Parameter | Beschreibung | Empfohlener Wert |
|---|---|---|
| config.queue.max_batch_size | Maximale Anzahl von Logeinträgen pro Batch | 100 |
| config.queue.max_coalescing_delay | Maximale Wartezeit (Sekunden) vor dem Senden eines Batches | 10 |
| config.queue.max_entries | Maximale Anzahl von Einträgen in der Warteschlange | 10000 |
| config.queue.max_retry_time | Maximale Zeit (Sekunden) für die Wiederholung fehlgeschlagener Zustellungen | 60 |
| config.queue.initial_retry_delay | Anfängliche Wartezeit (Sekunden) vor dem Wiederholungsversuch | 0.01 |
Syslog-Weiterleitung für Kong Gateway mit dem Bindplane-Agenten konfigurieren
Bei dieser Methode wird das Kong Gateway Syslog-Plug-in verwendet, um Logs in den lokalen Syslog-Daemon zu schreiben. Diese werden dann vom Bindplane-Agenten erfasst und an Google SecOps weitergeleitet. Dieser Ansatz eignet sich für selbstverwaltete Kong Gateway-Bereitstellungen.
Google SecOps-Anmeldedaten für den Bindplane-Agenten abrufen
Wählen Sie eine der folgenden Methoden aus, um den Bindplane-Agenten bei Google SecOps zu authentifizieren:
- Neue Bereitstellungen: Verwenden Sie die Chronicle API (Option 1).
- Legacy-Bereitstellungen: Verwenden Sie die Authentifizierungsdatei für die Datenaufnahme (Option 2) weiter, bis die Ingestion API am 20. Juli 2027 eingestellt wird.
Option 1: Dienstkonto für die Chronicle API erstellen (empfohlen)
- Melden Sie sich in der Google Cloud -Konsole an und wählen Sie das Google Cloud Projekt aus, das mit Ihrer Google SecOps-Instanz verknüpft ist.
- Rufen Sie IAM und Verwaltung > Dienstkonten auf.
- Klicken Sie auf Dienstkonto erstellen.
- Geben Sie die folgenden Konfigurationsdetails an:
- Name des Dienstkontos: Geben Sie einen Namen für das Konto ein (z. B.
bindplane-ingest). - Dienstkontobeschreibung: Geben Sie eine Beschreibung ein (z. B.
Bindplane agent log ingestion).
- Name des Dienstkontos: Geben Sie einen Namen für das Konto ein (z. B.
- Klicken Sie auf Erstellen und fortfahren.
- Klicken Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen auf Rolle auswählen und wählen Sie Chronicle Editor aus.
- Klicken Sie auf Weiter und dann auf Fertig.
- Klicken Sie auf das von Ihnen erstellte Dienstkonto und rufen Sie den Tab Schlüssel auf.
- Klicken Sie auf Schlüssel hinzufügen > Neuen Schlüssel erstellen.
- Wählen Sie JSON aus und klicken Sie auf Erstellen. Die Schlüsseldatei wird auf Ihren Computer heruntergeladen.
- Speichern Sie die Schlüsseldatei als
ingestion-auth.jsonim Bindplane-Collector-Verzeichnis (/opt/observiq-otel-collector/ingestion-auth.jsonunter Linux oderC:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.jsonunter Windows) oder aktualisieren Siecreds_file_pathinconfig.yaml, sodass der Pfad mit dem Pfad übereinstimmt, unter dem Sie sie speichern. - Rufen Sie IAM & Verwaltung > Einstellungen auf und kopieren Sie die Projektnummer. Sie benötigen ihn für die Exporter-Konfiguration.
Option 2: Authentifizierungsdatei für die Datenaufnahme herunterladen (Legacy)
- Melden Sie sich in der Google SecOps-Konsole an.
- Rufen Sie Einstellungen > Datenverwaltung > Erfassungs-Agents auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Erfassungs-Agents auf.
- Laden Sie die Authentifizierungsdatei für die Datenaufnahme herunter.
- Speichern Sie die Datei sicher auf dem System, auf dem der Bindplane-Agent installiert werden soll.
Google SecOps-Kundennummer abrufen
- Melden Sie sich in der Google SecOps-Konsole an.
- Gehen Sie zu Einstellungen > Verwaltung > Profil. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Profil auf.
Kopieren und speichern Sie die Kundennummer aus dem Bereich Organization Details (Organisationsdetails).
Bindplane-Agent installieren
Installieren Sie den Bindplane-Agenten gemäß der folgenden Anleitung auf Ihrem Windows- oder Linux-Betriebssystem.
Windows-Installation
- Öffnen Sie die Eingabeaufforderung oder PowerShell als Administrator.
Führen Sie dazu diesen Befehl aus:
msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quietWarten Sie, bis die Installation abgeschlossen ist.
Überprüfen Sie die Installation mit folgendem Befehl:
sc query observiq-otel-collector
Der Dienst sollte als RUNNING angezeigt werden.
Linux-Installation
- Öffnen Sie ein Terminal mit Root- oder sudo-Berechtigungen.
Führen Sie dazu diesen Befehl aus:
sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.shWarten Sie, bis die Installation abgeschlossen ist.
Überprüfen Sie die Installation mit folgendem Befehl:
sudo systemctl status observiq-otel-collector
Der Dienst sollte als active (running) angezeigt werden.
Zusätzliche Installationsressourcen
Weitere Installationsoptionen und Informationen zur Fehlerbehebung finden Sie in der Installationsanleitung für den Bindplane-Agenten.
Bindplane-Agent für die Aufnahme von Syslog und das Senden an Google SecOps konfigurieren
Konfigurationsdatei suchen
Linux:
sudo nano /opt/observiq-otel-collector/config.yamlWindows:
notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
Konfigurationsdatei bearbeiten
Ersetzen Sie den gesamten Inhalt von
config.yamldurch die folgende Konfiguration:receivers: udplog: listen_address: "0.0.0.0:514" exporters: chronicle/kong_gateway: protocol: https # Region of your instance, for example us, europe, asia-southeast1 location: <LOCATION> # Project number of the Google Cloud project linked to the instance project: '<PROJECT_NUMBER>' compression: gzip creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json' customer_id: '<CUSTOMER_ID>' endpoint: chronicle.googleapis.com log_type: KONG_GATEWAY raw_log_field: body service: pipelines: logs/kong_to_chronicle: receivers: - udplog exporters: - chronicle/kong_gateway
Konfigurationsparameter
Ersetzen Sie die folgenden Platzhalter:
Exporter-Konfiguration:
<CUSTOMER_ID>: Die im vorherigen Schritt kopierte Google SecOps-Kundennummer- creds_file_path: Vollständiger Pfad zur JSON-Schlüsseldatei des Dienstkontos (Option 1):
- Linux:
/opt/observiq-otel-collector/ingestion-auth.json - Windows:
C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
- Linux:
location: Ersetzen Sie<LOCATION>durch die Region Ihrer Google SecOps-Instanz (z. B.us,europeoderasia-southeast1). Der Exporter stelltchronicle.googleapis.comdiesen Wert voran. Eine vollständige Liste finden Sie unter Regionale Endpunkte.project: Ersetzen Sie<PROJECT_NUMBER>durch die Projektnummer aus IAM & Verwaltung > Einstellungen.endpoint: Behalten Sie die Einstellungchronicle.googleapis.combei.
Legacy-Ingestion-API-Exporter
Wenn Sie die Authentifizierungsdatei für die Datenaufnahme aus Option 2 verwenden, ersetzen Sie den Block
exportersdurch Folgendes. Legen Sie fürcreds_file_pathden Pfad zur Authentifizierungsdatei für die Datenaufnahme fest. Wenn sich Ihre Instanz außerhalb der USA befindet, ersetzen Siemalachiteingestion-pa.googleapis.comdurch Ihren regionalen Endpunkt (z. B.europe-malachiteingestion-pa.googleapis.com).exporters: chronicle/kong_gateway: compression: gzip creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json' customer_id: '<CUSTOMER_ID>' endpoint: malachiteingestion-pa.googleapis.com log_type: KONG_GATEWAY raw_log_field: body
Konfigurationsdatei speichern
- Speichern Sie die Datei nach der Bearbeitung:
- Linux: Drücken Sie
Ctrl+O, dannEnterund dannCtrl+X. - Windows: Klicken Sie auf Datei > Speichern.
- Linux: Drücken Sie
Starten Sie den Bindplane-Agent neu, um die Änderungen zu übernehmen.
Führen Sie den folgenden Befehl aus, um den Bindplane-Agenten unter Linux neu zu starten:
sudo systemctl restart observiq-otel-collectorPrüfen Sie, ob der Dienst ausgeführt wird:
sudo systemctl status observiq-otel-collectorPrüfen Sie die Logs auf Fehler:
sudo journalctl -u observiq-otel-collector -f
Wählen Sie eine der folgenden Optionen aus, um den Bindplane-Agenten unter Windows neu zu starten:
Eingabeaufforderung oder PowerShell als Administrator:
net stop observiq-otel-collector && net start observiq-otel-collector
Dienstkonsole:
- Drücken Sie die Windows-Taste + R, geben Sie „services.msc“ ein und drücken Sie die Eingabetaste.
- Suchen Sie nach observIQ OpenTelemetry Collector.
- Klicken Sie mit der rechten Maustaste und wählen Sie Neu starten aus.
Prüfen Sie, ob der Dienst ausgeführt wird:
sc query observiq-otel-collectorPrüfen Sie die Logs auf Fehler:
type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
Syslog-Weiterleitung für Kong Gateway konfigurieren
Es gibt zwei Methoden, um Kong Gateway-Logs über Syslog weiterzuleiten: mit dem Syslog-Plug-in (für API-Traffic-Logs pro Anfrage) und mit kong.conf (für Zugriffs- und Fehlerlogs auf Systemebene).
Methode 1: Syslog-Plug-in über die Admin API aktivieren
Das Syslog-Plug-in protokolliert jede weitergeleitete Anfrage und Antwort im lokalen Syslog-Daemon im JSON-Format. Aktivieren Sie das Plug-in global, indem Sie die folgende Anfrage an die Kong Admin API senden:
curl -i -X POST http://localhost:8001/plugins/ \ --header "Accept: application/json" \ --header "Content-Type: application/json" \ --data '{ "name": "syslog", "config": { "log_level": "info", "successful_severity": "info", "client_errors_severity": "info", "server_errors_severity": "info" } }'
Die Konfigurationsparameter für das Syslog-Plug-in:
- log_level: Die Mindestlogebene, die an syslog gesendet werden soll. Zulässige Werte:
debug,info,notice,warning,err,crit,alert,emerg. Standard:info. - successful_severity: Syslog-Schweregrad für erfolgreiche Anfragen (2xx-Statuscodes). Standardeinstellung:
info - client_errors_severity: Syslog-Schweregrad für Clientfehleranfragen (4xx-Statuscodes). Standardeinstellung:
info server_errors_severity: Syslog-Schweregrad für Serverfehleranfragen (5xx-Statuscodes). Standardeinstellung:
info
Methode 2: kong.conf für die Remote-Syslog-Weiterleitung konfigurieren
Wenn Sie Kong Gateway-Systemprotokolle (Zugriffs- und Fehlerprotokolle) direkt an einen Remote-Syslog-Server weiterleiten möchten, bearbeiten Sie die Datei
kong.confund legen Sie die folgenden Parameter fest:proxy_access_log=syslog:server=<BINDPLANE_IP>:514,facility=user,tag=kong_proxy_access,severity=info proxy_error_log=syslog:server=<BINDPLANE_IP>:514,facility=user,tag=kong_proxy_error,severity=info admin_access_log=syslog:server=<BINDPLANE_IP>:514,facility=user,tag=kong_admin_access,severity=info admin_error_log=syslog:server=<BINDPLANE_IP>:514,facility=user,tag=kong_admin_error,severity=info
Ersetzen Sie <BINDPLANE_IP> durch die IP-Adresse des Hosts, auf dem der Bindplane-Agent ausgeführt wird.
Nachdem Sie
kong.confbearbeitet haben, starten Sie Kong Gateway neu:kong restart
Methode 3: Syslog-Plug-in über deklarative Konfiguration (decK) aktivieren
Fügen Sie der
kong.yaml-Konfigurationsdatei Folgendes hinzu:_format_version: "3.0" plugins: - name: syslog config: log_level: info successful_severity: info client_errors_severity: info server_errors_severity: info
Syslog-Weiterleitung überprüfen
Senden Sie eine Testanfrage über Kong Gateway:
curl -i http://localhost:8000/your-routePrüfen Sie die Bindplane-Agent-Logs auf eingehende Syslog-Nachrichten:
sudo journalctl -u observiq-otel-collector -fSuchen Sie in Google SecOps nach Logs mit
metadata.log_type = "KONG_GATEWAY", um die Logaufnahme zu bestätigen.
Referenz zum Kong Gateway-Logformat
Alle Kong Gateway-Logging-Plug-ins (HTTP Log, Syslog, File Log, TCP Log, UDP Log) geben Logs im selben JSON-Format aus. Jeder Logeintrag enthält die folgenden Felder:
| Feld | Beschreibung |
|---|---|
| request | Eigenschaften der Clientanfrage, einschließlich Header, Methode, URI, Größe und URL |
| response | Eigenschaften der Antwort, einschließlich Statuscode, Header und Größe |
| latencies.kong | Interne Kong Gateway-Verarbeitungslatenz in Millisekunden |
| latencies.proxy | Zeit, die der Upstream-Dienst für die Verarbeitung der Anfrage benötigt, in Millisekunden |
| latencies.request | Gesamte Anfragezeit vom ersten empfangenen Byte bis zum letzten gesendeten Byte in Millisekunden |
| latencies.receive | Zeit zum Empfangen und Verarbeiten der Upstream-Antwort in Millisekunden |
| Dienst | Attribute des Gateway-Dienstes, der mit der Anfrage verknüpft ist |
| route | Attribute der angeforderten Route |
| client_ip | Die ursprüngliche Client-IP-Adresse |
| tries | Load-Balancer-Iterationen, einschließlich IP-Adresse, Port und Load-Balancer-Latenz |
| workspace | UUID des Arbeitsbereichs, der mit der Anfrage verknüpft ist |
| workspace_name | Name des mit der Anfrage verknüpften Arbeitsbereichs |
| upstream_uri | Der an den Upstream-Dienst gesendete URI |
| upstream_status | Vom Upstream-Dienst empfangener HTTP-Statuscode |
| source | Gibt an, ob die Antwort von kong oder upstream generiert wurde |
| started_at | Unix-Zeitstempel des Beginns der Anfrageverarbeitung |
| consumer | Der authentifizierte Nutzer (nur vorhanden, wenn die Authentifizierung aktiviert ist) |
| authenticated_entity | Eigenschaften der authentifizierten Anmeldedaten (nur vorhanden, wenn die Authentifizierung aktiviert ist) |
UDM-Zuordnungstabelle
| Logfeld | UDM-Zuordnung | Logik |
|---|---|---|
| intermediary_host | intermediary | Zusammengeführt aus dem Zwischen-Hash, der den Hostnamen aus „intermediary_host“ und die IP-Adresse aus „xff_ips“ enthält |
| xff_ips | intermediary | |
| service.host | metadata.event_type | Wird auf „NETWORK_CONNECTION“ gesetzt, wenn „service.host“ oder „client_ip“ nicht leer ist, andernfalls auf „STATUS_UNCATEGORIZED“, wenn „target“ nicht leer ist, andernfalls auf „GENERIC_EVENT“ |
| client_ip | metadata.event_type | |
| request.headers.x-consumer-id | metadata.ingestion_labels | Zusammengeführt als Label mit dem Schlüssel „x-consumer-id“ und dem Wert aus request.headers.x-consumer-id |
| metadata._id | metadata.product_log_id | Wert direkt kopiert |
| metadata.version | metadata.product_version | Wert direkt kopiert |
| application_protocol | network.application_protocol | Wert von application_protocol, der von route.protocols oder service.protocol festgelegt wird |
| request.method | network.http.method | Wert direkt kopiert |
| response.status | network.http.response_code | In Ganzzahl umgewandelt |
| response.size | network.received_bytes | In uinteger umgewandelt |
| request.size | network.sent_bytes | In uinteger umgewandelt |
| agent.name | observer.asset_id | Verkettet aus agent.name und agent.id |
| agent.id | observer.asset_id | |
| agent.hostname | observer.hostname | Wert direkt kopiert |
| agent.version | observer.platform_version | Wert direkt kopiert |
| agent.ephemeral_id | observer.resource.attribute.labels | Zusammengeführt als Label mit dem Schlüssel „ephemeral_id“ und dem Wert aus agent.ephemeral_id |
| cloud.availability_zone | principal.cloud.availability_zone | Wert direkt kopiert |
| cloud.instance.id | principal.cloud.project.id | Wert direkt kopiert |
| cloud.instance.name | principal.cloud.project.name | Wert direkt kopiert |
| cloud.machine.type | principal.cloud.project.type | Wird auf „VIRTUAL_MACHINE“ gesetzt, wenn nicht leer |
| principal_host | principal.hostname | Wert aus „principal_host“, wenn nicht leer, andernfalls „host.fqdn“ |
| host.fqdn | principal.hostname | |
| host.ip | principal.ip | Zusammengeführt aus dem Array „host.ip“ |
| host.mac | principal.mac | Zusammengeführt aus dem Array „host.mac“ |
| host.os.name | principal.platform | Wird auf „LINUX“ gesetzt, wenn (?i)Linux übereinstimmt, auf „WINDOWS“, wenn (?i)windows übereinstimmt, und auf „MAC“, wenn (?i)mac übereinstimmt |
| host.os.version | principal.platform_version | Wert direkt kopiert |
| request.headers.content-type | principal.resource.attribute.labels | Zusammengeführt aus Labels mit dem Schlüssel „content-type“ und dem Wert aus request.headers.content-type sowie dem Schlüssel „auth_type“ und dem Wert aus request.decoded_headers.authorization.auth_type |
| request.decoded_headers.authorization.auth_type | principal.resource.attribute.labels | |
| request.url | principal.url | Wert direkt kopiert |
| request.decoded-headers.authorization.user | principal.user.user_display_name | Wert direkt kopiert |
| log_level | security_result | Zusammengeführt aus dem Hash „security_result“ mit Schweregrad, der auf der Grundlage von Übereinstimmungen mit dem regulären Ausdruck „log_level“ festgelegt wurde |
| service.host | target.asset_id | Verkettet aus service.host und service.id |
| service.id | target.asset_id | |
| log.file.path | target.file.full_path | Wert direkt kopiert |
| service.host | target.hostname | Wert wird direkt kopiert, wenn service.host keine IP-Adresse ist |
| client_ip | target.ip | Zusammengeführt aus client_ip und service_host, wenn service.host eine IP-Adresse ist |
| service_host | target.ip | |
| service.port | target.port | In Ganzzahl umgewandelt |
| response.headers.set-cookie | target.resource.attribute.labels | Zusammengeführt aus Labels mit dem Schlüssel „set-cookie“ und dem Wert aus response.headers.set-cookie sowie dem Schlüssel „route.id“ und dem Wert aus route.id |
| route.id | target.resource.attribute.labels | |
| metadata.vendor_name | metadata.vendor_name | Legen Sie „KONG_GATEWAY“ fest. |
| metadata.product_name | metadata.product_name | Legen Sie „KONG_GATEWAY“ fest. |
Änderungsprotokoll
Änderungsprotokoll für diesen Parser ansehen
Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten