Fivetran-Logs erfassen
Parserversion:1.0
In diesem Dokument wird beschrieben, wie Sie Fivetran so konfigurieren, dass Logs über Webhooks an Google Security Operations gesendet werden.
Fivetran ist eine Datenintegrationsplattform, die Datenpipelines aus verschiedenen Quellen zu Data Warehouses automatisiert. Fivetran generiert Betriebsereignisse, darunter Connector-Synchronisierungsereignisse, Transformationsereignisse und Änderungen des Verbindungsstatus. Diese Ereignisse können über ausgehende Webhooks an externe Endpunkte gesendet werden, um sie zu überwachen, Benachrichtigungen zu erhalten und Sicherheitsanalysen durchzuführen.
Hinweis
Prüfen Sie, ob folgende Voraussetzungen erfüllt sind:
- Eine Google SecOps-Instanz.
- Ein Fivetran-Konto mit Administrator- oder Kontoberechtigungen.
- Zugriff auf die Google Cloud Console (zum Erstellen von API-Schlüsseln).
- Fivetran-Konto mit aktiviertem REST API-Zugriff.
Webhook-Feed in Google SecOps erstellen
Feed erstellen
- Rufen Sie die SIEM-Einstellungen > Feeds auf.
- Klicken Sie auf + Neu hinzufügen.
- Wählen Sie Einzelnen Feed konfigurieren aus.
- Geben Sie im Feld Feedname einen Namen ein, z. B.
Fivetran Events. - Wählen Sie Webhook als Quelltyp aus.
- Wählen Sie Fivetran als Logtyp aus.
- Klicken Sie auf Weiter.
- Geben Sie Werte für die folgenden Eingabeparameter an:
- Trennzeichen für Aufteilung (optional): Lassen Sie das Feld leer.
- Asset-Namespace: Der Asset-Namespace.
- Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.
- Klicken Sie auf Weiter.
- Prüfen Sie die Konfiguration des neuen Feeds und klicken Sie auf Senden.
Secret-Schlüssel generieren und speichern
- Klicken Sie auf der Feed-Detailseite auf Secret-Schlüssel generieren.
- Ein Dialogfeld mit dem Secret-Schlüssel wird angezeigt.
- Kopieren und speichern Sie den Secret-Schlüssel an einem sicheren Ort.
Feed-Endpunkt-URL abrufen
- Rufen Sie den Tab Details des Feeds auf.
- Kopieren Sie im Abschnitt Endpunktinformationen die Feed-Endpunkt-URL.
- Speichern Sie diese URL für die nächsten Schritte.
- Klicken Sie auf Fertig.
Google Cloud API-Schlüssel erstellen
Für die Authentifizierung in Google SecOps ist ein API-Schlüssel erforderlich.
API-Schlüssel erstellen
- Rufen Sie in der Google Cloud Console die Seite „Anmeldedaten“ auf.
- Wählen Sie Ihr Projekt aus.
- Klicken Sie auf Anmeldedaten erstellen > API-Schlüssel.
- Klicken Sie auf API-Schlüssel bearbeiten , um den Schlüssel einzuschränken.
API-Schlüssel einschränken
- Einstellungen für API-Schlüssel :
- Name: Geben Sie einen beschreibenden Namen ein, z. B.
SecOps Webhook API Key.
- Name: Geben Sie einen beschreibenden Namen ein, z. B.
- Unter API-Einschränkungen:
- Wählen Sie Schlüssel einschränken aus.
- Suchen Sie im Drop-down-Menü nach Google SecOps API (oder Chronicle API) und wählen Sie diese Option aus.
- Klicken Sie auf Speichern.
- Kopieren Sie den API-Schlüssel und speichern Sie ihn an einem sicheren Ort.
Fivetran-Webhook konfigurieren
Webhook-URL erstellen
Kombinieren Sie die Endpunkt-URL und den API-Schlüssel:
<ENDPOINT_URL>?key=<API_KEY>
Webhook mit der Fivetran REST API erstellen
Fivetran API-Anmeldedaten abrufen
- Melden Sie sich in Ihrem Fivetran-Konto an.
- Rufen Sie die Kontoeinstellungen > API-Konfiguration auf.
- Klicken Sie auf API-Schlüssel generieren , falls Sie noch keinen haben.
- Kopieren Sie den API-Schlüssel und das API-Secret.
Webhook auf Kontoebene erstellen
Mit dieser Methode können Sie Ereignisse von allen Connectors in Ihrem Konto empfangen.
Öffnen Sie ein Terminal und führen Sie den folgenden Befehl aus:
curl -X POST https://api.fivetran.com/v1/webhooks/account \ -u "API_KEY:API_SECRET" \ -H "Content-Type: application/json" \ -H "Accept: application/json" \ -d '{ "url": "https://{region}-chronicle.googleapis.com/v1/{parent}/logs:import?key=YOUR_CHRONICLE_API_KEY", "events": [ "sync_start", "sync_end", "transformation_start", "transformation_succeeded", "transformation_failed", "connection_successful", "connection_failure", "create_connector", "pause_connector", "resume_connector", "edit_connector", "delete_connector", "force_update_connector", "resync_connector", "resync_table" ], "active": true, "secret": "YOUR_CHRONICLE_SECRET_KEY" }'- Dabei ist
{region}die Region Ihrer Google SecOps-Instanz (z. B.us,europeoderasia-southeast1) und{parent}der Ressourcenpfad im Formatprojects/<PROJECT_ID>/locations/<LOCATION>/instances/<INSTANCE_ID>/logTypes/<LOG_TYPE>.
- Dabei ist
Webhook-Details
Verfügbare Webhook-Ereignisse
| Ereignis | Beschreibung |
|---|---|
sync_start |
Connector-Synchronisierung gestartet |
sync_end |
Connector-Synchronisierung abgeschlossen |
transformation_start |
Transformation gestartet |
transformation_succeeded |
Transformation erfolgreich abgeschlossen |
transformation_failed |
Transformation fehlgeschlagen |
connection_successful |
Verbindungstest erfolgreich |
connection_failure |
Verbindungstest fehlgeschlagen |
create_connector |
Neuer Connector erstellt |
Webhook-Wiederholungsverhalten
Fivetran wiederholt fehlgeschlagene Webhooks automatisch bis zu 24 Stunden lang nach folgendem Zeitplan:
| Wiederholung | Zeit nach dem ersten Versuch |
|---|---|
| 1. Wiederholung | 6 Minuten |
| 2. Wiederholung | 27 Minuten |
| 3. Wiederholung | 1 Stunde 45 Minuten |
| 4. Wiederholung | 6 Stunden 25 Minuten |
| 5. Wiederholung | 23 Stunden 13 Minuten |
UDM-Zuordnungstabelle
| Logfeld | UDM-Zuordnung | Logik |
|---|---|---|
jsonPayload.connector_id |
additional.connector_id |
Wert direkt kopiert. |
jsonPayload.connector_type |
additional.connector_type |
Wert direkt kopiert. |
jsonPayload.data.query |
additional.query |
Wert direkt kopiert. |
| – | metadata.event_type |
Wird basierend auf dem Vorhandensein von „principal“ und „target“ festgelegt. |
jsonPayload.event |
metadata.product_event_type |
Wert direkt kopiert. |
jsonPayload.sync_id |
metadata.product_log_id |
Wert direkt kopiert. |
jsonPayload.connector_name |
principal.hostname |
Wert direkt kopiert. |
resource.labels.email_id |
principal.user.email_addresses |
Wird zugeordnet, wenn das Format eine gültige E-Mail-Adresse ist. |
resource.labels.unique_id |
principal.user.userid |
Wert direkt kopiert. |
severity |
security_result.severity |
„INFO“ wird INFORMATIONAL zugeordnet. |
logName |
target.resource.name |
Wert direkt kopiert. |
| – | target.resource.type |
Wird auf DATABASE festgelegt. |
| – | metadata.product_name |
Wird auf FIVETRAN festgelegt. |
| – | metadata.vendor_name |
Wird auf FIVETRAN festgelegt. |
Änderungsprotokoll
Änderungsprotokoll für diesen Parser ansehen
Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten