Fivetran-Logs erfassen

Parserversion: 1.0

Unterstützt in:

In diesem Dokument wird beschrieben, wie Sie Fivetran so konfigurieren, dass Logs über Webhooks an Google Security Operations gesendet werden.

Fivetran ist eine Datenintegrationsplattform, die Datenpipelines aus verschiedenen Quellen zu Data Warehouses automatisiert. Fivetran generiert operative Ereignisse, einschließlich Connector-Synchronisierungsereignissen, Transformationsereignissen und Änderungen des Verbindungsstatus. Diese Ereignisse können über ausgehende Webhooks an externe Endpunkte gesendet werden, um sie zu überwachen, Benachrichtigungen zu erhalten und Sicherheitsanalysen durchzuführen.

Hinweis

Prüfen Sie, ob folgende Voraussetzungen erfüllt sind:

  • Eine Google SecOps-Instanz.
  • Ein Fivetran-Konto mit Administrator- oder Kontoebenenberechtigungen.
  • Zugriff auf die Google Cloud Console (zum Erstellen von API-Schlüsseln)
  • Fivetran-Konto mit aktiviertem REST API-Zugriff.

Webhook-Feed in Google SecOps erstellen

Feed erstellen

  1. Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
  2. Klicken Sie auf + Neu hinzufügen.
  3. Wählen Sie Einzelnen Feed konfigurieren aus.
  4. Geben Sie im Feld Feedname einen Namen ein, z. B. Fivetran Events.
  5. Wählen Sie Webhook als Quelltyp aus.
  6. Wählen Sie Fivetran als Protokolltyp aus.
  7. Klicken Sie auf Weiter.
  8. Geben Sie Werte für die folgenden Eingabeparameter an:
    • Trennzeichen für Aufteilung (optional): Leer lassen.
    • Asset-Namespace: Der Asset-Namespace.
    • Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.
  9. Klicken Sie auf Weiter.
  10. Prüfen Sie die neue Feedkonfiguration und klicken Sie auf Senden.

Secret-Schlüssel generieren und speichern

  1. Klicken Sie auf der Feed-Detailseite auf Geheimen Schlüssel generieren.
  2. In einem Dialogfeld wird der geheime Schlüssel angezeigt.
  3. Kopieren und speichern Sie den geheimen Schlüssel an einem sicheren Ort.

Feed-Endpunkt-URL abrufen

  1. Gehen Sie zum Tab Details des Feeds.
  2. Kopieren Sie im Abschnitt Endpunktinformationen die Feed-Endpunkt-URL.
  3. Speichern Sie diese URL für die nächsten Schritte.
  4. Klicken Sie auf Fertig.

Google Cloud API-Schlüssel erstellen

Google SecOps erfordert einen API-Schlüssel für die Authentifizierung.

API-Schlüssel erstellen

  1. Rufen Sie die Seite „Anmeldedaten“ derGoogle Cloud Console auf.
  2. Wählen Sie Ihr Projekt aus.
  3. Klicken Sie auf Anmeldedaten erstellen > API-Schlüssel.
  4. Klicken Sie auf API-Schlüssel bearbeiten, um den Schlüssel einzuschränken.

API-Schlüssel einschränken

  1. In den Einstellungen für den API-Schlüssel:
    • Name: Geben Sie einen aussagekräftigen Namen ein (z. B. SecOps Webhook API Key).
  2. Gehen Sie unter API-Einschränkungen so vor:
    1. Wählen Sie Schlüssel einschränken aus.
    2. Suchen Sie im Drop-down-Menü nach Google SecOps API (oder Chronicle API) und wählen Sie die entsprechende Option aus.
  3. Klicken Sie auf Speichern.
  4. Kopieren Sie den API-Schlüsselwert und speichern Sie ihn sicher.

Fivetran-Webhook konfigurieren

Webhook-URL erstellen

  • Kombinieren Sie die Endpunkt-URL und den API-Schlüssel:

    <ENDPOINT_URL>?key=<API_KEY>
    

Webhook mit der Fivetran REST API erstellen

Fivetran API-Anmeldedaten abrufen

  1. Melden Sie sich in Ihrem Fivetran-Konto an.
  2. Gehen Sie zu Kontoeinstellungen > API-Konfiguration.
  3. Klicken Sie auf API-Schlüssel generieren, wenn Sie noch keinen haben.
  4. Kopieren Sie den API-Schlüssel und das API-Secret.

Webhook auf Kontoebene erstellen

Verwenden Sie diese Methode, um Ereignisse von allen Connectors in Ihrem Konto zu empfangen.

  1. Öffnen Sie ein Terminal und führen Sie den folgenden Befehl aus:

    curl -X POST https://api.fivetran.com/v1/webhooks/account \
            -u "API_KEY:API_SECRET" \
            -H "Content-Type: application/json" \
            -H "Accept: application/json" \
            -d '{
                    "url": "https://{region}-chronicle.googleapis.com/v1/{parent}/logs:import?key=YOUR_CHRONICLE_API_KEY",
                    "events": [
                            "sync_start",
                            "sync_end",
                            "transformation_start",
                            "transformation_succeeded",
                            "transformation_failed",
                            "connection_successful",
                            "connection_failure",
                            "create_connector",
                            "pause_connector",
                            "resume_connector",
                            "edit_connector",
                            "delete_connector",
                            "force_update_connector",
                            "resync_connector",
                            "resync_table"
                    ],
                    "active": true,
                    "secret": "YOUR_CHRONICLE_SECRET_KEY"
            }'
    
    • Dabei ist {region} die Region Ihrer Google SecOps-Instanz (z. B. us, europe oder asia-southeast1) und {parent} der Ressourcenpfad im Format projects/<PROJECT_ID>/locations/<LOCATION>/instances/<INSTANCE_ID>/logTypes/<LOG_TYPE>.

Webhook-Details

Verfügbare Webhook-Ereignisse

Ereignis Beschreibung
sync_start Connector-Synchronisierung gestartet
sync_end Connector-Synchronisierung abgeschlossen
transformation_start Transformation gestartet
transformation_succeeded Transformation abgeschlossen
transformation_failed Transformation fehlgeschlagen
connection_successful Verbindungstest erfolgreich
connection_failure Verbindungstest fehlgeschlagen
create_connector Neuer Connector erstellt

Verhalten bei Webhook-Wiederholungsversuchen

Fivetran wiederholt fehlgeschlagene Webhooks automatisch bis zu 24 Stunden lang nach folgendem Zeitplan:

Wiederholen Zeit nach dem ersten Versuch
1. Wiederholungsversuch 6 Minuten
2. Wiederholungsversuch 27 Minuten
3. Wiederholungsversuch 1 Stunde, 45 Minuten
4. Wiederholungsversuch 6 Stunden, 25 Minuten
5. Wiederholungsversuch 23 Stunden, 13 Minuten

UDM-Zuordnungstabelle

Logfeld UDM-Zuordnung Logik
jsonPayload.connector_id additional.connector_id Wert direkt kopiert.
jsonPayload.connector_type additional.connector_type Wert direkt kopiert.
jsonPayload.data.query additional.query Wert direkt kopiert.
– metadata.event_type Wird basierend auf dem Vorhandensein von Hauptkonto und Ziel festgelegt.
jsonPayload.event metadata.product_event_type Wert direkt kopiert.
jsonPayload.sync_id metadata.product_log_id Wert direkt kopiert.
jsonPayload.connector_name principal.hostname Wert direkt kopiert.
resource.labels.email_id principal.user.email_addresses Wird zugeordnet, wenn das Format eine gültige E‑Mail-Adresse ist.
resource.labels.unique_id principal.user.userid Wert direkt kopiert.
severity security_result.severity „INFO“ wird INFORMATIONAL zugeordnet.
logName target.resource.name Wert direkt kopiert.
– target.resource.type Legen Sie DATABASE fest.
– metadata.product_name Legen Sie FIVETRAN fest.
– metadata.vendor_name Legen Sie FIVETRAN fest.

Änderungsprotokoll

Änderungsprotokoll für diesen Parser ansehen

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten