Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Collecter les journaux Fivetran

Compatible avec :

Google SecOps SIEM

Ce document explique comment configurer Fivetran pour envoyer des journaux à Google Security Operations à l'aide de Webhooks.

Fivetran est une plate-forme d'intégration de données qui automatise les pipelines de données de diverses sources vers les entrepôts de données. Fivetran génère des événements opérationnels, y compris des événements de synchronisation de connecteur, des événements de transformation et des changements d'état de connexion. Ces événements peuvent être envoyés à des points de terminaison externes via des webhooks sortants pour la surveillance, les alertes et l'analyse de la sécurité.

Avant de commencer

Assurez-vous de remplir les conditions suivantes :

Une instance Google SecOps.
Un compte Fivetran avec des autorisations d'administrateur ou au niveau du compte.
Accès à la Google Cloud Console (pour créer une clé API).
Un compte Fivetran avec l'accès à l'API REST activé.

Créer un flux de webhook dans Google SecOps

Créer le flux

Accédez à Paramètres SIEM > Flux.
Cliquez sur + Ajouter.
Sélectionnez Configurer un flux unique.
Dans le champ Nom du flux, saisissez un nom (par exemple, Fivetran Events).
Sélectionnez Webhook comme type de source.
Sélectionnez Fivetran comme type de journal.
Cliquez sur Suivant.
Spécifiez les valeurs des paramètres d'entrée suivants :
- Délimiteur de fractionnement (facultatif) : laissez ce champ vide.
- Espace de noms de l'élément : espace de noms de l'élément.
- Libellés d'ingestion : libellé à appliquer aux événements de ce flux.
Cliquez sur Suivant.
Vérifiez la configuration de votre nouveau flux, puis cliquez sur Envoyer.

Générer et enregistrer une clé secrète

Sur la page d'informations sur le flux, cliquez sur Générer une clé secrète.
Une boîte de dialogue affiche la clé secrète.
Copiez et enregistrez la clé secrète de manière sécurisée.

Obtenir l'URL du point de terminaison du flux

Accédez à l'onglet Détails du flux.
Dans la section Endpoint Information (Informations sur le point de terminaison), copiez l'URL du point de terminaison du flux.
Enregistrez cette URL pour les étapes suivantes.
Cliquez sur OK.

Créer une clé API Google Cloud

Google SecOps nécessite une clé API pour l'authentification.

Créer la clé API

Accédez à la page Identifiants de la console Google Cloud.
Sélectionnez votre projet.
Cliquez sur Créer des identifiants > Clé API.
Cliquez sur Modifier la clé API pour la restreindre.

Restreindre la clé API

Dans les paramètres de la clé API :
- Nom : saisissez un nom descriptif (par exemple, SecOps Webhook API Key).
Sous Restrictions relatives aux API :
1. Sélectionnez Restreindre la clé.
2. Dans le menu déroulant, recherchez et sélectionnez Google SecOps API (ou Chronicle API).
Cliquez sur Enregistrer.
Copiez la valeur de la clé API et enregistrez-la de manière sécurisée.

Configurer le webhook Fivetran

Créer l'URL de webhook

Combinez l'URL du point de terminaison et la clé API :
```
<ENDPOINT_URL>?key=<API_KEY>
```

Créer un webhook à l'aide de l'API REST Fivetran

Obtenir les identifiants de l'API Fivetran

Connectez-vous à votre compte Fivetran.
Accédez à Paramètres du compte > Configuration de l'API.
Cliquez sur Générer une clé API si vous n'en avez pas.
Copiez la clé API et le code secret de l'API.

Créer un webhook au niveau du compte

Utilisez cette méthode pour recevoir des événements de tous les connecteurs de votre compte.

Ouvrez un terminal et exécutez la commande suivante :

curl -X POST [https://api.fivetran.com/v1/webhooks/account](https://api.fivetran.com/v1/webhooks/account) \
        -u "API_KEY:API_SECRET" \
        -H "Content-Type: application/json" \
        -H "Accept: application/json" \
        -d '{
                "url": "[https://malachiteingestion-pa.googleapis.com/v2/unstructuredlogentries:batchCreate?key=YOUR_CHRONICLE_API_KEY](https://malachiteingestion-pa.googleapis.com/v2/unstructuredlogentries:batchCreate?key=YOUR_CHRONICLE_API_KEY)",
                "events": [
                        "sync_start",
                        "sync_end",
                        "transformation_start",
                        "transformation_succeeded",
                        "transformation_failed",
                        "connection_successful",
                        "connection_failure",
                        "create_connector",
                        "pause_connector",
                        "resume_connector",
                        "edit_connector",
                        "delete_connector",
                        "force_update_connector",
                        "resync_connector",
                        "resync_table"
                ],
                "active": true,
                "secret": "YOUR_CHRONICLE_SECRET_KEY"
        }'

Détails du webhook

Événements de webhook disponibles

Événement	Description
`sync_start`	Synchronisation du connecteur démarrée
`sync_end`	Synchronisation du connecteur terminée
`transformation_start`	Transformation démarrée
`transformation_succeeded`	Transformation effectuée
`transformation_failed`	Échec de la transformation
`connection_successful`	Test de connexion réussi
`connection_failure`	Échec du test de connexion
`create_connector`	Connecteur créé

Comportement de nouvelle tentative du webhook

Fivetran relance automatiquement les webhooks ayant échoué pendant 24 heures maximum, selon le calendrier suivant :

Réessayer	Délai après la première tentative
1re tentative	6 minutes
2e tentative	27 minutes
3e tentative	1 heure 45 minutes
4e tentative	6 heures 25 minutes
5e tentative	23 heures 13 minutes

Table de mappage UDM

Champ de journal	Mappage UDM	Logique
`jsonPayload.connector_id`	`additional.connector_id`	Valeur copiée directement.
`jsonPayload.connector_type`	`additional.connector_type`	Valeur copiée directement.
`jsonPayload.data.query`	`additional.query`	Valeur copiée directement.
N/A	`metadata.event_type`	Définie en fonction de la présence du principal et de la cible.
`jsonPayload.event`	`metadata.product_event_type`	Valeur copiée directement.
`jsonPayload.sync_id`	`metadata.product_log_id`	Valeur copiée directement.
`jsonPayload.connector_name`	`principal.hostname`	Valeur copiée directement.
`resource.labels.email_id`	`principal.user.email_addresses`	Mappé si le format est une adresse e-mail valide.
`resource.labels.unique_id`	`principal.user.userid`	Valeur copiée directement.
`severity`	`security_result.severity`	"INFO" correspond à INFORMATIONAL.
`logName`	`target.resource.name`	Valeur copiée directement.
N/A	`target.resource.type`	Définissez la valeur sur DATABASE (BASE DE DONNÉES).
N/A	`metadata.product_name`	Doit être défini sur FIVETRAN.
N/A	`metadata.vendor_name`	Doit être défini sur FIVETRAN.

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.