Présentation de l'extraction automatique
Ce document explique comment les données sont extraites automatiquement pour améliorer la capacité d'ingestion, de traitement et d'analyse des données.
Google Security Operations utilise des analyseurs prédéfinis pour extraire et structurer les données de journaux à l'aide du schéma UDM (Unified Data Model). La gestion et la maintenance de ces analyseurs peuvent être difficiles en raison de plusieurs limites : extraction de données incomplète, nombre croissant d'analyseurs à gérer et nécessité de mises à jour fréquentes à mesure que les formats de journaux évoluent.
Pour résoudre ces problèmes, vous pouvez utiliser la fonctionnalité d'extraction automatique. Cette fonctionnalité extrait automatiquement les paires clé/valeur des journaux au format JSON et XML ingérés dans Google SecOps. Elle est également compatible avec les
journaux au format Syslog qui incluent un message JSON. Ces données extraites sont stockées dans un champ de type carte UDM appelé extracted. Vous pouvez ensuite utiliser ces données dans les requêtes de recherche UDM,
les tableaux de bord natifs et les règles YARA-L.
Bonne pratique : les recherches UDM utilisant des champs extraits doivent inclure metadata.log_type dans leur requête pour des performances de requête de recherche améliorées.
L'avantage de l'extraction automatique est la dépendance réduite aux analyseurs, ce qui garantit que les données restent disponibles, même lorsqu'un analyseur n'est pas présent ou ne parvient pas à analyser un journal.
Analyser et extraire des données du journal brut
Analyse : Google SecOps tente d'analyser les journaux à l'aide d'un analyseur spécifique au type de journal, le cas échéant. Si aucun analyseur spécifique n'existe ou si l'analyse échoue, Google SecOps utilise un analyseur général pour extraire des informations de base telles que l'horodatage ingéré, le type de journal et les libellés de métadonnées.
Extraction de données : l'extraction automatique n'est pas activée par défaut. Activez-la et sélectionnez les champs spécifiques (points de données) que vous souhaitez extraire des journaux.
Enrichissement des événements : Google SecOps combine les données analysées et tous les champs au format personnalisé pour créer des événements enrichis, fournissant ainsi plus de contexte et de détails.
Transfert de données en aval : ces événements enrichis sont ensuite envoyés à d’autres systèmes pour une analyse et un traitement plus approfondis.
- Lorsqu'un analyseur est disponible : l'extraction automatique par défaut ne se produit pas. Vous devez explicitement activer les champs spécifiques nécessaires, comme expliqué dans la section Utiliser des extracteurs.
- Lorsqu'aucun analyseur n'est disponible : l'extraction automatique se déclenche automatiquement et extrait les 100 premiers champs.
Utiliser des extracteurs
Les extracteurs vous permettent d'extraire des champs de toutes les sources de journaux compatibles et sont conçus pour optimiser la gestion des journaux. En utilisant des extracteurs, vous pouvez réduire la taille des événements, améliorer l'efficacité de l'analyse et mieux contrôler l'extraction des données. Cela est particulièrement utile pour gérer de nouveaux types de journaux ou réduire le temps de traitement.
Vous pouvez créer des extracteurs à l'aide du menu Paramètres du SIEM ou en effectuant une recherche de journaux bruts.
Créer des extracteurs
Accédez au volet Extraire des champs supplémentaires à l'aide de l'une des méthodes suivantes :
- Cliquez sur Paramètres du SIEM > Analyseurs, puis procédez comme suit :
- Dans le tableau ANALYSEURS qui s'affiche, identifiez un analyseur (source du journal) et cliquez sur Menu > Étendre l'analyseur > Extraire des champs supplémentaires.
- Utilisez l'analyse des journaux bruts, puis
procédez comme suit :
- Sélectionnez les sources de journaux (analyseurs) requises dans le menu Sources de journaux.
- Dans les résultats des journaux bruts, sélectionnez une source de journaux pour ouvrir le volet DONNÉES D'ÉVÉNEMENT.
- Dans le volet DONNÉES D'ÉVÉNEMENT, cliquez sur Gérer l'analyseur > Étendre l'analyseur > Extraire des champs supplémentaires.
- Utilisez la recherche UDM
et procédez comme suit :
- Dans l'onglet ÉVÉNEMENTS des résultats de recherche UDM, sélectionnez une source du journal pour afficher le volet Visionneuse d'événements.
- Dans l'onglet Journal brut, cliquez sur Gérer l'analyseur > Étendre l'analyseur > Extraire des champs supplémentaires.
- Cliquez sur Paramètres du SIEM > Analyseurs, puis procédez comme suit :
Dans l'onglet Sélectionner des extracteurs du volet Extraire des champs supplémentaires , sélectionnez les champs de journaux bruts requis. Par défaut, vous pouvez sélectionner jusqu'à 100 champs. Si aucun champ supplémentaire n'est disponible pour l'extraction, un avertissement s'affiche.
Cliquez sur l'onglet Référence du journal brut pour afficher les données du journal brut et prévisualiser la sortie UDM.
Cliquez sur Enregistrer.
L'extracteur nouvellement créé est libellé EXTRACTOR.
Les champs extraits s'affichent dans la sortie UDM sous la forme extracted.field{"fieldName"}.
Afficher les détails de l'extracteur
- Accédez à la ligne de l'extracteur dans le tableau ANALYSEURS , puis cliquez sur Menu > Étendre l'analyseur > Afficher l'extension.
- Sur la page AFFICHER LES ANALYSEURS PERSONNALISÉS, cliquez sur l'onglet Extensions et champs extraits.
Cet onglet affiche des informations sur les extensions d'analyseur et les champs d'extracteur. Vous pouvez modifier ou supprimer des champs et prévisualiser la sortie de l'analyseur à partir de la page AFFICHER LES ANALYSEURS PERSONNALISÉS.
Limites
- Si la taille d'un événement UDM par lot dépasse 8,2 Mo, tous les champs extraits sont supprimés.
- Si un seul événement UDM dépasse 500 Ko, les champs extraits sont supprimés.
Vous avez encore besoin d'aide ? Obtenez des réponses auprès des membres de la communauté et des professionnels de Google SecOps.