Exporter vers un projet BigQuery géré par Google

Compatible avec :

Google SecOps fournit un lac de données géré de télémétrie normalisée et enrichie par des renseignements sur les menaces en exportant des données vers BigQuery. Vous pouvez ainsi :

  • exécuter des requêtes ad hoc directement dans BigQuery ;
  • utiliser vos propres outils d'informatique décisionnelle, tels que Looker ou Microsoft Power BI, pour créer des tableaux de bord, des rapports et des analyses ;
  • associer des données Google SecOps à des ensembles de données tiers ;
  • exécuter des analyses à l'aide d'outils de data science ou de machine learning ;
  • exécuter des rapports à l'aide de tableaux de bord par défaut prédéfinis et de tableaux de bord personnalisés.

Google SecOps exporte les catégories de données suivantes vers BigQuery :

  • Enregistrements d'événements UDM : enregistrements UDM créés à partir de données de journal ingérées par les clients. Ces enregistrements sont enrichis avec des informations d'alias.
  • Correspondances de règles (détections) : instances où une règle correspond à un ou plusieurs événements.
  • Correspondances d'indicateurs de compromission : artefacts (par exemple, domaines, adresses IP) provenant d'événements qui correspondent à des flux d'indicateurs de compromission. Cela inclut les correspondances avec les flux globaux et les flux spécifiques aux clients.
  • Métriques d'ingestion : incluent des statistiques telles que le nombre de lignes de journal ingérées, le nombre d'événements produits à partir des journaux, le nombre d'erreurs de journal indiquant que les journaux n'ont pas pu être analysés, et l'état des redirecteurs Google SecOps. Pour en savoir plus, consultez la page Schéma BigQuery des métriques d'ingestion.
  • Graphique d'entités et relations entre entités : stocke la description des entités et leurs relations avec d'autres entités.

Présentation des tables

Google SecOps crée l'ensemble de données datalake dans BigQuery et les tables suivantes :

  • entity_enum_value_to_name_mapping: pour les types énumérés dans la table entity_graph, mappe les valeurs numériques aux valeurs de chaîne.
  • entity_graph : stocke les données sur les entités UDM.
  • events: stocke les données sur les événements UDM.
  • ingestion_metrics: stocke les statistiques liées à l'ingestion et à la normalisation des données provenant de sources d'ingestion spécifiques, telles que les redirecteurs Google SecOps, les flux et l'API d'ingestion.
  • ioc_matches : stocke les correspondances d'indicateurs de compromission trouvées par rapport aux événements UDM.
  • job_metadata: table interne utilisée pour suivre l'exportation de données vers BigQuery.
  • rule_detections : stocke les détections renvoyées par les règles exécutées dans Google SecOps. Cette table n'inclut que les détections provenant de règles qui étaient actives (par exemple, activées et non supprimées) au moment de l'exécution du processus d'exportation. Les détections provenant de règles qui ont été désactivées ou supprimées avant l'exécution de la tâche d'exportation ne seront pas incluses dans cette table, même si l'heure de détection se situe dans la plage de requêtes.
  • rulesets: stocke des informations sur les détections optimisées par Google SecOps, y compris la catégorie à laquelle appartient chaque ensemble de règles, s'il est activé et l'état actuel des alertes.
  • udm_enum_value_to_name_mapping: pour les types énumérés dans la table des événements, mappe les valeurs numériques aux valeurs de chaîne.
  • udm_events_aggregates : stocke les données agrégées résumées par heure des événements normalisés. Cette table est remplie dans la mesure du possible. Les données de chaque heure ne sont pas immédiatement disponibles et peuvent être retardées.

Actualité des données et calendrier d'exportation

Les données des tables BigQuery sont mises à jour à différents intervalles. Comprendre ces intervalles peut vous aider à définir vos attentes concernant la disponibilité des données :

  • Événements UDM (table events) : généralement mis à jour fréquemment, avec des données généralement disponibles environ deux heures après l'ingestion.
  • Exportations dans la mesure du possible : de nombreux autres ensembles de données sont exportés dans la mesure du possible. Cela inclut, sans s'y limiter :
    • udm_events_aggregates
    • rule_detections
    • ioc_matches
    • entity_graph
    • ingestion_metrics

Pour les tables exportées dans la mesure du possible, les mises à jour sont régulières, mais aucune latence ni aucun calendrier ne sont strictement engagés. Des retards peuvent se produire, et pour les agrégations horaires telles que udm_events_aggregates, les données de chaque heure ne sont pas immédiatement disponibles à la fin de l'heure. Les données devraient généralement être mises à jour dans un délai d'un jour.

Accéder aux données dans BigQuery

Vous pouvez exécuter des requêtes directement dans BigQuery ou connecter votre propre outil d'informatique décisionnelle, tel que Looker ou Microsoft Power BI, à BigQuery.

Pour activer l'accès à l'instance BigQuery, utilisez l' API d'accès BigQuery de Google SecOps. Vous pouvez fournir une adresse e-mail pour un utilisateur ou un groupe dont vous êtes propriétaire. Si vous configurez l'accès à un groupe, utilisez-le pour gérer les membres de l'équipe qui peuvent accéder à l'instance BigQuery.

Pour connecter Looker ou un autre outil d'informatique décisionnelle à BigQuery, contactez votre représentant Google SecOps pour obtenir les identifiants du compte de service qui vous permettent de connecter une application à l'ensemble de données BigQuery de Google SecOps. Le compte de service disposera du rôle IAM Lecteur de données BigQuery (roles/bigquery.dataViewer) et du rôle Lecteur de tâches BigQuery (roles/bigquery.jobUser).

Conservation des données

Pour les clients Google SecOps Enterprise Plus qui utilisent BigQuery géré par Google, les paramètres de conservation suivants s'appliquent :

  • Anciens clients Google SecOps Enterprise Plus (en cours d'abandon) :

    • Tables ioc_matches et rule_detections : aucune limite de conservation n'est définie en raison du faible volume.
    • entity_graph, udm_events_aggregates et autres tables partitionnées, à l'exception de la table events : 180 jours.
    • Table events (événements UDM) : les données sont conservées conformément à votre contrat Google SecOps ou à la valeur par défaut de 366 jours si elle n'est pas spécifiée dans le contrat.

  • Nouveaux clients : la durée de conservation est régie par le contrat Google SecOps (conformément à la fonctionnalité BigQuery Export avancée).

Étape suivante

Vous avez encore besoin d'aide ? Obtenez des réponses auprès des membres de la communauté et des professionnels Google SecOps.