Exporter vers un projet BigQuery autogéré

Compatible avec :

Google Security Operations vous permet d'exporter des données Unified Data Model (UDM) vers un projet autogéré dont vous êtes propriétaire et que vous gérez. Vous pouvez associer votre propre Google Cloud projet à votre instance Google SecOps et gérer indépendamment les autorisations IAM , sans dépendre des paramètres gérés par Google. Vous pouvez également activer et configurer la fonctionnalité Bring Your Own BigQuery (BYOBQ) en sélectionnant Paramètres SIEM > Exportation de données.

Google SecOps exporte les catégories de données suivantes vers votre projet BigQuery :

  • udm_events : données de journal normalisées dans le schéma UDM.
  • udm_events_aggregates: données agrégées résumées par heure d'événements normalisés.
  • entity_graph : le graphique d'entités comporte trois dimensions (données contextuelles, données dérivées et contexte global). Toutes les données contextuelles et dérivées, ainsi qu'une partie des données de contexte global, sont écrites et stockées au format UDM.
  • rule_detections : détections renvoyées par les règles exécutées dans Google SecOps.
  • ioc_matches : correspondances d'IOC trouvées par rapport aux événements UDM.
  • ingestion_metrics : métriques liées au pipeline d'ingestion et de normalisation (exportées par défaut).
  • udm_enum_value_to_name_mapping : mappe les valeurs d'énumération aux noms de champs UDM (exportés par défaut).
  • entity_enum_value_to_name_mapping : mappe les valeurs d'énumération aux noms de champs d'entités (exportés par défaut).

Durée de conservation

Si vous êtes déjà client, la période de conservation que vous définissez détermine la durée pendant laquelle les données exportées pour votre BigQuery restent dans votre projet géré par Google.

La période de conservation commence à partir de la date du premier enregistrement exporté. Vous pouvez configurer une période de conservation distincte pour chaque source de données, jusqu'à un maximum qui correspond à la période de conservation des journaux par défaut dans Google SecOps.

Si aucune période de conservation n'est spécifiée, le comportement par défaut consiste à continuer à exporter les données sans nettoyage ni purge, afin de limiter la période de conservation.

Dans ce cas, vous pouvez définir la période de conservation sur Illimité :

  • Cliquez sur Paramètres SIEM > Exportation de données.
  • Dans la colonne Période de conservation du tableau Exportation de données, sélectionnez Illimité dans la liste pour le type de données concerné.

Vous pouvez ensuite configurer une règle de cycle de vie des objets dans votre Google Cloud bucket de stockage pour supprimer les objets si nécessaire.

Migration des données pour les clients existants

Si vous êtes déjà client, vos données du projet géré par Google existant ne sont pas migrées vers le projet autogéré. Comme les données ne sont pas migrées, elles se trouvent dans deux projets distincts. Pour interroger les données sur une période incluant la date d'activation du projet autogéré, vous devez effectuer l'une des actions suivantes :

  • Utilisez une seule requête qui joint les données des deux projets.
  • Exécutez deux requêtes distinctes sur les projets respectifs, une pour les données antérieures à la date d'activation du projet autogéré et une pour les données ultérieures. Lorsque la période de conservation de votre projet géré par Google expire, ces données sont supprimées. Vous ne pouvez interroger que les données qui se trouvent dans votre Google Cloud projet après ce point.

Autorisations requises pour exporter des données

Pour accéder à vos données BigQuery, exécutez vos requêtes dans BigQuery lui-même. Attribuez les rôles IAM suivants à tout utilisateur ayant besoin d'y accéder :

Lancer l'exportation de données BigQuery vers votre projet autogéré

  1. Créez un Google Cloud projet dans lequel vous souhaitez exporter vos données. Pour en savoir plus, consultez Configurer un Google Cloud projet pour Google SecOps.

  2. Associez votre projet autogéré à votre instance Google SecOps pour établir une connexion entre Google SecOps et votre projet autogéré. Pour en savoir plus, consultez Associer Google Security Operations à des Google Cloud services. Vous pouvez également activer et configurer la fonctionnalité Bring Your Own BigQuery (BYOBQ) en sélectionnant Paramètres SIEM > Exportation de données.

  3. Pour vérifier que les données sont exportées vers votre projet autogéré, consultez les tables de l'ensemble de données datalake dans BigQuery.

Vous pouvez écrire des requêtes ad hoc sur les données Google SecOps stockées dans des tables BigQuery. Vous pouvez également créer des analyses plus avancées à l'aide d' autres outils tiers qui s'intègrent à BigQuery.

Toutes les ressources créées dans votreprojet autogéré Google Cloud pour activer les exportations, y compris le bucket Cloud Storage et les tables BigQuery, se trouvent dans la même région que Google SecOps.

Si vous recevez une erreur du type Unrecognized name: <field_name> at [<some_number>:<some_number>] lorsque vous interrogez BigQuery, cela signifie que le champ auquel vous essayez d'accéder ne se trouve pas dans votre ensemble de données, car votre schéma est généré de manière dynamique lors du processus d'exportation.

Pour en savoir plus sur les données Google SecOps dans BigQuery, consultez Données Google SecOps dans BigQuery.

Utilisez les méthodes d'API décrites dans les rubriques suivantes pour accéder aux configurations d'exportation et gérer la manière dont vos données sont envoyées à BigQuery :

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.