Présentation de la gouvernance des données dans BigQuery

Les fonctionnalités de gouvernance intégrées à BigQuery vous permettent de découvrir, gérer, surveiller et gouverner les données et les éléments d'IA tout au long du cycle de vie des données. Les équipes chargées des données peuvent organiser les ensembles de données, enrichir les métadonnées, suivre la qualité et appliquer des règles de conformité tout en partageant les éléments de manière sécurisée et à grande échelle.

Ces fonctionnalités sont optimisées par Knowledge Catalog, un moteur de contexte universel et toujours activé qui utilise des métadonnées techniques et une sémantique métier sur l'ensemble de votre patrimoine de données pour créer un graphe de contexte auto-apprenant pour les applications en aval et les analystes de données.

Découverte de données

BigQuery découvre les données de l'organisation dans Google Cloud, qu'elles se trouvent dans BigQuery, Spanner, Cloud SQL, Pub/Sub ou Cloud Storage. Les métadonnées sont automatiquement extraites et stockées dans Knowledge Catalog. Par exemple, vous pouvez extraire des métadonnées pour des données structurées et non structurées à partir de Cloud Storage, et créer automatiquement des tables BigLake prêtes à être interrogées à grande échelle. Vous pouvez ainsi effectuer des analyses avec un moteur Open Source sans duplication des données.

Vous pouvez également extraire et cataloguer des métadonnées à partir de sources de données tierces à l'aide de connecteurs personnalisés.

BigQuery offre les fonctionnalités de découverte de données suivantes :

• Rechercher : Recherchez des données et des ressources d'IA dans les projets et l'organisation. Dans BigQuery, dans la console Google Cloud , utilisez la recherche sémantique (aperçu) pour rechercher des ressources en utilisant un langage naturel. Vous pouvez également trouver des ressources en effectuant une recherche par mot clé dans Knowledge Catalog.
• Découverte automatique des données Cloud Storage. Analysez les données stockées dans des buckets Cloud Storage pour extraire et cataloguer les métadonnées. La découverte automatique crée des tables pour les données structurées et non structurées.
• Importation de métadonnées Importez des métadonnées à grande échelle depuis des systèmes tiers dans Knowledge Catalog. Vous pouvez créer des connecteurs personnalisés pour extraire les données de vos sources de données, puis exécuter des pipelines de connectivité gérée qui orchestrent le workflow d'importation des métadonnées.
• Exportation de métadonnées. Exportez des métadonnées à effectuer un scaling horizontal Knowledge Catalog. Vous pouvez analyser les métadonnées exportées avec BigQuery, ou les intégrer dans des applications personnalisées ou des workflows de traitement programmatique.

Curation et intendance des données

Pour améliorer la visibilité et l'utilisation des données, les administrateurs et les gestionnaires de données peuvent utiliser BigQuery pour examiner, mettre à jour et analyser les métadonnées. Les fonctionnalités de curation et de gestion des données de BigQuery vous aident à vous assurer que vos données sont exactes, cohérentes et conformes aux règles de votre organisation.

BigQuery offre les fonctionnalités de curation et de gestion des données suivantes :

• Glossaire d'entreprise. Améliorez le contexte, la collaboration et la recherche en définissant la terminologie de votre organisation dans un glossaire. Identifiez les intendants des données pour les termes et associez les termes aux champs des éléments de données.
• Insights sur les données. Gemini utilise des métadonnées pour générer des questions en langage naturel sur votre table et les requêtes SQL pour y répondre. Ces insights sur les données vous aident à identifier des modèles, à évaluer la qualité des données et à effectuer des analyses statistiques.
• Profilage de données. Identifiez les caractéristiques statistiques courantes des colonnes des tables BigQuery pour comprendre et analyser vos données plus efficacement.
• Qualité des données. Définissez et exécutez des contrôles de la qualité des données dans toutes les tables de BigQuery et de Cloud Storage, et appliquez des contrôles de données réguliers et continus dans les environnements BigQuery.
• Traçabilité des données. Suivez la façon dont les données transitent par vos systèmes : leur origine, la cible de transmission, et les transformations qui leur sont appliquées. BigQuery est compatible avec la traçabilité des données au niveau des tables et des colonnes.

Étapes suivantes pour la sélection et l'intendance des données

Le tableau suivant décrit les prochaines étapes que vous pouvez suivre pour en savoir plus sur les fonctionnalités de curation et d'intendance des données :

Niveau d'expérience	Parcours de formation
Nouveaux utilisateurs cloud	Exécutez une analyse de profil de données pour obtenir des informations sur vos données, y compris les limites ou les moyennes.
Utilisateurs cloud expérimentés	Activez la traçabilité des données dans votre projet BigQuery pour enregistrer automatiquement les informations de traçabilité des opérations BigQuery, telles que la charge, la copie et les modifications de données. Remarque : Vous pouvez configurer l'ingestion de la traçabilité des données pour activer ou désactiver l'ingestion automatique de la traçabilité pour BigQuery. Configurez une analyse de la qualité des données récurrente pour vous avertir des problèmes potentiels liés aux données à l'aide de règles d'analyse prédéfinies. Configurez des règles de qualité des données personnalisées pour vos analyses de la qualité des données afin que celles-ci soient adaptées à vos besoins spécifiques.

Sécurité et contrôle des accès

La gestion de l'accès aux données consiste à définir, appliquer et surveiller les règles et les stratégies régissant l'accès aux données. La gestion des accès garantit que les données ne sont accessibles qu'aux personnes autorisées à y accéder.

BigQuery propose les fonctionnalités de sécurité et de contrôle des accès suivantes :

• Identity and Access Management (IAM). IAM vous permet de contrôler qui a accès à vos ressources BigQuery, telles que des projets, des ensembles de données, des tables et des vues. Vous pouvez attribuer des rôles IAM aux utilisateurs, aux groupes et aux comptes de service. Ces rôles définissent ce qu'ils peuvent faire avec vos ressources.
• Contrôles des accès au niveau des colonnes et Contrôles des accès au niveau des lignes. Les contrôles d'accès au niveau des colonnes et des lignes vous permettent de limiter l'accès à des colonnes et aux lignes spécifiques d'une table, en fonction des attributs utilisateur ou des valeurs des données. Ce contrôle vous permet de mettre en œuvre un accès précis afin de protéger les données sensibles contre tout accès non autorisé.
• Gestion des transferts de données. VPC Service Controls vous permet de créer des périmètres autour des ressources Google Cloudet de contrôler l'accès à ces ressources en fonction des règles de votre organisation.
• Journaux d'audit. Les journaux d'audit fournissent un enregistrement détaillé de l'activité des utilisateurs et des événements système dans votre organisation. Ces journaux vous aident à appliquer des règles de gouvernance des données et à identifier les risques de sécurité potentiels.
• Masquage des données. Le masquage des données vous permet de masquer les données sensibles d'une table tout en autorisant les utilisateurs autorisés à accéder aux données environnantes. Le masquage des données peut également masquer les données correspondant à des modèles de données sensibles afin d'éviter toute divulgation accidentelle de données.
• Chiffrement. BigQuery chiffre automatiquement toutes les données au repos et en transit, tout en vous permettant de personnaliser vos paramètres de chiffrement afin de répondre à vos exigences spécifiques.

Étapes suivantes pour la sécurité et le contrôle des accès

Le tableau suivant décrit les prochaines étapes que vous pouvez suivre pour en savoir plus sur les fonctionnalités de contrôle des accès :

Niveau d'expérience	Parcours de formation
Nouveaux utilisateurs cloud	Examinez les rôles prédéfinis dans BigQuery et envisagez d'attribuer ces rôles en suivant le principe du moindre privilège. Découvrez comment Google chiffre vos données au repos et en transit par défaut.
Utilisateurs cloud expérimentés	Pour plus de flexibilité et de précision dans la gestion de vos autorisations, envisagez de créer des rôles personnalisés correspondant à vos besoins. Ajoutez des contrôles au niveau des lignes et des colonnes pour vous aider à contrôler l'accès à des lignes et des colonnes spécifiques de vos tables. Établissez un périmètre d'accès autour de vos ressources Google Clouden configurant VPC Service Controls. Ajoutez un masquage des données au niveau des colonnes à votre table afin de partager des informations via votre organisation sans révéler de données sensibles. Utilisez Sensitive Data Protection pour rechercher des informations sensibles et à haut risque, telles que des informations permettant d'identifier personnellement l'utilisateur, des données financières et des informations médicales.

Données et insights partagés

BigQuery vous permet de partager des données et des insights à grande échelle au sein de votre organisation et au-delà. Il dispose d'un framework de sécurité et de confidentialité robuste grâce à une plate-forme d'échange de données intégrée. Le partage BigQuery vous permet de découvrir, d'accéder et d'utiliser une bibliothèque de données sélectionnées par un large choix de fournisseurs de données.

BigQuery propose les fonctionnalités de partage suivantes :

• Partagez plus que des données. Vous pouvez partager un large éventail de données et d'assets d'IA, tels que des ensembles de données, des tables, des vues, des flux en temps réel avec des sujets Pub/Sub, des procédures stockées SQL et des modèles BigQuery ML.
• Accéder aux ensembles de données Google Enrichissez vos initiatives d'analyse et de ML avec des ensembles de données Google issus des tendances de recherche, des modèles DeepMind WeatherNext, de Google Maps Platform, de Google Earth Engine et plus encore.
• Intégrer les principes de gouvernance des données Les propriétaires de données gardent le contrôle de leurs données et peuvent définir et configurer des règles ou des stratégies pour en limiter l'accès et l'utilisation.
• Partage de données en direct et sans copie. Les données sont partagées sur place, sans qu'il soit nécessaire de les intégrer, de les déplacer ou de les répliquer. Cela garantit que l'analyse est basée sur les informations les plus récentes. Les ensembles de données associés créés sont un pointeur en direct vers l'élément partagé.
• Améliorer la stratégie de sécurité. Vous pouvez utiliser des contrôles d'accès pour réduire le surprovisionnement des accès, y compris la compatibilité intégrée avec VPC Service Controls.
• Améliorez la visibilité grâce aux métriques d'utilisation du fournisseur. Les éditeurs de données peuvent afficher et surveiller l'utilisation des éléments partagés, comme le nombre de jobs exécutés, le nombre total d'octets analysés et les abonnés pour chaque organisation.
• Collaborer sur des données sensibles avec des data clean rooms. Les data clean room offrent un environnement sécurisé dans lequel plusieurs parties peuvent partager, joindre et analyser leurs éléments de données sans déplacer ni révéler les données sous-jacentes.
• Basé sur BigQuery. Vous pouvez vous appuyer sur l'évolutivité et les capacités de traitement massives de BigQuery, ce qui permet des collaborations à grande échelle.

Étapes suivantes pour le partage

Le tableau suivant décrit les prochaines étapes que vous pouvez suivre pour en savoir plus sur les fonctionnalités de partage :

Niveau d'expérience	Parcours de formation
Nouveaux utilisateurs cloud	Découvrez comment créer et gérer des échanges et des fiches pour commencer à partager des données au sein ou en dehors de votre organisation.
Utilisateurs cloud expérimentés	Partagez des données en flux continu en temps réel avec des sujets Pub/Sub. Partagez des données sensibles et collaborez dessus avec les data clean rooms. Renforcez la protection contre l'exfiltration de données en configurant VPC Service Controls autour de vos éléments partagés. Commercialisez et vendez vos éléments sur Google Cloud Marketplace.

Étapes suivantes

• En savoir plus sur l'authentification chez Google.
• Découvrez la suppression de données sur Google Cloud.
• Explorez les bonnes pratiques IAM.
• Découvrez la hiérarchie des ressources sur Google Cloud.
• En savoir plus sur IAM sur Google Cloud.