Gérer des éléments de données à l'aide de Data Catalog

Data Catalog catalogue automatiquement les métadonnées concernant les ressources Bigtable. Cette fonctionnalité aide votre organisation à rechercher et à gérer vos éléments de données Bigtable.

Les métadonnées sont automatiquement synchronisées de Bigtable vers Data Catalog pour les ressources Bigtable suivantes :

Instances
Clusters
Tables, y compris les détails des familles de colonnes

Data Catalog est un service de gestion des métadonnées entièrement géré. Il fournit des mécanismes unifiés de visualisation et d'ajout de tags pour les métadonnées techniques et métier. Pour en savoir plus sur Data Catalog et sur les raisons pour lesquelles vous devriez l'utiliser, consultez Qu'est-ce que Data Catalog.

Avantages de l'utilisation de Data Catalog avec Bigtable

Les informations de Data Catalog sur vos données peuvent faciliter l'analyse, la réutilisation des données, le développement d'applications et la gestion des données.

Vous pouvez rechercher des entrées dans Data Catalog par nom de ressource ou par détails. Par exemple, vous pouvez rechercher un nom d'instance pour trouver l'entrée d'une instance ou rechercher une famille de colonnes pour trouver l'entrée d'une table. Vous pouvez également utiliser une recherche à facettes en appliquant des filtres pour affiner votre recherche. Pour en savoir plus, consultez Rechercher et afficher des éléments de données avec Data Catalog.

Le tagging des éléments de données peut vous aider à comprendre et à cataloguer les données disponibles dans vos tables Bigtable afin de les rendre plus détectables et consultables par d'autres utilisateurs de Data Catalog, et dans le cadre de votre patrimoine de données plus vaste. Vous utilisez des tags pour ajouter vos propres métadonnées à vos métadonnées cataloguées, puis vous pouvez utiliser ces tags pour effectuer des recherches.

Premiers pas avec Data Catalog

Pour commencer à utiliser Data Catalog afin de gérer vos éléments de données Bigtable, procédez comme suit :

Si vous n'avez jamais utilisé Data Catalog, activez l' API.
Attribuez des rôles IAM aux comptes principaux qui doivent accéder aux entrées Bigtable dans Data Catalog.
Découvrez comment rechercher des éléments de données en lisant Comment effectuer des recherches avec Data Catalog.
Consultez la syntaxe de recherche Data Catalog pour comprendre comment trouver vos métadonnées.
Lisez les concepts sur le tagging des entrées Data Catalog dans Tags et modèles de tags

Méthodes de recherche de métadonnées Bigtable

Vous pouvez rechercher des métadonnées Bigtable synchronisées à l'aide de Data Catalog.

En plus des qualificateurs standards, vous pouvez rechercher des ressources Bigtable avec les éléments suivants :

Instance
- Nom de l'instance Bigtable
- ID de l'instance Bigtable
- Emplacement du cluster
- ID du cluster
Table
- ID de la table
- Nom de la famille de colonnes
- Nom de l'instance Bigtable
- ID de l'instance Bigtable

Rôles requis

L'affichage, l'ajout de tags et la recherche de ressources Bigtable dans Data Catalog ont des exigences d'autorisation différentes. En général, accordez aux comptes principaux de votre organisation le rôle minimal requis pour effectuer une tâche.

Autorisation d'afficher les tags publics et privés

Pour obtenir les autorisations nécessaires pour afficher les tags publics et privés sur les ressources Bigtable, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Ces rôles prédéfinis contiennent les autorisations requises pour afficher les tags publics et privés. Les autorisations exactes requises sont les suivantes :

bigtable.instances.get
bigtable.clusters.get
bigtable.tables.get
datacatalog.tagTemplates.getTag

Autorisation de rechercher des ressources Bigtable

Pour obtenir les autorisations nécessaires pour rechercher des ressources Bigtable dans Data Catalog, demandez à votre administrateur de vous accorder les rôles IAM suivants :

roles/bigtable.viewer

Ces rôles prédéfinis contiennent les autorisations requises pour rechercher des ressources Bigtable. Les autorisations exactes requises sont les suivantes :

bigtable.instances.get
bigtable.clusters.get
bigtable.tables.get

Autorisation d'associer des tags aux ressources Bigtable

Pour obtenir les autorisations nécessaires pour associer des tags aux ressources Bigtable dans Data Catalog, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Ces rôles prédéfinis contiennent les autorisations requises pour ajouter des tags publics et privés. Les autorisations exactes requises sont les suivantes :

bigtable.instances.update
bigtable.clusters.update
bigtable.tables.update
datacatalog.tagTemplates.use
datacatalog.entries.updateTag

Créer un rôle personnalisé (facultatif)

Vous pouvez créer un rôle personnalisé à accorder aux utilisateurs qui ont besoin d'un accès complet à toutes les métadonnées Bigtable dans Data Catalog pour l'ensemble de votre projet ou de votre organisation. Vous pouvez ensuite faire de n'importe quel utilisateur ou compte de service qui a besoin d'accéder un compte principal du rôle personnalisé. Pour en savoir plus sur les rôles personnalisés, consultez Rôles et autorisations.

Choisissez un nom explicite pour le rôle, tel que "Éditeur de catalogue de données Bigtable", puis n'attribuez-le qu'aux comptes principaux qui en ont besoin. Pour obtenir des instructions de configuration, consultez Créer un rôle personnalisé.

Accordez les autorisations suivantes au rôle personnalisé :

bigtable.instances.get
bigtable.instances.update
bigtable.clusters.get
bigtable.clusters.update
bigtable.tables.get
bigtable.tables.update
datacatalog.tagTemplates.getTag
datacatalog.tagTemplates.use

Pour en savoir plus sur les autorisations Data Catalog, consultez Rôles permettant de rechercher Google Cloud des ressources. Pour obtenir des descriptions des autorisations Bigtable, consultez Autorisations.

Contraintes connues

La section suivante répertorie certaines contraintes que vous devez prendre en compte avant d'utiliser Data Catalog pour gérer vos métadonnées Bigtable.

Contraintes de localisation

Si votre organisation a configuré des contraintes de localisation, les entrées de métadonnées de vos ressources Bigtable peuvent ne pas être synchronisées avec Data Catalog. Toutes les entrées créées avant l'application des contraintes de localisation sont conservées par Data Catalog.

Pour autoriser Data Catalog à charger des ressources, nous vous recommandons d'ajouter la multirégion global à votre stratégie de localisation.

Exception concernant le nom de la famille de colonnes

L'API Data Catalog rejette les requêtes dans lesquelles le nom de la famille de colonnes inclut un point (.). Par exemple, si le nom de la famille de colonnes est personal.info.