Gérer des éléments de données à l'aide de Knowledge Catalog

Knowledge Catalog répertorie automatiquement les métadonnées concernant les ressources Bigtable. Cette fonctionnalité vous aide à rechercher et à gérer vos éléments de données Bigtable.

Les métadonnées sont automatiquement synchronisées de Bigtable vers Knowledge Catalog pour les ressources Bigtable suivantes :

  • Instances
  • Clusters
  • Tables, y compris les détails des familles de colonnes

Knowledge Catalog est un service de gestion des métadonnées entièrement géré. Il fournit des mécanismes unifiés de visualisation et d'ajout de tags pour les métadonnées techniques et métier. Pour en savoir plus sur Knowledge Catalog et sur les raisons pour lesquelles vous devriez l'utiliser, consultez la présentation de Knowledge Catalog.

Avantages de l'utilisation de Knowledge Catalog avec Bigtable

Les informations de Knowledge Catalog sur vos données peuvent faciliter l'analyse, la réutilisation des données, le développement d'applications et la gestion des données.

Vous pouvez rechercher des entrées dans Knowledge Catalog par détails, tels que le nom de la ressource. Par exemple, vous pouvez rechercher un nom d'instance pour trouver l'entrée d'une instance ou rechercher une famille de colonnes pour trouver l'entrée d'une table. Vous pouvez également utiliser une recherche à facettes en appliquant des filtres pour affiner votre recherche. Pour en savoir plus, consultez Rechercher des ressources dans Knowledge Catalog.

Le tagging des éléments de données peut vous aider à comprendre et à répertorier les données disponibles dans vos tables Bigtable afin de les rendre plus détectables et consultables par les utilisateurs de Knowledge Catalog, et dans le cadre de votre patrimoine de données plus vaste. Vous pouvez utiliser des aspects pour ajouter vos propres métadonnées à vos métadonnées répertoriées, puis les utiliser pour effectuer des recherches.

Premiers pas avec Knowledge Catalog

Pour commencer à utiliser Knowledge Catalog afin de gérer vos éléments de données Bigtable, procédez comme suit :

  1. Activez l'API Dataplex.

  2. Attribuez des rôles IAM aux comptes principaux qui doivent accéder aux entrées Bigtable dans Knowledge Catalog.

  3. Apprenez à rechercher des éléments de données.

  4. Consultez la syntaxe de recherche de Knowledge Catalog pour comprendre comment trouver vos métadonnées.

  5. Lisez les concepts sur le tagging des entrées Knowledge Catalog. Pour en savoir plus, consultez À propos de la gestion des métadonnées dans Knowledge Catalog.

Méthodes de recherche de métadonnées Bigtable

Vous pouvez rechercher des métadonnées Bigtable synchronisées à l'aide de Knowledge Catalog.

En plus des prédicats qualifiés, vous pouvez rechercher des ressources Bigtable avec les champs de métadonnées suivants :

  • Instance

    • Nom de l'instance Bigtable
    • ID de l'instance Bigtable
    • Emplacement du cluster
    • ID du cluster

  • Table

    • ID de la table
    • Nom de la famille de colonnes
    • Nom de l'instance Bigtable
    • ID de l'instance Bigtable

Rôles requis

L'affichage, l'ajout de tags et la recherche de ressources Bigtable dans Knowledge Catalog ont des exigences d'autorisation différentes. En général, accordez aux comptes principaux de votre organisation le rôle minimal requis pour effectuer une tâche.

Autorisation d'afficher les aspects publics et privés

Pour obtenir les autorisations nécessaires pour afficher les aspects publics et privés sur les ressources Bigtable, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Ces rôles prédéfinis contiennent les autorisations requises pour afficher les aspects publics et privés. Les autorisations exactes requises sont les suivantes :

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • dataplex.aspectTypes.get

Autorisation de rechercher des ressources Bigtable

Pour obtenir les autorisations nécessaires pour rechercher des ressources Bigtable dans Knowledge Catalog, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Ces rôles prédéfinis contiennent les autorisations requises pour rechercher des ressources Bigtable. Les autorisations exactes requises sont les suivantes :

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Autorisation d'associer des aspects aux ressources Bigtable

Pour obtenir les autorisations nécessaires pour associer des aspects aux ressources Bigtable dans Knowledge Catalog, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Ces rôles prédéfinis contiennent les autorisations requises pour ajouter des aspects publics et privés. Les autorisations exactes requises sont les suivantes :

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • dataplex.aspectTypes.use
  • dataplex.entries.update

Facultatif : Créer un rôle personnalisé

Vous pouvez créer un rôle personnalisé à accorder aux utilisateurs qui ont besoin d'un accès complet à toutes les métadonnées Bigtable dans Knowledge Catalog pour l'ensemble de votre projet ou de votre organisation. Vous pouvez ensuite faire de n'importe quel utilisateur ou compte de service qui a besoin d'accéder à un compte principal du rôle personnalisé. Pour en savoir plus sur les rôles personnalisés, consultez Rôles et autorisations.

Choisissez un nom explicite pour le rôle, tel que "Éditeur Bigtable Dataplex", puis n'attribuez que les comptes principaux qui ont besoin d'accéder au rôle. Pour obtenir des instructions de configuration, consultez Créer et gérer des rôles personnalisés.

Accordez les autorisations suivantes au rôle personnalisé :

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • dataplex.aspectTypes.get
  • dataplex.aspectTypes.use

Pour en savoir plus, consultez Autorisations IAM de Knowledge Catalog. Pour obtenir des descriptions des autorisations Bigtable, consultez Autorisations.

Limites

La section suivante répertorie les contraintes que vous devez prendre en compte avant d'utiliser Knowledge Catalog pour gérer vos métadonnées Bigtable.

Contraintes de localisation

Si votre organisation a configuré des contraintes de localisation, les entrées de métadonnées de vos ressources Bigtable peuvent ne pas être synchronisées avec Knowledge Catalog. Toutes les entrées créées avant l'application des contraintes de localisation sont conservées par Knowledge Catalog.

Pour autoriser Knowledge Catalog à charger des ressources, nous vous recommandons d'ajouter la multirégion global à votre stratégie de localisation.

Exception concernant le nom de la famille de colonnes

L'API Dataplex rejette les requêtes dont le nom de la famille de colonnes inclut un point (.). Par exemple, si le nom de la famille de colonnes est personal.info.

Étape suivante