À propos de la recherche dans Knowledge Catalog

La recherche dans Knowledge Catalog (anciennement Dataplex Universal Catalog) vous permet de découvrir des ressources dans votre organisation à l'aide de requêtes en langage naturel avec correspondance sémantique, mots clés et prédicats structurés. Vous pouvez rechercher des éléments de données spécifiques, explorer les métadonnées pertinentes dans les systèmes ou récupérer des résultats limités pour les workflows programmatiques et agentiques.

Cas d'utilisation

La liste suivante décrit les cas d'utilisation courants de la recherche, ainsi que des descriptions et des exemples de requêtes :

  • Recherche d'éléments ciblés : recherchez un élément spécifique en saisissant des mots clés liés au nom, aux colonnes ou à la description de l'élément.

    Exemples de requêtes

    • retail_transactions_2026
    • customer_id
    • column:customer_id

  • Découverte de données étendue : identifiez les éléments pertinents dans votre organisation à l'aide de requêtes en langage naturel ou de mots clés.

    Exemples de requêtes

    • quarterly financial reports
    • ad campaign click through rates tables
    • server health metrics
    • audit logs system=bigquery

  • Récupération d'éléments limitée pour les workflows : énumérez les éléments d'un conteneur spécifique, tel qu'un projet, ou avec des propriétés spécifiques, telles que le type ou le système. Cette approche est fréquemment utilisée pour les workflows programmatiques et agentiques.

    Exemples de requêtes

    • type=table projectid:banking-prod aspect:classification.tier=PII
    • system=spanner projectid:inventory-service (parent=marketing_analytics OR parent=finance_analytics)

Fonctionnement

La recherche indexe automatiquement tout le contexte des éléments de données gérés dans Knowledge Catalog. parmi lesquels :

  • Métadonnées ingérées automatiquement à partir de sources de données Google Cloud telles que BigQuery et Cloud SQL
  • Contexte des ressources que vous ingérez via des connecteurs et des intégrations
  • Contexte supplémentaire que vous créez pour les ressources, par exemple pour représenter le contexte métier ou décrire la sémantique des données. Le contexte peut également être capturé sous la forme d'aspects ou de termes commerciaux associés.

Lors du traitement de votre requête, la recherche applique une combinaison de correspondance sémantique et de correspondance de mots clés. Le tableau suivant décrit les types de requêtes que vous pouvez utiliser avec la recherche Knowledge Catalog, ainsi que des descriptions et des exemples de requêtes :

Type de requête Utilisation Exemples
Mot clé unique Pour une correspondance exacte et de sous-chaîne entre les éléments de métadonnées, tels que le nom, la description et le schéma de l'élément. prd_fin_invoices_fct_v02
Mots clés partiels et fragments tokenisés Correspond aux sous-chaînes du contenu des métadonnées, en trouvant des ressources même avec des termes abrégés, des mots séparés ou des variantes de nom. fin transactions 2026 (correspond à prd_fin_transactions_fy2026_raw)
Requêtes en langage naturel Utilise la correspondance sémantique sans nécessiter de correspondance exacte de nom ou de colonne. customer churn prediction features
Prédicats structurés Combine les requêtes en texte libre avec des filtres de prédicat explicites pour affiner les résultats de recherche. audit logs system=bigquery
Syntaxe étendue Pour une recherche précise, limitée à un champ d'application spécifique. La syntaxe étendue est le plus souvent utilisée dans les cas d'utilisation agentiques et programmatiques. Pour en savoir plus, consultez Syntaxe de recherche. (system:bigquery OR system:spanner) AND column:credit_card_number aspect:classification.tier=PII -projectid:sandbox-project

Vous disposez des options suivantes pour accéder à la recherche dans Knowledge Catalog :

Portée de la recherche

Les résultats de recherche dans Knowledge Catalog respectent les autorisations dont vous disposez sur les ressources correspondantes dans les systèmes sources.

Par exemple, si vous disposez d'un accès en lecture aux métadonnées BigQuery pour un objet, cet objet s'affiche dans vos résultats de recherche Knowledge Catalog. Si vous avez accès à une table BigQuery, mais pas à l'ensemble de données contenant cette table, celle-ci apparaîtra quand même bien dans la recherche Knowledge Catalog.

Par défaut, la recherche est limitée à votre organisation. Les résultats n'incluent que les ressources de la même organisation que le projet dans lequel vous effectuez la recherche.

Les résultats de recherche n'incluent que les ressources appartenant au même périmètre VPC Service Controls que le projet dans lequel la recherche est effectuée. Lorsque vous utilisez la consoleGoogle Cloud , il s'agit du projet qui est sélectionné dans la console.

Pour élargir la portée des résultats de recherche au-delà des ressources du périmètre VPC Service Controls de votre projet, utilisez des règles d'entrée et de sortie VPC Service Controls. Ces règles favorisent un échange privé et efficace des données dans votre organisation. Vous pouvez configurer des règles d'entrée et de sortie au moyen de la consoleGoogle Cloud ou de fichiers JSON ou YAML. Reportez-vous à l'exemple YAML suivant et consultez la documentation sur VPC Service Controls pour adapter la règle à vos besoins particuliers.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Pour en savoir plus sur les rôles Identity and Access Management (IAM) dont vous avez besoin pour utiliser la recherche Knowledge Catalog, consultez Rôles IAM de Knowledge Catalog.

Isoler les résultats de recherche par environnement à l'aide de VPC Service Controls

Pour isoler les résultats de recherche Knowledge Catalog entre les différents environnements (développement, test et production, par exemple), configurez des périmètres VPC Service Controls distincts pour chaque environnement. Attribuez les projets contenant les éléments de données ainsi que les projets utilisés pour effectuer les recherches au périmètre de l'environnement correspondant. Les recherches effectuées à partir d'un projet inclus dans un périmètre spécifique ne renvoient que des résultats pour les éléments qui se trouvent dans ce même périmètre.

Limites de rappel dans la recherche

La recherche Knowledge Catalog est optimisée pour la découverte exploratoire plutôt que pour la récupération exhaustive de l'inventaire. Par conséquent, les requêtes de recherche ne garantissent pas un rappel complet. Une requête peut omettre des résultats correspondants, et les résultats renvoyés peuvent varier d'une requête répétée à l'autre.

Causes de la perte de rappel

Lorsque vous effectuez une recherche, Knowledge Catalog vérifie de manière dynamique vos autorisations par rapport à une limite de contrôle des accès de 600 restrictions (règles d'évaluation des autorisations). Si votre vérification d'accès dépasse cette limite, le système l'arrête plus tôt pour que les recherches restent rapides. Dans ce cas, la recherche peut omettre des assets correspondants.

Vous êtes plus susceptible d'atteindre cette limite si l'une des conditions suivantes s'applique :

  • Rôles IAM attribués directement à des centaines de ressources individuelles.
  • Appartenance à de nombreux groupes Google qui accordent chacun l'accès à des ressources individuelles.
  • Appartenance à des groupes Google dont l'accès est accordé directement à des centaines de ressources individuelles.

Résoudre les problèmes de limites de rappel et de résultats manquants

Pour résoudre les problèmes de rappel ou récupérer l'intégralité des métadonnées, choisissez l'approche qui correspond à votre objectif :

  • Pour corriger les résultats de recherche manquants ou incohérents : réduisez le nombre total de vérifications d'accès pour rester sous la limite de 600 restrictions. N'accordez l'accès qu'aux ressources dont vous avez besoin et supprimez l'accès aux ressources ou aux groupes Google pour lesquels vous n'avez pas besoin d'autorisations. Vous pouvez également attribuer des rôles au niveau du projet ou du dossier plutôt que sur des ressources individuelles.
  • Pour récupérer un inventaire complet et garanti des métadonnées : n'utilisez pas la recherche. Vous pouvez exporter les métadonnées vers Cloud Storage, puis interroger l'ensemble de données complet avec BigQuery.

Étapes suivantes