À propos de la recherche de traçabilité multirégionale

La recherche de traçabilité multirégionale dans Knowledge Catalog (anciennement Dataplex Universal Catalog) vous permet de suivre les éléments de données dans Google Cloud les projets et les régions pour créer des graphiques de traçabilité complets. Cette vue unifiée vous aide à maintenir la gouvernance des données et à analyser les dépendances au sein de votre organisation lorsque les pipelines s'étendent au-delà des frontières géographiques. Vous pouvez découvrir et connecter des graphiques interrégionaux en utilisant l'automatisation côté serveur recommandée avec l'API searchLineageStreaming (preview) ou la distribution côté client avec l'API searchLinks. Pour savoir comment utiliser l'API de streaming, consultez Rechercher la traçabilité multirégionale à l'aide de l'automatisation côté serveur.

Par défaut, la traçabilité des données dans Knowledge Catalog est un service régional. Chaque fois que vos données sont déplacées ou transformées, les données de traçabilité qui en résultent, telles que les liens, les processus et les événements, sont stockées dans la région spécifique où cette action a eu lieu. Toutefois, les pipelines de données réels s'étendent souvent sur plusieurs projets et régionsGoogle Cloud . Par exemple, vous pouvez avoir une table BigQuery dans us-central1 qui copie des données dans un bucket de stockage dans europe-west1, ce qui nécessite une recherche multirégionale pour tracer vos éléments de données au-delà de ces limites.

Pour comprendre la découverte de la traçabilité multirégionale, il est utile de comprendre comment Knowledge Catalog gère le parcours des graphiques :

  • Critères racine : point de départ de votre recherche de traçabilité, défini par un ou plusieurs noms d'éléments (comme une table BigQuery ou un sujet Pub/Sub) ou des champs de colonne précis.

  • Direction : orientation du balayage de graphe par rapport aux critères racine. Vous pouvez effectuer une recherche en amont (pour voir d'où proviennent vos données) ou en aval (pour voir où vont vos données).

  • Recherche en largeur d'abord : mécanisme architectural utilisé pour trouver des nœuds connectés. La recherche parcourt le graphique de traçabilité couche par couche, en calculant avec précision la profondeur d'exécution de chaque élément connecté au-delà des limites régionales.

Comment se comparent les méthodes de recherche multirégionale ?

Bien que les deux méthodes vous permettent de reconstituer une vue interrégionale de vos données, elles gèrent les tâches complexes différemment :

Fonctionnalité Automatisation côté serveur
API searchLineageStreaming
API searchLinks de distribution côté client
Modèle d'exécution Automatisation côté serveur : le moteur de routage Google Cloud parcourt plusieurs régions de manière native. Orchestration côté client : le script de votre application doit effectuer une boucle manuelle et gérer les requêtes.
Surcharge de requêtes Requête API unique : un seul appel HTTP POST lance la recherche multirégionale. Requêtes API multiples : nécessite un appel HTTP distinct pour chaque région et chaque couche de graphique.
Gestion des réponses Flux en temps réel : les résultats sont envoyés au client au fur et à mesure qu'ils sont trouvés, ce qui évite les expirations de délai. Charges utiles statiques : les tableaux JSON individuels doivent être reçus, collectés et fusionnés manuellement.
Graphiques profonds (plus de deux couches) Gère automatiquement les graphiques de traçabilité profonds et imbriqués jusqu'à 100 niveaux. Souffre du problème de requête N+1 ; nécessite des allers-retours lents et itératifs de la part du client.

Choisir la bonne méthode de recherche multirégionale

Examinez les scénarios suivants pour déterminer la méthode de recherche multirégionale adaptée à votre charge de travail.

Choisissez la méthode d'API de streaming pour les cas d'utilisation suivants :

  • Tracer des graphiques profonds ou complexes : vos données transitent par plusieurs tables, buckets ou pipelines intermédiaires dans différentes régions, ce qui nécessite un parcours à plusieurs niveaux (maxDepth supérieur à 2).

  • Suivre la traçabilité au niveau des colonnes : vous souhaitez suivre les champs dans plusieurs régions ou utiliser des recherches avec des caractères génériques (*) pour extraire toutes les dépendances de colonnes en même temps.

  • Maintenir un code léger : vous préférez effectuer un seul appel d'API et laisserGoogle Cloud gérer le routage, la déduplication et l'assemblage du graphe.

  • Exiger des métadonnées de pipeline : vous souhaitez éventuellement récupérer des détails structurels sur les processus exécutant vos pipelines dans la même charge utile de requête.

Choisissez la méthode de distribution côté client pour les scénarios suivants :

  • Vous ne tracez que la traçabilité superficielle à un seul saut : votre graphique de traçabilité n'est pas complexe et vous n'avez besoin de rechercher que les liens parents ou enfants directs (maxDepth est égal à 1) dans un petit nombre fixe de régions connues.

  • Vous travaillez avec des systèmes existants stricts : vous disposez d'une application de gouvernance des données existante fortement basée sur le point de terminaison SearchLinks standard et vous souhaitez maintenir la rétrocompatibilité structurelle sans implémenter de consommateurs de réponses en streaming.

Étapes suivantes