Gérer les jobs de connecteur

Ce document explique comment afficher, mettre à jour et supprimer les tâches de connecteur Knowledge Catalog (anciennement Dataplex Universal Catalog) utilisées pour l'importation de métadonnées.

Avant de commencer

Pour gérer les tâches de connecteur, vous avez besoin des rôles IAM appropriés. Pour en savoir plus, consultez Rôles IAM.

  • Pour afficher les tâches et l'historique d'exécution :
  • Pour modifier, supprimer ou déclencher manuellement des tâches :
    • Administrateur BigQuery (roles/bigquery.admin)
    • Administrateur Dataplex (roles/dataplex.admin) ou éditeur Dataplex (roles/dataplex.editor)

Vous devez activer le service de transfert de données BigQuery.

De plus, vous devez accorder à l'agent de service du service de transfert de données BigQuery (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) l'autorisation dataplex.entryGroups.import ou le rôle Importateur de groupe d'entrées Dataplex (roles/dataplex.entryGroupImporter). Vous pouvez l'accorder au niveau du projet ou du groupe d'entrées.

Afficher les tâches de connecteur

  1. Dans la Google Cloud console, accédez à la page Knowledge Catalog.

    Accéder à Knowledge Catalog

  2. Dans le menu de navigation, dans la section Gérer, cliquez sur Connecteurs. La page Connecteurs liste toutes les tâches d'importation de métadonnées de votre projet.

  3. Pour afficher les détails, l'historique d'exécution ou la configuration d'une tâche spécifique, cliquez sur son nom à afficher dans la liste.

Afficher l'historique d'exécution et les journaux des tâches

Pour n'importe quelle tâche de connecteur, vous pouvez afficher l'historique de ses exécutions, y compris celles qui ont réussi et celles qui ont échoué. Les exécutions de tâches datant de plus de 90 jours sont automatiquement supprimées.

  1. Sur la page Connecteurs, cliquez sur le nom à afficher de la tâche que vous souhaitez afficher.
  2. Cliquez sur l'onglet Historique d'exécution. Cet onglet affiche les exécutions de tâches récentes.
  3. Pour afficher les journaux d'une exécution spécifique, recherchez-la dans la liste, puis cliquez sur Afficher les détails.

Journalisation et surveillance

Les connecteurs de métadonnées Knowledge Catalog exportent les journaux et les métriques vers Cloud Monitoring et Cloud Logging afin d'offrir plus de visibilité sur vos configurations d'importation. Vous pouvez utiliser Monitoring pour configurer des tableaux de bord afin de surveiller les configurations d'importation de métadonnées, d'évaluer les performances d'exécution et d'afficher les messages d'erreur pour résoudre les échecs d'exécution. Vous pouvez utiliser Logging pour afficher les journaux liés à une exécution ou à une configuration.

Mettre à jour une tâche de connecteur

Vous pouvez modifier la configuration d'une tâche existante, y compris sa planification, son groupe d'entrées de destination, ses paramètres de notification et les objets sources à importer.

  1. Sur la page Connecteurs, cliquez sur le nom à afficher de la tâche que vous souhaitez mettre à jour.
  2. Cliquez sur Modifier.
  3. Modifiez la configuration de la tâche selon vos besoins.
  4. Cliquez sur Enregistrer.

Activer ou désactiver une tâche de connecteur

Lorsque vous désactivez une tâche, son nom est mis à jour avec l'état disabled, et aucune nouvelle exécution de tâche n'est planifiée. Toutes les exécutions déjà en cours sont terminées. La désactivation d'une tâche ne supprime pas les métadonnées déjà importées dans Knowledge Catalog.

  1. Sur la page Connecteurs, recherchez la tâche que vous souhaitez activer ou désactiver.
  2. Cliquez sur Actions, puis sélectionnez Désactiver ou Activer.

Supprimer une tâche de connecteur

Lorsque vous supprimez une tâche, aucune nouvelle exécution n'est planifiée, et toutes les exécutions en cours sont arrêtées. La suppression d'une tâche ne supprime pas les métadonnées déjà importées dans Knowledge Catalog.

  1. Sur la page Connecteurs, recherchez la tâche que vous souhaitez supprimer.
  2. Cliquez sur Actions, puis sélectionnez Supprimer.
  3. Pour confirmer, saisissez delete, puis cliquez sur Supprimer.

Déclencher manuellement une tâche

Vous pouvez démarrer une exécution de tâche en dehors de sa planification régulière. On parle parfois de remplissage.

  1. Sur la page Connecteurs, cliquez sur le nom à afficher de la tâche que vous souhaitez exécuter.

  2. Cliquez sur Exécuter le transfert maintenant, puis sélectionnez Exécuter un transfert ponctuel.