Gérer les pipelines

Les pipelines BigQuery vous permettent d'inspecter l'historique d'exécution, de configurer des alertes d'échec et de contrôler les éléments de code fournis par Dataform. Vous pouvez également enrichir les métadonnées des workflows dans Knowledge Catalog pour suivre la qualité des données et supprimer les workflows obsolètes afin de maintenir l'organisation de votre projet. Selon l'emplacement où votre équipe stocke le code, vous pouvez accéder aux pipelines dans Fichiers et dossiers, y compris les dossiers utilisateur et les dossiers d'équipe, ou dans les dépôts Git BigQuery Studio (dossiers Git) (preview).

Avant de commencer

  1. Créer un pipeline BigQuery
  2. Pour gérer les métadonnées de pipeline dans Knowledge Catalog, assurez-vous que l'API Dataplex est activée dans votre projet Google Cloud .

Rôles requis

Pour obtenir les autorisations nécessaires pour gérer les pipelines, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur IAM pour Dataform, consultez Contrôler les accès avec IAM. Pour en savoir plus sur les rôles pour les dossiers, consultez Créer et gérer des dossiers. Pour en savoir plus sur les rôles pour les dépôts Git, consultez Gérer le code avec les dépôts Git BigQuery Studio.

Si vous utilisez un compte de service personnalisé pour exécuter des pipelines, vous devez lui attribuer les rôles suivants :

Afficher les pipelines

Vous pouvez afficher et inspecter les pipelines stockés dans des dossiers ou des dossiers Git dans le volet Fichiers. Vous pouvez afficher les pipelines autonomes et les pipelines stockés dans des dossiers dans le volet Explorateur. Les pipelines stockés dans des dossiers Git ne s'affichent pas dans le volet Explorateur.

Afficher les pipelines dans le volet "Fichiers"

Les pipelines stockés dans des dossiers ou dans des dossiers Git s'affichent directement dans le volet Fichiers.

Pour afficher un pipeline stocké dans un dossier ou un dossier Git, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le volet de gauche, cliquez sur Fichiers pour ouvrir l'explorateur de fichiers.

    Si le volet de gauche ne s'affiche pas, cliquez sur Développer le volet de gauche pour l'ouvrir.

  3. Développez votre dossier Utilisateur, un dossier d'équipe ou un dossier de dépôt Git connecté.

    Les pipelines sont affichés avec une icône Pipeline au lieu d'une icône de dossier standard.

  4. Cliquez sur un dossier de pipeline pour ouvrir le lecteur de pipeline.

    Le Pipeline Viewer affiche le graphe orienté acyclique (DAG) compilé des tâches de votre pipeline, l'état d'exécution et les onglets de configuration.

  5. Développez le répertoire du pipeline dans l'explorateur de fichiers pour parcourir les répertoires imbriqués (comme definitions/) et les fichiers de tâches individuels.

Afficher les pipelines dans le volet "Explorateur"

Pour afficher la liste des pipelines autonomes et des pipelines stockés dans des dossiers, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le volet de gauche, cliquez sur Explorateur :

    Bouton du volet Explorateur mis en évidence.

    Si le volet de gauche ne s'affiche pas, cliquez sur Développer le volet de gauche pour l'ouvrir.

  3. Dans le volet Explorateur, développez votre projet et cliquez sur Pipelines.

  4. Sélectionnez un pipeline pour l'ouvrir dans le lecteur de pipeline.

Afficher les exécutions manuelles passées

Pour afficher les exécutions manuelles précédentes d'un pipeline sélectionné, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le volet de gauche, cliquez sur Explorateur :

    Bouton du volet Explorateur mis en évidence.

  3. Dans le volet Explorateur, développez votre projet, cliquez sur Pipelines, puis sélectionnez un pipeline.

  4. Cliquez sur Exécutions.

  5. Facultatif : Pour actualiser la liste des exécutions précédentes, cliquez sur Actualiser.

Configurer des alertes pour les exécutions de pipeline ayant échoué

Chaque pipeline est associé à un ID de dépôt Dataform. Chaque exécution de pipeline BigQuery est consignée dans Cloud Logging à l'aide de l'ID de dépôt Dataform correspondant. Vous pouvez utiliser Cloud Monitoring pour observer les tendances dans les journaux Cloud Logging pour les exécutions de pipelines BigQuery et pour vous avertir lorsque les conditions que vous décrivez se produisent.

Pour recevoir des alertes en cas d'échec d'une exécution de pipeline BigQuery, vous pouvez créer une règle d'alerte basée sur les journaux pour l'ID de dépôt Dataform correspondant. Pour obtenir des instructions, consultez Configurer des alertes pour les appels de workflow ayant échoué.

Pour trouver l'ID du dépôt Dataform de votre pipeline, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans le volet de gauche, cliquez sur Explorateur :

    Bouton du volet Explorateur mis en évidence.

  3. Dans le volet Explorateur, développez votre projet, cliquez sur Pipelines, puis sélectionnez un pipeline.

  4. Cliquez sur Paramètres.

    L'ID du dépôt Dataform de votre pipeline s'affiche en bas de l'onglet Paramètres.

Supprimer un pipeline

Pour supprimer définitivement un pipeline, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page BigQuery. Accéder à BigQuery

  • Pour supprimer un pipeline stocké dans un dossier ou un dossier Git, procédez comme suit :

    1. Dans le volet de gauche, cliquez sur Fichiers.

    2. Dans l'arborescence de fichiers, recherchez le dossier de pipeline que vous souhaitez supprimer.

    3. Cliquez sur Afficher les actions à côté du dossier du pipeline, puis sur Supprimer.

    4. Dans la boîte de dialogue de confirmation, cliquez sur Supprimer.

      Le dossier du pipeline ainsi que toutes les tâches et tous les fichiers qu'il contient sont supprimés de votre espace de travail.

  • Pour supprimer un pipeline listé dans le volet Explorateur, procédez comme suit :

    1. Dans le volet de gauche, cliquez sur Explorateur :

      Bouton du volet Explorateur mis en évidence.

    2. Dans le volet Explorateur, développez votre projet et cliquez sur Pipelines.

    3. Recherchez le pipeline que vous souhaitez supprimer.

    4. Cliquez sur Afficher les actions à côté du pipeline, puis sur Supprimer.

    5. Cliquez sur Supprimer.

Gérer les métadonnées dans Knowledge Catalog

Knowledge Catalog vous permet de stocker et de gérer les métadonnées des pipelines. Les pipelines sont disponibles par défaut dans Knowledge Catalog, sans configuration supplémentaire.

Vous pouvez utiliser Knowledge Catalog pour gérer les pipelines dans tous les emplacements de pipeline. La gestion des pipelines dans Knowledge Catalog est soumise aux quotas et limites de Knowledge Catalog et aux tarifs de Knowledge Catalog.

Knowledge Catalog récupère automatiquement les métadonnées suivantes à partir des pipelines :

  • Nom de l'élément de données
  • Élément de données parent
  • Emplacement de l'élément de données
  • Type d'élément de données
  • Projet Google Cloud correspondant

Knowledge Catalog consigne les pipelines en tant qu'entrées avec les valeurs d'entrée suivantes :

Groupe d'entrées système
Le groupe d'entrées système pour les pipelines est @dataform. Pour afficher les détails des entrées de pipeline dans Knowledge Catalog, vous devez afficher le groupe d'entrées système dataform. Pour savoir comment afficher la liste de toutes les entrées d'un groupe d'entrées, consultez Afficher les détails d'un groupe d'entrées dans la documentation Knowledge Catalog.
Type d'entrée système
Le type d'entrée système pour les pipelines est dataform-code-asset. Pour afficher les détails des pipelines, vous devez afficher le type d'entrée système dataform-code-asset, filtrer les résultats avec un filtre basé sur un aspect et définir le champ type dans l'aspect dataform-code-asset sur WORKFLOW. Sélectionnez ensuite une entrée du pipeline sélectionné. Pour savoir comment afficher les détails d'un type d'entrée sélectionné, consultez Afficher les détails d'un type d'entrée dans la documentation de Knowledge Catalog. Pour savoir comment afficher les détails d'une entrée sélectionnée, consultez Afficher les détails d'une entrée dans la documentation Knowledge Catalog.
Type d'aspect du système
Le type d'aspect système pour les pipelines est dataform-code-asset. Pour fournir un contexte supplémentaire aux pipelines dans Knowledge Catalog en annotant les entrées de pipeline de données avec des aspects, affichez le type d'aspect dataform-code-asset, filtrez les résultats avec un filtre basé sur l'aspect et définissez le champ type dans l'aspect dataform-code-asset sur WORKFLOW. Pour savoir comment annoter des entrées avec des aspects, consultez Gérer les aspects et enrichir les métadonnées dans la documentation Knowledge Catalog.
Type
Le type des canevas de données est WORKFLOW. Ce type vous permet de filtrer les pipelines dans le type d'entrée système dataform-code-asset et le type d'aspect dataform-code-asset à l'aide de la requête aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW dans un filtre basé sur l'aspect.

Pour savoir comment rechercher des éléments dans Knowledge Catalog, consultez Rechercher des éléments de données dans Knowledge Catalog dans la documentation de Knowledge Catalog.

Enrichissement des métadonnées et intégration de fiches d'évaluation de la qualité des données

Dataform peut publier les métadonnées suivantes dans Knowledge Catalog :

  • Type d'aspect de la présentation
  • Type d'aspect générique
  • Type d'aspect de la fiche d'évaluation sur la qualité des données

Les assertions Dataform sont automatiquement intégrées au tableau de bord de qualité des données Knowledge Catalog. Lors de l'exécution du pipeline, les résultats de toutes les assertions Dataform sont automatiquement publiés dans Knowledge Catalog. Ces résultats renseignent le tableau de données sur la qualité des données de Knowledge Catalog avec l'état "Réussite" ou "Échec".

Pour vérifier l'état d'une mise à jour de métadonnées, suivez les instructions de la section Afficher les exécutions manuelles précédentes.

Une fois les métadonnées synchronisées, vous pouvez rechercher et afficher l'entrée dans Knowledge Catalog. Pour en savoir plus, consultez Rechercher des ressources.

Étapes suivantes