Planifier des pipelines

Ce document explique comment planifier des pipelines BigQuery, y compris comment planifier des pipelines et inspecter les exécutions de pipelines planifiées.

Les pipelines sont alimentés par Dataform. Chaque programmation de pipeline est exécutée à l'aide des identifiants de votre compte Google ou d'un compte de service personnalisé que vous sélectionnez lors de la configuration de la programmation.

Les modifications que vous apportez à un pipeline sont automatiquement enregistrées, mais ne sont disponibles que pour vous et les utilisateurs disposant du rôle d'administrateur Dataform sur le projet. Pour mettre à jour la programmation avec une nouvelle version du pipeline, vous devez déployer le pipeline. Le déploiement met à jour la programmation pour utiliser votre version actuelle du pipeline. Les programmations exécutent toujours la dernière version déployée.

Les programmations de pipelines contenant des notebooks utilisent une spécification d'exécution par défaut. Lors d'une exécution programmée d'un pipeline contenant des notebooks, BigQuery écrit la sortie du notebook dans le bucket Cloud Storage sélectionné lors de la création de la programmation.

Avant de commencer

Avant de commencer, créez un pipeline.

Activer la planification de pipelines

Pour planifier des pipelines, vous devez attribuer le rôle suivant aux comptes de service personnalisés que vous prévoyez d'utiliser pour les planifications de pipelines :

Utilisateur du compte de service (roles/iam.serviceAccountUser)

Suivez la procédure décrite à la section Accorder un rôle unique à un compte de service pour ajouter votre compte de service en tant que compte principal à lui-même. En d'autres termes, ajoutez le compte de service en tant que compte principal au même compte de service. Attribuez ensuite le rôle Utilisateur du compte de service à ce compte principal.

Si votre pipeline contient des requêtes SQL, vous devez attribuer les rôles suivants aux comptes de service personnalisés ou aux comptes Google que vous prévoyez d'utiliser pour les planifications de pipeline :

Utilisateur de job BigQuery (roles/bigquery.jobUser)

Suivez la procédure décrite à la section Attribuer un rôle unique à un projet pour attribuer le rôle Utilisateur de tâche BigQuery aux comptes de service personnalisés ou aux comptes Google sur les projets à partir desquels vos pipelines lisent des données.

Lecteur de données BigQuery (roles/bigquery.dataViewer)

Suivez la procédure décrite à la section Attribuer un rôle unique à un projet pour attribuer le rôle Lecteur de données BigQuery aux comptes de service personnalisés ou aux comptes Google sur les projets à partir desquels vos pipelines lisent des données.

Éditeur de données BigQuery (roles/bigquery.dataEditor)

Suivez la procédure décrite à la section Attribuer un rôle unique à un projet pour attribuer le rôle Éditeur de données BigQuery aux comptes de service personnalisés ou aux comptes Google sur les projets dans lesquels vos pipelines écrivent des données.

Si votre pipeline contient des notebooks, vous devez attribuer les rôles suivants aux comptes de service personnalisés ou aux comptes Google que vous prévoyez d'utiliser pour les programmations de pipelines :

Utilisateur de Notebook Executor (roles/aiplatform.notebookExecutorUser)

Suivez la procédure décrite à la section Attribuer un rôle unique à un projet pour attribuer le rôle utilisateur Notebook Executor aux comptes de service personnalisés ou aux comptes Google sur le projet sélectionné.

Administrateur de l'espace de stockage (roles/storage.admin)

Suivez la procédure décrite à la section Ajouter un compte principal à une stratégie au niveau du bucket pour ajouter les comptes de service personnalisés ou les comptes Google en tant que comptes principaux au bucket Cloud Storage que vous prévoyez d'utiliser pour stocker le résultat des notebooks exécutés dans les exécutions de pipeline programmées, puis attribuez le rôle Administrateur de l'espace de stockage à ces comptes principaux.

Vous devez également attribuer les rôles suivants à l'agent de service Dataform par défaut :

Créateur de jetons du compte de service (roles/iam.serviceAccountTokenCreator)

Suivez la procédure décrite à la section Accorder l'accès à la création de jetons à un compte de service pour ajouter l'agent de service Dataform par défaut en tant que compte principal à votre compte de service, et attribuer le rôle Créateur de jetons de compte de service à ce compte principal.

Utilisateur du compte de service (roles/iam.serviceAccountUser)

Suivez les instructions de la section Attribuer ou révoquer plusieurs rôles IAM à l'aide de la console Google Cloud pour attribuer le rôle "Utilisateur du compte de service" à l'agent de service Dataform par défaut sur le compte de service personnalisé.

Pour activer l'enrichissement des métadonnées dans Knowledge Catalog, vous devez activer l'API Dataplex. Vous devez également attribuer le rôle suivant sur le projet ou sur le groupe d'entrées @bigquery aux comptes de service personnalisés ou aux comptes Google que vous prévoyez d'utiliser pour les programmations de pipelines :

Rôle Éditeur de catalogue Dataplex (roles/dataplex.catalogEditor)

Suivez la procédure décrite à la section Attribuer un rôle unique à un projet pour attribuer le rôle Éditeur de catalogue Dataplex aux comptes de service personnalisés ou aux comptes Google sur le projet ou le groupe d'entrées @bigquery.

Pour en savoir plus sur les comptes de service dans Dataform, consultez la section À propos des comptes de service dans Dataform.

Exigences relatives à VPC Service Controls

Si vous utilisez VPC Service Controls pour protéger vos pipelines, sachez que les exécutions planifiées sont gérées par Dataform. Lorsque vous configurez VPC Service Controls pour les exécutions planifiées, assurez-vous que les conditions suivantes sont remplies :

• Vous devez définir le service de règles d'administration dataform.restrictGitRemotes.
• Dataform et BigQuery doivent être limités par le même périmètre de service VPC Service Controls.
• Pour permettre aux utilisateurs de s'authentifier avec les identifiants de leur compte Google lorsqu'ils planifient ou déclenchent manuellement des exécutions, vous devez ajouter leurs identités utilisateur à vos règles d'entrée. Pour en savoir plus, consultez Mettre à jour les règles d'entrée et de sortie pour un périmètre de service et Documentation de référence sur les règles d'entrée.

Pour connaître la procédure de configuration détaillée et les considérations de sécurité, consultez Configurer VPC Service Controls pour Dataform.

Rôles requis

Pour obtenir les autorisations nécessaires pour gérer les pipelines, demandez à votre administrateur de vous accorder les rôles IAM suivants :

• Afficher et gérer les planifications :
  • Administrateur Dataform (roles/dataform.admin) sur le pipeline
  • Éditeur Dataform (roles/dataform.editor) sur le projet
• Afficher et exécuter des pipelines :
  • Lecteur Dataform (roles/dataform.viewer) sur le projet
  • Utilisateur de job BigQuery (roles/bigquery.jobUser) sur le projet
• Exécuter une programmation de pipeline avec les identifiants d'un compte Google : Utilisateur de job BigQuery (roles/bigquery.jobUser) sur le projet
• Exécuter une programmation de pipeline avec un compte de service personnalisé : Utilisateur du compte de service (roles/iam.serviceAccountUser) sur le compte de service personnalisé
• Gérer les planifications de pipeline dans les dossiers utilisateur :
  • Propriétaire de code (roles/dataform.codeOwner) sur le dossier
  • Éditeur de code (roles/dataform.codeEditor) sur le dossier
• Gérer les planifications de pipeline dans les dossiers d'équipe :
  • Propriétaire de dossier d'équipe (roles/dataform.teamFolderOwner) sur le dossier d'équipe
  • Contributeur de dossier d'équipe (roles/dataform.teamFolderContributor) sur le dossier d'équipe
• Gérer les pipelines dans les dépôts Git : Utilisateur OAuth Developer Connect (roles/developerconnect.oauthUser) sur le projet
• Activer l'enrichissement des métadonnées : Éditeur de catalogue Dataplex (roles/dataplex.catalogEditor) sur le projet ou le groupe d'entrées @bigquery

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour renforcer la sécurité de la planification, consultez Implémenter des autorisations de planification améliorées.

Pour en savoir plus sur IAM pour Dataform, consultez Contrôler les accès avec IAM.

Pour en savoir plus sur les rôles pour les dossiers, consultez Créer et gérer des dossiers.

Pour en savoir plus sur les rôles pour les dépôts Git, consultez Gérer le code avec les dépôts Git BigQuery Studio.

Pour utiliser des modèles d'exécution de notebook Colab lors de la planification de pipelines, vous devez disposer du rôle Utilisateur de l'environnement d'exécution de notebook (roles/aiplatform.notebookRuntimeUser).

Créer une programmation de pipeline

Vous pouvez également utiliser la page Pipelines et connexions pour planifier un pipeline Dataform à l'aide d'un workflow simplifié spécifique à BigQuery. Cette fonctionnalité est disponible en version preview.

Remarque : Pour les pipelines stockés dans des dossiers Git BigQuery Studio, la planification est gérée via les déploiements Dataform.

Pour créer une programmation de pipeline, procédez comme suit :

Volet Fichiers

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet de gauche, cliquez sur Fichiers pour ouvrir l'explorateur de fichiers.

   Si le volet de gauche ne s'affiche pas, cliquez sur Développer le volet de gauche pour l'ouvrir.

3. Dans le volet Fichiers, développez votre dossier Utilisateur ou un Dossier d'équipe, puis sélectionnez un pipeline.

4. Dans la barre d'outils du lecteur de pipeline, cliquez sur Planifier ou Déclencher.

5. Dans le volet Programmer un pipeline, dans le champ Nom de la programmation, saisissez un nom pour la programmation.

6. Dans la section Authentification, autorisez le pipeline avec les identifiants de votre compte Google ou un compte de service.

   • Pour utiliser les identifiants de votre compte Google (aperçu), sélectionnez Exécuter avec mes identifiants utilisateur.

     (Facultatif) Dans la section Options d'accès étendu, sélectionnez les services supplémentaires dont votre pipeline a besoin :

     • Knowledge Catalog : autorise les mises à jour des métadonnées Google Cloud Knowledge Catalog.
     • Google Drive : permet un accès en lecture seule aux fichiers Google Drive.
     • Bigtable : permet l'accès en lecture seule aux données Google Bigtable.

   • Pour utiliser un compte de service, sélectionnez Exécuter avec le compte de service sélectionné, puis sélectionnez un compte de service.

7. Si votre pipeline contient un notebook, dans la section Options du notebook, dans le champ Modèle d'environnement d'exécution, sélectionnez un modèle d'environnement d'exécution de notebook Colaboratory ou les spécifications d'environnement d'exécution par défaut. Pour en savoir plus sur la création d'un modèle d'exécution de notebook Colab, consultez Créer un modèle d'exécution.

   Remarque : Un modèle d'exécution de notebook doit se trouver dans la même région que le pipeline.
   Remarque : Si vous ne disposez pas du rôle requis pour utiliser les modèles d'exécution de notebook Colab, vous pouvez toujours exécuter et planifier des pipelines avec les spécifications d'exécution par défaut.

8. Si votre pipeline contient un notebook, dans la section Options du notebook, dans le champ Bucket Cloud Storage, cliquez sur Parcourir, puis sélectionnez ou créez un bucket Cloud Storage pour stocker la sortie des notebooks dans votre pipeline.

   Le compte de service que vous avez sélectionné doit disposer du rôle IAM "Administrateur de stockage" sur le bucket sélectionné. Pour en savoir plus, consultez Activer la programmation des pipelines.

9. Sous Type de configuration, sélectionnez Planification (récurrence temporelle).

10. Sous Fréquence de programmation, procédez comme suit :

    1. Dans le menu Répétitions, sélectionnez la fréquence d'exécution du pipeline programmé.
    2. Dans le champ À, saisissez l'heure d'exécution du pipeline programmé.
    3. Dans le menu Fuseau horaire, sélectionnez le fuseau horaire de la programmation.

11. Définissez la priorité du job de requête BigQuery avec l'option Exécuter en tant que job interactif avec une priorité élevée (par défaut). Par défaut, BigQuery exécute les requêtes en tant que jobs de requête interactifs, qui sont censés démarrer le plus rapidement possible. Si vous décochez cette option, les requêtes sont exécutées en tant que jobs de requête par lot, qui ont une priorité inférieure.

12. Cliquez sur Créer la programmation. Si vous avez sélectionné Exécuter avec mes identifiants utilisateur comme méthode d'authentification, vous devez autoriser votre compte Google (aperçu).

Lorsque vous créez la programmation, la version actuelle du pipeline est automatiquement déployée. Pour mettre à jour la planification avec une nouvelle version du pipeline, déployez le pipeline.

La dernière version déployée du pipeline s'exécute à l'heure et à la fréquence sélectionnées.

Remarque : Si une exécution de pipeline planifiée ne se termine pas avant le début de l'exécution planifiée suivante, l'exécution planifiée suivante est ignorée et marquée d'une erreur.

Volet Explorateur

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet de gauche, cliquez sur Explorateur :

   

   Si le volet de gauche ne s'affiche pas, cliquez sur Développer le volet de gauche pour l'ouvrir.

3. Dans le volet Explorateur, développez votre projet, cliquez sur Pipelines, puis sélectionnez un pipeline.

4. Cliquez sur Schedule (Programmer).

5. Dans le volet Programmer un pipeline, dans le champ Nom de la programmation, saisissez un nom pour la programmation.

6. Dans la section Authentification, autorisez le pipeline avec les identifiants de votre compte Google ou un compte de service.

   • Pour utiliser les identifiants de votre compte Google, sélectionnez Exécuter avec mes identifiants utilisateur.

     (Facultatif) Dans la section Options d'accès étendu, sélectionnez les services supplémentaires dont votre pipeline a besoin :

     • Knowledge Catalog : autorise les mises à jour des métadonnées Google Cloud Knowledge Catalog.
     • Google Drive : permet un accès en lecture seule aux fichiers Google Drive.
     • Bigtable : permet l'accès en lecture seule aux données Google Bigtable.

   • Pour utiliser un compte de service, sélectionnez Exécuter avec le compte de service sélectionné, puis sélectionnez un compte de service.

7. Si votre pipeline contient un notebook, dans la section Options du notebook, dans le champ Modèle d'environnement d'exécution, sélectionnez un modèle d'environnement d'exécution de notebook Colaboratory ou les spécifications d'environnement d'exécution par défaut. Pour en savoir plus sur la création d'un modèle d'exécution de notebook Colab, consultez Créer un modèle d'exécution.

   Remarque : Un modèle d'exécution de notebook doit se trouver dans la même région que le pipeline.
   Remarque : Si vous ne disposez pas du rôle requis pour utiliser les modèles d'exécution de notebook Colab, vous pouvez toujours exécuter et planifier des pipelines avec les spécifications d'exécution par défaut.

8. Si votre pipeline contient un notebook, dans la section Options du notebook, dans le champ Bucket Cloud Storage, cliquez sur Parcourir, puis sélectionnez ou créez un bucket Cloud Storage pour stocker la sortie des notebooks dans votre pipeline.

   Le compte de service que vous avez sélectionné doit disposer du rôle IAM "Administrateur de stockage" sur le bucket sélectionné. Pour en savoir plus, consultez Activer la planification des pipelines.

9. Sous Type de configuration, sélectionnez Planification (récurrence temporelle).

10. Sous Fréquence de programmation, procédez comme suit :

    1. Dans le menu Répétitions, sélectionnez la fréquence d'exécution du pipeline programmé.
    2. Dans le champ À, saisissez l'heure d'exécution du pipeline programmé.
    3. Dans le menu Fuseau horaire, sélectionnez le fuseau horaire de la programmation.

11. Définissez la priorité du job de requête BigQuery avec l'option Exécuter en tant que job interactif avec une priorité élevée (par défaut). Par défaut, BigQuery exécute les requêtes en tant que jobs de requête interactifs, qui sont censés démarrer le plus rapidement possible. Si vous décochez cette option, les requêtes sont exécutées en tant que jobs de requête par lot, qui ont une priorité inférieure.

12. Cliquez sur Créer la programmation. Si vous avez sélectionné Exécuter avec mes identifiants utilisateur comme méthode d'authentification, vous devez autoriser votre compte Google.

Lorsque vous créez la programmation, la version actuelle du pipeline est automatiquement déployée. Pour mettre à jour la planification avec une nouvelle version du pipeline, déployez le pipeline.

La dernière version déployée du pipeline s'exécute à l'heure et à la fréquence sélectionnées.

Remarque : Si une exécution de pipeline planifiée ne se termine pas avant le début de l'exécution planifiée suivante, l'exécution planifiée suivante est ignorée et marquée d'une erreur.

Page "Planification"

1. Dans la console Google Cloud , accédez à la page Planification.

   Accéder à la planification

2. Cliquez sur Créer, puis sélectionnez Planification de pipeline dans le menu.

3. Dans le volet Programmer un pipeline, sélectionnez un pipeline à programmer.

4. Dans le champ Nom de la programmation, saisissez un nom pour la programmation.

5. Dans la section Authentification, autorisez le pipeline avec les identifiants de votre compte Google ou un compte de service.

   • Pour utiliser les identifiants de votre compte Google, sélectionnez Exécuter avec mes identifiants utilisateur.

     (Facultatif) Dans la section Options d'accès étendu, sélectionnez les services supplémentaires dont votre pipeline a besoin :

     • Knowledge Catalog : autorise les mises à jour des métadonnées Google Cloud Knowledge Catalog.
     • Google Drive : permet un accès en lecture seule aux fichiers Google Drive.
     • Bigtable : permet l'accès en lecture seule aux données Google Bigtable.

   • Pour utiliser un compte de service, sélectionnez Exécuter avec le compte de service sélectionné, puis sélectionnez un compte de service.

6. Si votre pipeline contient un notebook, dans la section Options du notebook, dans le champ Modèle d'exécution, sélectionnez un modèle d'exécution de notebook Colab ou les spécifications d'exécution par défaut. Pour en savoir plus sur la création d'un modèle d'exécution de notebook Colab, consultez Créer un modèle d'exécution.

   Remarque : Un modèle d'exécution de notebook doit se trouver dans la même région que le pipeline.
   Remarque : Si vous ne disposez pas du rôle requis pour utiliser les modèles d'exécution de notebook Colab, vous pouvez toujours exécuter et planifier des pipelines avec les spécifications d'exécution par défaut.

7. Si votre pipeline contient un notebook, dans le champ Bucket Cloud Storage, cliquez sur Parcourir, puis sélectionnez ou créez un bucket Cloud Storage pour stocker la sortie des notebooks dans votre pipeline.

   Le compte de service que vous avez sélectionné doit disposer du rôle IAM "Administrateur de stockage" sur le bucket sélectionné. Pour en savoir plus, consultez Activer la planification des pipelines.

8. Sous Type de configuration, sélectionnez Planification (récurrence temporelle).

9. Sous Fréquence de programmation, procédez comme suit :

   1. Dans le menu Répétitions, sélectionnez la fréquence d'exécution du pipeline programmé.
   2. Dans le champ À, saisissez l'heure d'exécution du pipeline programmé.
   3. Dans le menu Fuseau horaire, sélectionnez le fuseau horaire de la programmation.

10. Définissez la priorité du job de requête BigQuery avec l'option Exécuter en tant que job interactif avec une priorité élevée (par défaut). Par défaut, BigQuery exécute les requêtes en tant que jobs de requête interactifs, qui sont censés démarrer le plus rapidement possible. Si vous décochez cette option, les requêtes sont exécutées en tant que jobs de requête par lot, qui ont une priorité inférieure.

11. Cliquez sur Créer la programmation. Si vous avez sélectionné Exécuter avec mes identifiants utilisateur comme méthode d'authentification, vous devez autoriser votre compte Google.

Remarque : Si une exécution de pipeline planifiée ne se termine pas avant le début de l'exécution planifiée suivante, l'exécution planifiée suivante est ignorée et marquée d'une erreur.

Autoriser votre compte Google

Pour authentifier la ressource avec les identifiants de votre compte Google, vous devez accorder manuellement l'autorisation aux pipelines BigQuery d'obtenir le jeton d'accès de votre compte Google et d'accéder aux données sources en votre nom. Vous pouvez accorder une approbation manuelle à l'aide de l'interface de la boîte de dialogue OAuth. Si vous sélectionnez des options d'accès étendu, vous devez accorder l'accès à ces services (par exemple, Google Drive ou Knowledge Catalog).

Remarque : Les règles d'accès contextuel (CAA), y compris les règles basées sur l'adresse IP, la géolocalisation et la conformité des appareils, ne sont pas compatibles lors de l'exécution ou de la planification de pipelines BigQuery avec des identifiants utilisateur pour un compte Google, car les requêtes de jeton proviennent de l'infrastructure Google. Les règles d'accès contextuel bloquent ces exécutions, sauf si l'ID client OAuth Dataform est exempté des règles.

Vous ne devez accorder une autorisation aux pipelines BigQuery qu'une seule fois.

Pour révoquer l'autorisation que vous avez accordée, procédez comme suit :

1. Accédez à la page de votre compte Google.
2. Cliquez sur Pipelines BigQuery.
3. Cliquez sur Supprimer l'accès.

Avertissement : La révocation des autorisations d'accès empêche toute exécution de pipeline future que ce compte Google possède dans toutes les régions.

La modification du propriétaire de la programmation du pipeline en mettant à jour les identifiants nécessite également une approbation manuelle si le nouveau propriétaire du compte Google n'a jamais créé de programmation auparavant.

Si votre pipeline contient un notebook, vous devez également accorder manuellement l'autorisation à Colab Enterprise d'obtenir le jeton d'accès pour votre compte Google et d'accéder aux données sources en votre nom. Vous n'avez besoin d'accorder l'autorisation qu'une seule fois. Vous pouvez révoquer cette autorisation sur la page de votre compte Google.

Planification basée sur des déclencheurs

Aperçu

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" de la section "Conditions générales du service" des Conditions spécifiques du service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une prise en charge limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Remarque : Pour obtenir de l'aide ou envoyer des commentaires sur cette fonctionnalité, contactez [e-mail].

Vous pouvez configurer des pipelines BigQuery pour déclencher automatiquement des exécutions en fonction des mises à jour de tables BigQuery spécifiées. Vous pouvez créer des planifications basées sur des déclencheurs pour automatiser les exécutions de pipeline en réponse aux modifications apportées à vos données BigQuery, plutôt que selon une planification fixe.

Lorsque le pipeline détecte des modifications apportées à la ou aux tables spécifiées, il déclenche une nouvelle exécution du workflow associé. Vous pouvez définir des conditions en fonction des mises à jour d'une seule table, de l'ensemble d'un ensemble de tables ou de l'une des tables d'un ensemble de tables.

Vous pouvez également ajuster les paramètres facultatifs de vos planifications basées sur des déclencheurs pour contrôler l'intervalle minimal entre les déclencheurs de pipeline. Par exemple, ajustez la valeur Durée d'exécution minimale pour vous assurer que les planifications basées sur des déclencheurs ne sont pas activées plus fréquemment que prévu. Vous pouvez également ajuster la valeur Durée d'attente maximale pour vous assurer que la planification basée sur un déclencheur est forcée de s'activer une fois pendant cette durée, même si aucune mise à jour de table n'a été détectée.

Limites

Les planifications basées sur des déclencheurs sont soumises aux limites suivantes :

• Les planifications basées sur des déclencheurs ne sont pas instantanées. Lorsque vous configurez une planification basée sur un déclencheur, le pipeline vérifie l'état de la table BigQuery environ toutes les trois minutes. Cette période est appelée "intervalle d'interrogation" et peut entraîner un délai entre la modification d'une table et l'activation du déclencheur.
• Chaque table surveillée entraîne des appels d'API vers BigQuery à chaque intervalle d'interrogation. La surveillance d'un très grand nombre de tables peut contribuer à la consommation des quotas de l'API BigQuery.

Créer un déclencheur

Pour créer un déclencheur, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Ouvrez votre pipeline dans le Pipeline Viewer en effectuant l'une des opérations suivantes :

   • Dans le volet de gauche, cliquez sur Fichiers, développez votre dossier Utilisateur ou un Dossier d'équipe, puis sélectionnez un pipeline.
   • Dans le volet de gauche, cliquez sur Explorateur, développez votre projet, cliquez sur Pipelines, puis sélectionnez un pipeline.

3. Dans la barre d'outils du lecteur de pipeline, cliquez sur Déclencher.

4. Dans le champ Déclencheur, saisissez un nom pour le déclencheur.

5. Dans la section Authentification, autorisez le pipeline avec les identifiants de votre compte Google ou un compte de service.

   • Pour utiliser les identifiants de votre compte Google, sélectionnez Exécuter avec mes identifiants utilisateur.

     Facultatif : Dans la section Options d'accès étendu, sélectionnez les services supplémentaires dont votre pipeline a besoin :

     • Knowledge Catalog : autorise les mises à jour des métadonnées Google Cloud Knowledge Catalog.
     • Google Drive : permet un accès en lecture seule aux fichiers Google Drive.
     • Bigtable : permet l'accès en lecture seule aux données Google Bigtable.

   • Pour utiliser un compte de service, sélectionnez Exécuter avec le compte de service sélectionné, puis sélectionnez un compte de service.

6. Si votre pipeline contient un notebook, dans la section Options du notebook, dans le champ Modèle d'environnement d'exécution, sélectionnez un modèle d'environnement d'exécution de notebook Colaboratory ou les spécifications d'environnement d'exécution par défaut. Pour en savoir plus sur la création d'un modèle d'exécution de notebook Colab, consultez Créer un modèle d'exécution.

   Remarque : Un modèle d'exécution de notebook doit se trouver dans la même région que le pipeline.
   Remarque : Si vous ne disposez pas du rôle requis pour utiliser les modèles d'exécution de notebook Colab, vous pouvez toujours exécuter et planifier des pipelines avec les spécifications d'exécution par défaut.

7. Si votre pipeline contient un notebook, dans la section Options du notebook, dans le champ Bucket Cloud Storage, cliquez sur Parcourir, puis sélectionnez ou créez un bucket Cloud Storage pour stocker la sortie des notebooks dans votre pipeline.

   Le compte de service que vous avez sélectionné doit disposer du rôle IAM "Administrateur de stockage" sur le bucket sélectionné. Pour en savoir plus, consultez Activer la planification des pipelines.

8. Sous Type de configuration, sélectionnez Déclencheur (exécution basée sur un événement).

9. Dans le champ Rechercher des tables, ajoutez une ou plusieurs tables à surveiller pour le déclencheur.

10. Sous Condition de déclenchement, sélectionnez l'une des options suivantes :

    • Attendre que TOUTES les tables soient mises à jour : déclenche le workflow uniquement lorsque toutes les tables listées ont été mises à jour depuis la dernière vérification.
    • Déclencher si UNE table est mise à jour : déclenche ce workflow si l'une des tables listées a été mise à jour depuis la dernière vérification.

11. (Facultatif) Pour Durée d'attente maximale, saisissez une durée pour forcer l'activation d'un déclencheur si aucune mise à jour de table n'est détectée pendant cette durée. Accepte les valeurs comprises entre 1 seconde et 7 jours. Si aucune valeur n'est spécifiée, le workflow ne s'exécute que si la table surveillée est mise à jour et que la durée d'exécution minimale est respectée.

12. (Facultatif) Pour Durée d'exécution minimale, sélectionnez une durée pour empêcher les déclencheurs de s'activer plus fréquemment que cette durée minimale. Accepte les valeurs comprises entre 3 minutes et 24 heures. Si aucune valeur n'est spécifiée, la valeur par défaut est de trois minutes.

13. Cliquez sur Créer la programmation. Si vous avez sélectionné Exécuter avec mes identifiants utilisateur comme méthode d'authentification, vous devez autoriser votre compte Google.

Résoudre les problèmes liés aux planifications basées sur des déclencheurs

Cette section décrit les problèmes courants liés aux planifications basées sur des déclencheurs et comment les résoudre.

Problème : Le déclencheur ne s'active pas

Solution : essayez l'une des étapes suivantes :

• Vérifiez que les identifiants utilisateur ou le compte de service disposent de toutes les autorisations requises.
• Vérifiez que la table BigQuery spécifiée est en cours de modification.
• Vérifiez que le déclencheur n'est pas affecté par l'intervalle d'interrogation.
• Vérifiez si la durée d'exécution minimale, ou la valeur Durée d'exécution minimale, empêche des exécutions plus fréquentes. Vous pouvez diminuer cette valeur pour augmenter la fréquence d'activation du déclencheur.
• Vérifiez si l'option de condition de déclenchement (ALL ou ANY) affecte l'activation du déclencheur.
• Examinez les journaux d'audit pour vérifier si des erreurs se produisent lorsque Dataform tente d'appeler l'API BigQuery pour vérifier l'état de la table surveillée.

Problème : Le déclencheur s'active trop souvent

Résolution : ajustez la durée d'exécution minimale ou la valeur Durée d'exécution minimale. Vous pouvez augmenter cette valeur pour réduire la fréquence d'activation du déclencheur.

Déployer un pipeline

Le déploiement d'un pipeline met à jour sa configuration de programmation ou d'orchestration avec la version actuelle du pipeline. Les exécutions programmées exécutent toujours la dernière version déployée du pipeline.

Déployer des pipelines stockés dans des dossiers

Pour déployer des pipelines autonomes et des pipelines stockés dans des dossiers, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Ouvrez votre pipeline dans le lecteur de pipeline en effectuant l'une des opérations suivantes :

   • Dans le volet de gauche, cliquez sur Fichiers, développez votre dossier Utilisateur ou un Dossier d'équipe, puis sélectionnez un pipeline.
   • Dans le volet de gauche, cliquez sur Explorateur, développez votre projet, cliquez sur Pipelines, puis sélectionnez un pipeline.

3. Dans la barre d'outils du Pipeline Viewer, cliquez sur Déployer.

La programmation correspondante est mise à jour avec la version actuelle du pipeline. La dernière version déployée du pipeline s'exécute à l'heure programmée.

Déployer des pipelines stockés dans des dépôts Git

Aperçu

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" de la section "Conditions générales du service" des Conditions spécifiques du service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une prise en charge limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Les pipelines stockés dans des dossiers Git utilisent les déploiements Dataform pour l'orchestration et la planification. Les déploiements vous permettent de configurer des configurations de version, des configurations de workflow, des remplacements de compilation et une orchestration multi-environnement.

Pour déployer un pipeline stocké dans un dépôt Git :

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet de gauche, cliquez sur Fichiers.

3. Dans l'arborescence de fichiers, développez le dossier de votre dépôt Git connecté, puis sélectionnez un pipeline ou cliquez sur le dossier du dépôt Git s'il s'agit d'un pipeline au niveau racine.

4. Dans la barre d'outils du Pipeline Viewer, cliquez sur Déployer.

5. Dans la boîte de dialogue de déploiement, configurez les configurations de version, les configurations de workflow et les paramètres d'exécution.

6. Cliquez sur Déployer.

Pour en savoir plus sur la configuration des déploiements, des configurations de version et des configurations de workflow, consultez Déploiements Dataform.

Désactiver une programmation

Pour suspendre les exécutions programmées d'un pipeline sélectionné sans supprimer la programmation, vous pouvez la désactiver.

Pour désactiver une programmation pour un pipeline sélectionné, procédez comme suit :

Volet Fichiers

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet de gauche, cliquez sur Fichiers.

3. Dans le volet Fichiers, développez votre dossier Utilisateur ou un dossier d'équipe, puis sélectionnez un pipeline.

4. Dans la barre d'outils de l'outil de visualisation de pipeline, cliquez sur Afficher le déclencheur.

5. Dans le tableau Détails de la programmation, sur la ligne État de la programmation, cliquez sur le bouton La programmation est activée.

Volet Explorateur

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet de gauche, cliquez sur Explorateur :

   

3. Dans le volet Explorateur, développez votre projet, cliquez sur Pipelines, puis sélectionnez un pipeline.

4. Cliquez sur Afficher le déclencheur.

5. Dans le tableau Détails de la programmation, sur la ligne État de la programmation, cliquez sur le bouton La programmation est activée.

Page "Planification"

1. Dans la console Google Cloud , accédez à la page Planification.

   Accéder à la planification

2. Cliquez sur le nom du pipeline sélectionné.

3. Sur la page Détails de la programmation, cliquez sur Désactiver.

Activer une programmation

Pour reprendre les exécutions programmées d'une programmation de pipeline désactivée, procédez comme suit :

Volet Fichiers

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet de gauche, cliquez sur Fichiers.

3. Dans le volet Fichiers, développez votre dossier Utilisateur ou un dossier d'équipe, puis sélectionnez un pipeline.

4. Dans la barre d'outils du Pipeline Viewer, cliquez sur Afficher le déclencheur.

5. Dans le tableau Détails de la programmation, sur la ligne État de la programmation, cliquez sur le bouton La programmation est désactivée.

Volet Explorateur

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet de gauche, cliquez sur Explorateur :

   

3. Dans le volet Explorateur, développez votre projet, cliquez sur Pipelines, puis sélectionnez un pipeline.

4. Cliquez sur Afficher le déclencheur.

5. Dans le tableau Détails de la programmation, sur la ligne État de la programmation, cliquez sur le bouton La programmation est désactivée.

Page "Planification"

1. Dans la console Google Cloud , accédez à la page Planification.

   Accéder à la planification

2. Cliquez sur le nom du pipeline sélectionné.

3. Sur la page Détails de la programmation, cliquez sur Activer.

Exécuter manuellement un pipeline déployé

Lorsque vous exécutez manuellement un pipeline déployé selon une planification sélectionnée, BigQuery exécute le pipeline déployé une fois, indépendamment de la planification.

Pour exécuter manuellement un pipeline déployé, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page Planification.

   Accéder à la planification

2. Cliquez sur le nom de la programmation de pipeline sélectionnée.

3. Sur la page Détails de la programmation, cliquez sur Exécuter.

Afficher toutes les programmations de pipeline

Pour afficher toutes les programmations de pipelines de votre projet Google Cloud , procédez comme suit :

1. Dans la console Google Cloud , accédez à la page Planification.

   Accéder à la planification

2. Facultatif : Pour afficher des colonnes supplémentaires avec les détails de la programmation de pipeline, cliquez sur Options d'affichage des colonnes, puis sélectionnez des colonnes et cliquez sur OK.

Afficher les détails de la programmation du pipeline

Pour afficher les détails d'une programmation de pipeline sélectionnée, procédez comme suit :

Volet Fichiers

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet de gauche, cliquez sur Fichiers.

3. Dans le volet Fichiers, développez votre dossier Utilisateur ou un dossier d'équipe, puis sélectionnez un pipeline.

4. Dans la barre d'outils de l'outil de visualisation de pipeline, cliquez sur Afficher le déclencheur (ou Afficher le déclencheur).

Volet Explorateur

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet de gauche, cliquez sur Explorateur :

   

3. Dans le volet Explorateur, développez votre projet, cliquez sur Pipelines, puis sélectionnez un pipeline.

4. Cliquez sur Afficher le déclencheur.

Page "Planification"

1. Dans la console Google Cloud , accédez à la page Planification.

   Accéder à la planification

2. Cliquez sur le nom de la programmation de pipeline sélectionnée.

Afficher les exécutions planifiées passées

Pour afficher les exécutions précédentes d'une programmation de pipeline sélectionnée, procédez comme suit :

Volet Fichiers

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet de gauche, cliquez sur Fichiers.

3. Dans le volet Fichiers, développez votre dossier Utilisateur, un dossier d'équipe ou un dépôt Git, puis sélectionnez un pipeline.

4. Dans la barre d'outils du lecteur de pipeline, cliquez sur Exécutions.

5. Facultatif : Pour actualiser la liste des exécutions précédentes, cliquez sur Actualiser.

Volet Explorateur

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet de gauche, cliquez sur Explorateur :

   

3. Dans le volet Explorateur, développez votre projet, cliquez sur Pipelines, puis sélectionnez un pipeline.

4. Cliquez sur Exécutions.

5. Facultatif : Pour actualiser la liste des exécutions précédentes, cliquez sur Actualiser.

Page "Planification"

1. Dans la console Google Cloud , accédez à la page Planification.

   Accéder à la planification

2. Cliquez sur le nom du pipeline sélectionné.

3. Sur la page Détails de la planification, dans la section Exécutions passées, inspectez les exécutions passées.

4. Facultatif : Pour actualiser la liste des exécutions précédentes, cliquez sur Actualiser.

Modifier la programmation d'un pipeline

Pour modifier une programmation de pipeline, procédez comme suit :

Volet Fichiers

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet de gauche, cliquez sur Fichiers.

3. Dans le volet Fichiers, développez votre dossier Utilisateur ou un Dossier d'équipe, puis sélectionnez un pipeline.

4. Dans la barre d'outils du Pipeline Viewer, cliquez sur Afficher le déclencheur, puis sur Modifier.

5. Dans la boîte de dialogue Programmer un pipeline, modifiez la programmation, puis cliquez sur Mettre à jour la programmation.

Volet Explorateur

1. Dans la console Google Cloud , accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet de gauche, cliquez sur Explorateur :

   

3. Dans le volet Explorateur, développez votre projet, cliquez sur Pipelines, puis sélectionnez un pipeline.

4. Cliquez sur Afficher le déclencheur, puis sur Modifier.

5. Dans la boîte de dialogue Programmer un pipeline, modifiez la programmation, puis cliquez sur Mettre à jour la programmation.

Page "Planification"

1. Dans la console Google Cloud , accédez à la page Planification.

   Accéder à la planification

2. Cliquez sur le nom du pipeline sélectionné.

3. Sur la page Détails de la programmation, cliquez sur Modifier.

4. Cliquez sur Afficher le déclencheur, puis sur Modifier.

5. Dans la boîte de dialogue Programmer un pipeline, modifiez la programmation, puis cliquez sur Mettre à jour la programmation.

Supprimer une programmation de pipeline

Pour supprimer définitivement une programmation de pipeline, procédez comme suit :

1. Dans la console Google Cloud , accédez à la page Planification.

   Accéder à la planification

2. Effectuez l'une des opérations suivantes :

   • Cliquez sur le nom de la programmation de pipeline sélectionnée, puis sur la page Détails de la programmation, cliquez sur Supprimer.

   • Sur la ligne contenant la programmation de pipeline sélectionnée, cliquez sur Afficher les actions dans la colonne Actions, puis sur Supprimer.

3. Dans la boîte de dialogue qui s'affiche, cliquez sur Supprimer.

Étapes suivantes

• Apprenez-en plus sur les pipelines dans BigQuery.
• Découvrez comment créer des pipelines.
• Découvrez comment gérer les pipelines.
• Découvrez comment gérer le code avec les dépôts Git BigQuery Studio.
• Découvrez comment organiser les composants de code avec des dossiers.
• En savoir plus sur les déploiements Dataform