Planifier des pipelines

Cette page explique comment créer une programmation pour l'exécution de votre pipeline. Par exemple, vous pouvez programmer l'exécution d'un pipeline tous les jours à 1h UTC.

Avant de commencer

Pour créer la planification, vous devez disposer d'un pipeline déployé dans Cloud Data Fusion. Si vous n'en avez pas, vous pouvez créer un pipeline en suivant le guide de démarrage rapide.

Pour créer, modifier ou suspendre une planification, ouvrez votre pipeline dans Cloud Data Fusion :

  1. Accédez à votre instance :

    1. Dans la console Google Cloud , accédez à la page Cloud Data Fusion.

    2. Pour ouvrir l'instance dans Cloud Data Fusion Studio, cliquez sur Instances, puis sur Afficher l'instance.

      Accéder à la page "Instances"

  2. Accédez à la page Liste de Cloud Data Fusion.

  3. Dans l'onglet Déployé, choisissez un pipeline.

    La page Pipeline s'ouvre. Vous pouvez créer, modifier ou suspendre une planification pour votre pipeline.

Créer la programmation

Sur la page Pipeline de Cloud Data Fusion Studio, cliquez sur Programmer.

Vous pouvez utiliser l'onglet De base ou Avancé pour définir votre planification.

De base

  1. Dans l'onglet De base, saisissez les informations suivantes concernant votre planification :

    • Fréquence, par exemple Every 5 minutes (Toutes les 5 minutes) et Repeats every 30 days (Se répète tous les 30 jours).
    • Heure de début, au format UTC.
    • Nombre maximal d'exécutions simultanées : choisissez jusqu'à 10 exécutions. Si dix pipelines sont déjà en cours d'exécution, l'exécution programmée que vous créez ne s'exécutera pas.
    • Profil Compute Engine : choisissez un profil de calcul. Par défaut, il s'agit du profil de calcul Managed Service pour Apache Spark.

  2. Cliquez sur Enregistrer et démarrer la planification (ou sur Enregistrer la planification si vous souhaitez la démarrer ultérieurement).

Avancé

  1. Dans l'onglet Avancé, définissez votre planification à l'aide de la syntaxe cron.
  2. Dans le champ Nombre maximal d'exécutions simultanées, choisissez jusqu'à 10 exécutions. Si dix pipelines sont déjà en cours d'exécution, l'exécution programmée que vous créez ne s'exécutera pas.
  3. Cliquez sur Enregistrer et démarrer la planification (ou sur Enregistrer la planification si vous souhaitez la démarrer ultérieurement).

Modifier ou suspendre la planification

  • Vous pouvez modifier, démarrer ou suspendre une planification de pipeline à partir de la page Pipeline de Cloud Data Fusion Studio.

  • Pour suspendre la planification, cliquez sur Annuler la planification.