Gérer les pipelines à l'aide de la gestion du contrôle du code source

Cette page explique comment gérer les pipelines à l'aide du contrôle de code source dans Cloud Data Fusion via des dépôts Git.

À propos de la gestion du contrôle du code source

Cloud Data Fusion vous permet de concevoir visuellement des pipelines pour les intégrations ETL et ELT. Pour mieux gérer les pipelines entre le développement et la production, Cloud Data Fusion permet la gestion du contrôle du code source des pipelines à l'aide de GitHub et d'autres systèmes de contrôle des versions.

La gestion du contrôle du code source dans Cloud Data Fusion vous permet d'effectuer les opérations suivantes :

• Intégrez chaque espace de noms Cloud Data Fusion à un système de contrôle des versions.
• Gérez vos pipelines dans un dépôt Git centralisé.
• Examiner et auditer les modifications apportées au pipeline.
• Rétablissez les modifications apportées au pipeline.
• Collaborez efficacement avec l'équipe tout en assurant un contrôle centralisé.

Important : La fonctionnalité de synchronisation d'un seul pipeline est disponible dans Cloud Data Fusion version 6.9.0 et ultérieure. La fonctionnalité de synchronisation de plusieurs pipelines est disponible dans Cloud Data Fusion version 6.10.0 et ultérieure.

Avant de commencer

• La gestion du contrôle du code source est compatible avec l'intégration aux dépôts GitHub, Bitbucket Server, Bitbucket Cloud et GitLab.
• GitHub OAuth n'est pas pris en charge.
• La gestion du contrôle du code source n'est compatible qu'avec les pipelines par lots.
• La gestion du contrôle de code source n'accepte que les fichiers JSON de conception de pipeline pour les opérations d'envoi et d'extraction. Les configurations d'exécution ne sont pas acceptées.
• La taille du dépôt associé est limitée à 5 Go.

Avertissement : Assurez-vous que les pipelines envoyés aux dépôts Git n'incluent pas de secrets, tels que le fichier JSON du compte de service en texte brut. Pour stocker des secrets, nous vous recommandons vivement d'utiliser des clés sécurisées.

Important : Pour vous connecter à un serveur de système de contrôle des versions à partir d'une instance Cloud Data Fusion privée, vous devez configurer les paramètres des réseaux pour l'accès à la source publique. Pour en savoir plus, consultez Créer une instance privée et Se connecter à une source publique depuis une instance privée.

Rôles et autorisations nécessaires

Remarque : Les rôles Cloud Data Fusion prédéfinis et les autorisations actuelles ne couvrent pas nécessairement les autorisations read, write et update_repo_metadata dans les dépôts Git de gestion du contrôle des sources.

La gestion du contrôle du code source dans Cloud Data Fusion comprend deux opérations clés :

• Configurer des dépôts de contrôle du code source
• Synchroniser des pipelines avec des dépôts Git à l'aide d'opérations push et pull

Pour obtenir les autorisations nécessaires pour utiliser la fonctionnalité de gestion du contrôle du code source, demandez à votre administrateur de vous accorder l'un des rôles prédéfinis suivants sur votre projet :

• Configurer le dépôt de contrôle du code source :

  • Opérateur Cloud Data Fusion (roles/datafusion.operator)
  • Éditeur Cloud Data Fusion (roles/datafusion.editor)
  • Administrateur Cloud Data Fusion (roles/datafusion.admin)

• Synchronisez les pipelines à l'aide d'une opération push ou pull à partir d'un espace de noms :

  • Opérateur Cloud Data Fusion (roles/datafusion.operator)
  • Développeur Cloud Data Fusion (roles/datafusion.developer)
  • Éditeur Cloud Data Fusion (roles/datafusion.editor)
  • Administrateur Cloud Data Fusion (roles/datafusion.admin)

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises avec d'autres rôles prédéfinis.

Configurer un dépôt Git

Pour créer un dépôt Git dans GitHub, suivez les instructions décrites dans Créer un dépôt.

Remarque Si vous utilisez une instance Private Service Connect, assurez-vous que le serveur Git n'est pas hébergé dans la plage d'adresses IP 240.0.0.0/16 ou 240.1.0.0/16 pour éviter les problèmes de connexion entre l'instance Cloud Data Fusion et le serveur Git.

Pour en savoir plus sur les jetons d'accès personnels dans GitHub et d'autres systèmes de gestion des versions, consultez les pages suivantes :

• Documentation sur les jetons d'accès Bitbucket Cloud

• Documentation sur les jetons d'accès Bitbucket Server

• GitHub : Créer un jeton d'accès personnel et Créer un jeton d'accès personnel précis

• Documentation sur les jetons d'accès GitLab

Remarque : Nous vous recommandons d'utiliser le jeton d'accès personnel GitHub précis, car les rôles tels que Opérateur Cloud Data Fusion et Éditeur Cloud Data Fusion peuvent accéder aux jetons enregistrés.

Connecter un dépôt Git à Cloud Data Fusion

Cloud Data Fusion vous permet de configurer et de connecter votre dépôt Git dans l'onglet "Gestion du contrôle de code source" pour chaque espace de noms. Pour associer un espace de noms à votre dépôt Git, procédez comme suit :

Console

1. Dans Cloud Data Fusion Studio, cliquez sur Menu.
2. Cliquez sur Administrateur de l'espace de noms.
3. Sur la page Administrateur d'espaces de noms, cliquez sur l'onglet Gestion du contrôle de code source.
4. Cliquez sur Associer un dépôt.

5. Saisissez les informations suivantes :

   • Fournisseur : choisissez un fournisseur de services Git, tel que GitHub ou GitLab.
   • URL du dépôt : saisissez l'URL permettant d'accéder à votre dépôt. Pour GitHub, l'URL du dépôt est https://github.com/HOST/REPO.
   • Branche par défaut (facultatif) : saisissez la branche initiale du Git. Cette branche peut être différente de celle configurée par défaut sur GitHub. Cette branche est utilisée pour synchroniser les pipelines, quelle que soit la branche par défaut sur GitHub.
   • Préfixe de chemin d'accès (facultatif) : saisissez un préfixe pour le nom de votre pipeline qui est enregistré dans le dépôt Git. Par exemple, si le nom de votre pipeline est DataFusionQuickStart et que vous spécifiez le préfixe namespaceName, le pipeline est enregistré sous le nom namespaceName/DataFusionQuickStart dans le dépôt Git.
   • Type d'authentification : Cloud Data Fusion vous permet d'utiliser le jeton d'accès personnalisé comme type d'authentification. Cette option est sélectionnée automatiquement.
   • Nom du jeton : saisissez un nom qui peut être associé au jeton.
   • Jeton : saisissez le jeton fourni par le dépôt GitHub.
   • Facultatif : Nom d'utilisateur : saisissez un nom d'utilisateur ou un propriétaire pour le jeton.

6. Cliquez sur Valider. Attendez que la connexion soit validée.

7. Une fois la configuration terminée, cliquez sur Enregistrer et fermer pour la confirmer.

API REST

1. Créez une clé secrète dans Cloud Data Fusion contenant le jeton d'accès personnel.

2. Exécutez la commande suivante :

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/securekeys/PASSWORD_SECRET_KEY -X PUT -d '{ "description": "Example Secure Key","data": "PERSONAL_ACCESS_TOKEN"}'
   

   Remplacez les éléments suivants :

   • NAMESPACE_ID : ID de l'espace de noms.
   • PASSWORD_SECRET_KEY : nom de la clé secrète contenant le jeton d'accès personnel.
   • PERSONAL_ACCESS_TOKEN : jeton d'accès personnel GitHub.

3. Exécutez la commande suivante :

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository -X PUT -d '{"test": "TEST_ONLY", "config": {"provider": "PROVIDER_TYPE", "link": "REPO_URL", "defaultBranch": "DEFAULT_BRANCH", "pathPrefix": "PATH_TO_DIRECTORY", "auth": {"type": "AUTH_TYPE", "patConfig": {"passwordName": "PASSWORD_SECRET_KEY", "username": "USER_NAME"}}}}'
   

   Remplacez les éléments suivants :

   • NAMESPACE_ID : ID de l'espace de noms.
   • TEST_ONLY : définissez cette valeur sur true si vous souhaitez uniquement valider la configuration et non l'ajouter.
   • PROVIDER_TYPE : nom du fournisseur Git, c'est-à-dire GITHUB.
   • REPO_URL : URL du dépôt à associer. Utilisez une URL https, par exemple https://github.com/user/repo.git.
   • DEFAULT_BRANCH : branche utilisée pour les opérations d'envoi et d'extraction. Si aucune valeur n'est spécifiée, la branche configurée par défaut dans le dépôt est utilisée (par exemple, la branche principale).
   • PATH_TO_DIRECTORY : chemin d'accès au répertoire du dépôt où sont stockés les fichiers de configuration.
   • AUTH_TYPE : type d'authentification. Seule la région PAT est compatible. Consultez Jetons d'accès personnels précis dans GitHub.
   • PASSWORD_SECRET_KEY : nom de la clé secrète contenant le jeton d'accès personnel pour le type d'authentification PAT.
   • USER_NAME : vous pouvez omettre cette valeur pour le type d'authentification PAT.

Synchroniser des pipelines Cloud Data Fusion avec un dépôt distant

Une fois que vous avez configuré un dépôt Git avec un espace de noms, vous pouvez envoyer et extraire des pipelines, et les synchroniser avec le dépôt Git.

Transférer des pipelines de Cloud Data Fusion vers un dépôt Git

Pour synchroniser plusieurs pipelines déployés à partir d'un espace de noms vers un dépôt Git, procédez comme suit :

Console

1. Dans Cloud Data Fusion Studio, cliquez sur Menu.
2. Cliquez sur Administrateur de l'espace de noms.
3. Sur la page Administrateur d'espaces de noms, cliquez sur l'onglet Gestion du contrôle de code source.
4. Recherchez le dépôt Git avec lequel vous souhaitez effectuer la synchronisation, puis cliquez sur Synchroniser les pipelines.
5. Cliquez sur l'onglet Pipelines d'espace de noms.

6. Recherchez et sélectionnez les pipelines que vous souhaitez transférer vers le dépôt Git.

   Si la dernière version du pipeline est envoyée vers ou extraite du dépôt Git, l'état Connecté à Git affiche Connected. Si le pipeline n'a jamais été envoyé à GitHub, l'état Connecté à Git est vide (-).

   Si vous déployez une version plus récente d'un pipeline déjà synchronisé avec le dépôt Git, l'état Connecté à Git passe de Connected à vide (-).

7. Cliquez sur Effectuer un transfert vers le dépôt.

8. Saisissez un message de commit, puis cliquez sur OK.

   L'opération d'envoi démarre et un message s'affiche pour indiquer que les pipelines sélectionnés sont en cours d'envoi vers le dépôt distant.

Une fois l'opération push terminée, un message de réussite s'affiche, indiquant le nombre de pipelines qui ont été transférés vers le dépôt distant.

Si l'opération push échoue, vérifiez dans GitHub que le pipeline est la dernière version. Un message d'erreur s'affiche pour chaque opération d'envoi ayant échoué. Pour afficher les détails de l'erreur, développez le message d'erreur.

Remarque : Si une opération d'envoi pour plusieurs pipelines est en cours d'exécution, vous ne pouvez pas démarrer simultanément une autre opération d'envoi ou d'extraction dans l'espace de noms tant que l'opération en cours n'est pas terminée. La liste des pipelines dans les onglets Pipelines de l'espace de noms et Pipelines du dépôt reste désactivée jusqu'à la fin de l'opération de push en cours.

Vous pouvez également transférer des pipelines individuels vers un dépôt Git depuis l'atelier de conception de pipelines :

1. Dans Cloud Data Fusion Studio, cliquez sur Menu.
2. Cliquez sur Liste.
3. Cliquez sur le pipeline que vous souhaitez transférer vers le dépôt Git.
4. Sur la page du pipeline, cliquez sur Actions > Envoyer au dépôt.
5. Saisissez un message de commit, puis cliquez sur OK.

API REST

1. Transférez un ensemble de pipelines de Cloud Data Fusion vers le dépôt Git :

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository/apps/push -X POST
   -d '{"apps": ["PIPELINE_NAME_1", "PIPELINE_NAME_2"]}, "commitMessage": "COMMIT_MESSAGE"'
   

   Remplacez les éléments suivants :

   • NAMESPACE_ID : ID de l'espace de noms.
   • PIPELINE_NAME_1, PIPELINE_NAME_2 : noms des pipelines à transférer.
   • COMMIT_MESSAGE : message de commit pour le commit Git.

   La réponse contient l'ID de l'opération de transfert. Exemple :

   RESPONSE
   {
   "id": OPERATION_ID
   }
   

2. Pour interroger l'état de l'opération de transfert, exécutez la commande suivante :

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/operations/OPERATION_ID
   

   Remplacez les éléments suivants :

   • NAMESPACE_ID : ID de l'espace de noms.
   • OPERATION_ID : ID d'opération reçu de l'opération d'envoi.

   La réponse contient l'état de l'opération d'envoi. Exemple :

   RESPONSE
   {
   "id": OPERATION_ID
   "done": True/False
   "status": STARTING/RUNNING/SUCCEEDED/FAILED
   "error": {"message": ERROR_MESSAGE, "details":[{"resourceUri": RESOURCE, "message": ERROR_MESSAGE}]}
   }
   

   Pour vérifier si l'opération d'envoi est terminée, vérifiez la propriété done dans la réponse. Si l'opération a échoué, consultez la propriété error pour en savoir plus.

Extraire des pipelines d'un dépôt Git vers Cloud Data Fusion

Pour synchroniser plusieurs pipelines d'un dépôt Git vers votre espace de noms, procédez comme suit :

Console

1. Dans Cloud Data Fusion Studio, cliquez sur Menu.
2. Cliquez sur Administrateur de l'espace de noms.
3. Sur la page Administrateur d'espaces de noms, cliquez sur l'onglet Gestion du contrôle de code source.
4. Recherchez le dépôt Git avec lequel vous souhaitez effectuer la synchronisation, puis cliquez sur Synchroniser les pipelines.
5. Cliquez sur l'onglet Pipelines de dépôt. Tous les pipelines stockés dans le dépôt Git s'affichent.
6. Recherchez et sélectionnez les pipelines que vous souhaitez extraire du dépôt Git vers votre espace de noms Cloud Data Fusion.

7. Cliquez sur Extraire du dépôt.

   L'opération d'extraction démarre et un message s'affiche pour indiquer que les pipelines sélectionnés sont en cours d'extraction depuis le dépôt distant. Cloud Data Fusion recherche les fichiers JSON dans le chemin configuré, puis les extrait et les déploie en tant que pipelines dans Cloud Data Fusion.

Une fois l'opération d'extraction terminée, un message de réussite s'affiche, indiquant le nombre de pipelines extraits du dépôt distant.

Si l'opération d'extraction échoue, un message d'erreur s'affiche. Pour afficher les détails de l'erreur, développez le message d'erreur.

Remarque : Si une opération d'extraction pour plusieurs pipelines est en cours d'exécution, vous ne pouvez pas démarrer simultanément une autre opération d'envoi ou d'extraction dans l'espace de noms tant que l'opération en cours n'est pas terminée. Les listes de pipelines dans les onglets Pipelines de l'espace de noms et Pipelines du dépôt restent désactivées jusqu'à ce que l'opération d'extraction actuelle soit terminée.

Vous pouvez également extraire des pipelines individuels d'un dépôt Git vers un espace de noms à partir de l'atelier de conception de pipelines :

1. Dans Cloud Data Fusion Studio, cliquez sur Menu.
2. Cliquez sur Liste.
3. Cliquez sur le pipeline que vous souhaitez extraire du dépôt Git.
4. Sur la page du pipeline, cliquez sur Actions > Extraire du dépôt.

API REST

1. Extrayez un ensemble de pipelines du dépôt Git vers Cloud Data Fusion :

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository/apps/pull -X POST -d '{"apps": ["PIPELINE_NAME_1", "PIPELINE_NAME_2"]}'
   

   Remplacez les éléments suivants :

   • NAMESPACE_ID : ID de l'espace de noms.
   • PIPELINE_NAME_1, PIPELINE_NAME_2 : noms des pipelines à extraire.

   La réponse contient l'ID de l'opération d'extraction. Exemple :

   RESPONSE
   {
   "id": OPERATION_ID
   }
   

2. Pour interroger l'état de l'opération d'extraction, exécutez la commande suivante :

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" 
   ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/operations/OPERATION_ID
   

   Remplacez les éléments suivants :

   • NAMESPACE_ID : ID de l'espace de noms.
   • OPERATION_ID : ID d'opération reçu de l'opération d'extraction.

   La réponse contient l'état de l'opération d'extraction. Exemple :

   RESPONSE
   {
   "id": OPERATION_ID
   "done": True/False
   "status": STARTING/RUNNING/SUCCEEDED/FAILED
   "error": {"message": ERROR_MESSAGE, "details":[{"resourceUri": RESOURCE, "message": ERROR_MESSAGE}]}
   }
   

   Pour vérifier si l'opération d'extraction est terminée, vérifiez la propriété done dans la réponse. Si l'opération a échoué, consultez la propriété error pour en savoir plus.

Supprimer la configuration du dépôt Git

Pour supprimer la configuration du dépôt Git d'un espace de noms, procédez comme suit :

Console

1. Dans Cloud Data Fusion Studio, cliquez sur Menu.
2. Cliquez sur Administrateur de l'espace de noms.
3. Sur la page Administrateur d'espaces de noms, cliquez sur l'onglet Gestion du contrôle de code source.
4. Pour la configuration du dépôt Git que vous souhaitez supprimer, cliquez sur > Supprimer.

API REST

Supprimez la configuration du dépôt Git :

curl -H "Authorization: Bearer $(gcloud auth print-access-token)"
${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/repository -X DELETE

Remplacez NAMESPACE_ID par l'ID de l'espace de noms.

Étapes suivantes

• En savoir plus sur l'utilisation d'un dépôt GitHub pour gérer les pipelines