Une tâche courante que vous pouvez effectuer consiste à déplacer une tâche Dataflow d'un projetGoogle Cloud à un autre. Par exemple, vous pouvez déplacer des jobs d'un environnement de test vers un environnement de production. Les jobs Dataflow sont liés au projet dans lequel ils ont été créés et ne peuvent pas être migrés directement vers un autre projet. Pour déplacer un job, vous devez l'arrêter dans l'ancien projet et le recréer dans le nouveau.
Pour déplacer un job, vous devez procéder comme suit :
- Arrêtez ou drainez le job dans l'ancien projet.
- Recréez le job dans le nouveau projet. Par exemple, utilisez le même code, le même modèle et la même configuration de pipeline.
- Assurez-vous que toutes les autorisations, tous les comptes de service et toutes les ressources nécessaires sont correctement configurés dans le nouveau projet pour que le job puisse y accéder. Par exemple :
- Autorisations : assurez-vous que l'utilisateur ou le compte de service qui exécute le pipeline dispose des rôles Identity and Access Management (IAM) nécessaires dans le nouveau projet, tels que
roles/dataflow.adminetroles/dataflow.worker. - Comptes de service : le compte de service de nœud de calcul Dataflow sera différent dans le nouveau projet. Assurez-vous que ce nouveau compte de service a accès à toutes les ressources dont le pipeline a besoin, telles que les buckets Cloud Storage, les ensembles de données BigQuery et les sujets Pub/Sub.
- Ressources : si votre pipeline utilise des ressources telles que des buckets Cloud Storage, des ensembles de données BigQuery ou des thèmes Pub/Sub, vous devez vous assurer qu'elles existent dans le nouveau projet ou qu'elles sont accessibles depuis celui-ci. Vous devrez peut-être créer des ressources ou accorder des autorisations interprojets.
- VPC Service Controls : si vous utilisez VPC Service Controls, assurez-vous que le nouveau projet fait partie du même périmètre de service ou que vous avez configuré les liaisons nécessaires pour autoriser l'accès aux ressources requises.
- Autorisations : assurez-vous que l'utilisateur ou le compte de service qui exécute le pipeline dispose des rôles Identity and Access Management (IAM) nécessaires dans le nouveau projet, tels que
Lorsque vous recréez le job, il démarre en tant que nouveau job et ne conserve pas l'état de l'ancien job.
Pour éviter de coder en dur des paramètres spécifiques au projet, tels que l'ID de projet, utilisez les options de pipeline pour transmettre ces valeurs à votre pipeline.
Pour en savoir plus sur les autorisations et la sécurité de vos jobs Dataflow, consultez Sécurité et autorisations Dataflow.
Étapes suivantes
- Pour connaître les bonnes pratiques de développement, de déploiement et de gestion de vos pipelines Dataflow, consultez Bonnes pratiques pour les pipelines.
- Pour passer en revue le processus de déploiement de votre pipeline après avoir configuré votre nouveau projet, consultez Déployer des pipelines.