Uma tarefa comum é mover um job do Dataflow de um projetoGoogle Cloud para outro. Por exemplo, talvez você queira mover jobs de um ambiente de teste para um de produção. Os jobs do Dataflow estão vinculados ao projeto em que foram criados e não podem ser migrados diretamente para outro projeto. Para mover um job, pare o job no projeto antigo e recrie-o no novo.
Para mover um job, faça o seguinte:
- Interrompa ou drene o job no projeto antigo.
- Recrie o job no novo projeto. Por exemplo, use o mesmo código, modelo e configuração de pipeline.
- Verifique se todas as permissões, contas de serviço e recursos necessários estão
configurados corretamente no novo projeto para que o job possa acessar. Isso inclui:
- Permissões:verifique se o usuário ou a conta de serviço que executa o pipeline
tem os papéis necessários do Identity and Access Management (IAM) no novo projeto,
como
roles/dataflow.admineroles/dataflow.worker. - Contas de serviço:a conta de serviço do worker do Dataflow será diferente no novo projeto. Verifique se a nova conta de serviço tem acesso a todos os recursos necessários para o pipeline, como buckets do Cloud Storage, conjuntos de dados do BigQuery e tópicos do Pub/Sub.
- Recursos:se o pipeline usa recursos como buckets do Cloud Storage, conjuntos de dados do BigQuery ou tópicos do Pub/Sub, verifique se eles existem no novo projeto ou se podem ser acessados dele. Talvez seja necessário criar novos recursos ou conceder permissões entre projetos.
- VPC Service Controls:se você estiver usando o VPC Service Controls, verifique se o novo projeto faz parte do mesmo perímetro de serviço ou se você configurou as pontes necessárias para permitir o acesso aos recursos necessários.
- Permissões:verifique se o usuário ou a conta de serviço que executa o pipeline
tem os papéis necessários do Identity and Access Management (IAM) no novo projeto,
como
Quando você recria o job, ele começa como um novo job e não preserva o estado do job antigo.
Para evitar a fixação de parâmetros específicos do projeto, como o ID do projeto, use opções de pipeline para transmitir esses valores ao pipeline.
Para mais informações sobre as permissões e a segurança dos seus jobs do Dataflow, consulte Segurança e permissões do Dataflow.
A seguir
- Para conferir as práticas recomendadas de desenvolvimento, implantação e gerenciamento de pipelines do Dataflow, consulte Práticas recomendadas de pipeline.
- Para revisar o processo de implantação do pipeline depois de configurar o novo projeto, consulte Implantar pipelines.