Migra trabajos de canalización a otro proyecto de Google Cloud

Una tarea común que puedes completar es mover un trabajo de Dataflow de un proyectoGoogle Cloud a otro. Por ejemplo, es posible que desees mover trabajos de un entorno de pruebas a un entorno de producción. Los trabajos de Dataflow están vinculados al proyecto en el que se crearon y no se pueden migrar directamente a otro proyecto. Para mover un trabajo, debes detenerlo en el proyecto anterior y volver a crearlo en el proyecto nuevo.

Para mover un trabajo, debes hacer lo siguiente:

  1. Detén o desvía el trabajo en el proyecto anterior.
  2. Vuelve a crear el trabajo en el proyecto nuevo. Por ejemplo, usa el mismo código, plantilla y configuración de la canalización.
  3. Asegúrate de que todos los permisos, las cuentas de servicio y los recursos necesarios estén configurados correctamente en el proyecto nuevo para que el trabajo pueda acceder a ellos. Incluye lo siguiente:
    • Permisos: Asegúrate de que el usuario o la cuenta de servicio que ejecutan la canalización tengan los roles necesarios de Identity and Access Management (IAM) en el proyecto nuevo, como roles/dataflow.admin y roles/dataflow.worker.
    • Cuentas de servicio: La cuenta de servicio de trabajador de Dataflow será diferente en el proyecto nuevo. Asegúrate de que esta nueva cuenta de servicio tenga acceso a todos los recursos que necesita la canalización, como los buckets de Cloud Storage, los conjuntos de datos de BigQuery y los temas de Pub/Sub.
    • Recursos: Si tu canalización usa recursos como buckets de Cloud Storage, conjuntos de datos de BigQuery o temas de Pub/Sub, debes asegurarte de que existan en el proyecto nuevo o de que se pueda acceder a ellos desde el proyecto nuevo. Es posible que debas crear recursos nuevos o otorgar permisos entre proyectos.
    • Controles del servicio de VPC: Si usas los Controles del servicio de VPC, asegúrate de que el proyecto nuevo forme parte del mismo perímetro de servicio o de que hayas configurado los puentes necesarios para permitir el acceso a los recursos requeridos.

Cuando recrees el trabajo, este se iniciará como un trabajo nuevo y no conservará el estado del trabajo anterior.

Para evitar codificar parámetros específicos del proyecto, como el ID del proyecto, usa opciones de canalización para pasar estos valores a tu canalización.

Para obtener más información sobre los permisos y la seguridad de tus trabajos de Dataflow, consulta Seguridad y permisos de Dataflow.

¿Qué sigue?