일반적으로 완료하는 작업은 Dataflow 작업을 한Google Cloud 프로젝트에서 다른 프로젝트로 이동하는 것입니다. 예를 들어 테스트 환경에서 프로덕션 환경으로 작업을 이동할 수 있습니다. Dataflow 작업은 생성된 프로젝트에 바인딩되며 다른 프로젝트로 직접 이전할 수 없습니다. 작업을 이동하려면 이전 프로젝트에서 작업을 중지하고 새 프로젝트에서 다시 만들어야 합니다.
작업을 이동하려면 다음 단계를 따르세요.
- 이전 프로젝트에서 작업을 중지하거나 드레이닝합니다.
- 새 프로젝트에서 작업을 다시 만듭니다. 예를 들어 동일한 파이프라인 코드, 템플릿, 구성을 사용합니다.
- 작업이 액세스할 수 있도록 새 프로젝트에 필요한 모든 권한, 서비스 계정, 리소스가 올바르게 설정되어 있는지 확인합니다. 여기에는 다음이 포함됩니다.
- 권한: 파이프라인을 실행하는 사용자 또는 서비스 계정에 새 프로젝트에서
roles/dataflow.admin,roles/dataflow.worker과 같은 필요한 Identity and Access Management (IAM) 역할이 있는지 확인합니다. - 서비스 계정: 새 프로젝트에서는 Dataflow 작업자 서비스 계정이 다릅니다. 이 새 서비스 계정에 Cloud Storage 버킷, BigQuery 데이터 세트, Pub/Sub 주제와 같이 파이프라인에 필요한 모든 리소스에 대한 액세스 권한이 있는지 확인합니다.
- 리소스: 파이프라인에서 Cloud Storage 버킷, BigQuery 데이터 세트, Pub/Sub 주제와 같은 리소스를 사용하는 경우 새 프로젝트에 리소스가 있거나 새 프로젝트에서 리소스에 액세스할 수 있는지 확인해야 합니다. 새 리소스를 만들거나 프로젝트 간 권한을 부여해야 할 수도 있습니다.
- VPC 서비스 제어: VPC 서비스 제어를 사용하는 경우 새 프로젝트가 동일한 서비스 경계에 속하는지 또는 필요한 리소스에 액세스할 수 있도록 필요한 브리지를 구성했는지 확인합니다.
- 권한: 파이프라인을 실행하는 사용자 또는 서비스 계정에 새 프로젝트에서
작업을 다시 만들면 새 작업으로 시작되며 이전 작업의 상태가 유지되지 않습니다.
프로젝트 ID와 같은 프로젝트별 매개변수를 하드코딩하지 않으려면 파이프라인 옵션을 사용하여 이러한 값을 파이프라인에 전달하세요.
Dataflow 작업의 권한 및 보안에 대한 자세한 내용은 Dataflow 보안 및 권한을 참고하세요.
다음 단계
- Dataflow 파이프라인 개발, 배포, 관리에 관한 권장사항은 파이프라인 권장사항을 참고하세요.
- 새 프로젝트를 구성한 후 파이프라인을 배포하는 프로세스를 검토하려면 파이프라인 배포를 참고하세요.