프로덕션 실행 예약

프로덕션 실행 예약

이 빠른 시작에서는 Dataform에서 프로덕션 실행을 예약하는 다음과 같은 단계를 안내합니다.

• Dataform 저장소 만들기
• 필수 역할 부여

• 출시 구성 및 워크플로 구성 만들기

  production 출시 구성을 만들고 production 컴파일 결과를 만드는 빈도를 설정합니다. 그런 다음 production 워크플로 구성을 만들고, production 출시 구성을 선택하고, production 컴파일 결과 실행 예약을 설정합니다.

• 이전 컴파일 결과를 봅니다.

• 이전 실행 보기

• 생성된 애셋을 삭제합니다.

시작하기 전에

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

또한 BigQuery에서 워크플로를 실행할 커스텀 서비스 계정을 선택하거나 만듭니다.

필요한 역할

이 튜토리얼의 모든 작업을 수행하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

• 저장소에 대한 Dataform 관리자 (roles/dataform.admin)
• 작업공간 및 워크플로 호출에 대한 Dataform 편집자 (roles/dataform.editor)
• 커스텀 서비스 계정에 대한 서비스 계정 사용자 (roles/iam.serviceAccountUser) 역할
• 프로젝트에 대한 프로젝트 IAM 관리자 (roles/resourcemanager.projectIamAdmin)

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

필수 역할 부여

BigQuery에서 워크플로를 실행하려면 맞춤 서비스 계정 또는 Google 계정(미리보기)을 사용하면 됩니다. 하지만 예약된 실행의 경우 커스텀 서비스 계정 사용자 인증 정보가 기본 옵션입니다. 예약된 실행에는 Google 계정 사용자 계정 사용자 인증 정보를 사용하지 않는 것이 좋습니다.

BigQuery에서 워크플로를 실행하려면 커스텀 서비스 계정에 다음과 같은 필수 역할이 있어야 합니다.

• Dataform에 읽기 및 쓰기 액세스 권한이 모두 필요한 프로젝트에 대한 BigQuery 데이터 편집자(roles/bigquery.dataEditor). 여기에는 일반적으로 Dataform 저장소를 호스팅하는 프로젝트가 포함됩니다.
• Dataform에 읽기 전용 액세스 권한이 필요한 프로젝트에 대한 BigQuery 데이터 뷰어(roles/bigquery.dataViewer)
• Dataform 저장소를 호스팅하는 프로젝트에 대한 BigQuery 작업 사용자(roles/bigquery.jobUser)

Dataform에서 커스텀 서비스 계정을 사용하려면 기본 Dataform 서비스 에이전트에 커스텀 서비스 계정 리소스에 대한 다음 역할이 있어야 합니다.

• 서비스 계정 토큰 생성자 (roles/iam.serviceAccountTokenCreator)
• 서비스 계정 사용자(roles/iam.serviceAccountUser)

이러한 역할을 부여하려면 다음 단계를 수행합니다.

1. Google Cloud 콘솔에서 IAM 페이지로 이동합니다.

   IAM으로 이동

2. 액세스 권한 부여를 클릭합니다.

3. 새 주 구성원 필드에 맞춤 서비스 계정 ID를 입력합니다.

4. 역할 선택 메뉴에서 다음 역할을 하나씩 선택하고 추가 역할마다 다른 역할 추가를 사용합니다.

   • BigQuery 데이터 편집자
   • BigQuery 데이터 뷰어
   • BigQuery 작업 사용자

5. 저장을 클릭합니다.

6. Google Cloud 콘솔에서 서비스 계정 페이지로 이동합니다.

   서비스 계정으로 이동

7. 커스텀 서비스 계정을 선택합니다.

8. 액세스 권한이 있는 주 구성원으로 이동한 다음 액세스 권한 부여를 클릭합니다.

9. 새 주 구성원 필드에 기본 Dataform 서비스 에이전트 ID를 입력합니다.

   기본 Dataform 서비스 에이전트 ID의 형식은 다음과 같습니다.

   [e-mail]
   

10. 역할 선택 목록에서 다음 역할을 추가합니다.

    • 서비스 계정 사용자
    • 서비스 계정 토큰 생성자

11. 저장을 클릭합니다.

Dataform 저장소 만들기

1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

   Dataform으로 이동

2. 저장소 만들기를 클릭합니다.

3. 저장소 만들기 페이지에서 다음을 수행합니다.

   1. 저장소 ID 필드에 quickstart-production을 입력합니다.

   2. 리전 목록에서 europe-west4을 선택합니다.

   3. 서비스 계정 필드에서 직접 입력을 클릭한 다음 맞춤 서비스 계정의 이름을 입력합니다. 이 필드에 맞춤 서비스 계정을 입력해야 합니다.

   4. 만들기를 클릭합니다.

4. 저장소로 이동을 클릭합니다.

출시 구성 및 워크플로 구성 만들기

quickstart-production 저장소의 프로덕션 컴파일 결과를 만들고 production 테이블의 실행을 예약하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

   Dataform으로 이동

2. quickstart-production을 클릭합니다.

3. 버전 및 일정을 클릭한 다음 프로덕션 버전 만들기를 클릭합니다.

4. 출시 구성 만들기 창에서 다음 설정을 구성합니다.

   1. 출시 ID 필드에 production을 입력합니다.
   2. Git commitish 필드에 기본값 main을 그대로 둡니다.
   3. 일정 빈도 섹션의 반복 메뉴에서 맞춤을 선택합니다.
   4. 커스텀 예약 필드에 0 16 * * *를 입력합니다.

   5. 시간대 메뉴에서 UTC+1 시간대(예: 중부 유럽 표준시(CET))를 선택합니다.

      Dataform은 매일 오후 4시(UTC+1)에 quickstart-production 저장소를 컴파일하고 이 출시 구성에 구성된 컴파일 설정을 적용하여 production 컴파일 결과를 만듭니다.

5. 만들기를 클릭합니다.

   production 출시 구성은 매일 오후 4시(UTC+1)에 전체 quickstart-production 저장소의 컴파일 결과를 만듭니다.

6. 출시 및 일정 탭이 표시되었는지 확인합니다. 워크플로 구성 섹션으로 이동하여 만들기를 클릭합니다.

7. 워크플로 구성 만들기 창에서 다음 설정을 구성합니다.

   1. 구성 ID 필드에 production를 입력합니다.
   2. 출시 구성 메뉴에서 production을 선택합니다.
   3. 일정 빈도 섹션의 반복 메뉴에서 맞춤을 선택합니다.
   4. 커스텀 예약 필드에 0 17 * * *를 입력합니다.

   5. 시간대 메뉴에서 UTC+1 시간대(예: 중부 유럽 표준시(CET))를 선택합니다.

      Dataform은 매일 오후 5시(UTC+1)에 quickstart-production 저장소의 최신 production 컴파일 결과를 실행합니다.

      중요: Dataform이 해당 출시 구성에서 최신 컴파일 결과를 실행하도록 하려면 컴파일 결과 생성 시간과 예약된 실행 시간 사이의 공백이 최소 1시간 이상 유지되도록 합니다.

   6. 모든 작업을 클릭합니다.

      Dataform은 production 컴파일 결과에서 모든 워크플로 작업을 실행합니다.

8. 만들기를 클릭합니다.

   production 워크플로 구성은 프로덕션 출시 구성에서 만든 최신 컴파일 결과 전체를 매일 오후 5시(UTC+1)에 실행합니다.

이전 production 컴파일 결과 보기

이전에 예약된 production 컴파일 결과를 보려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

   Dataform으로 이동

2. quickstart-production 저장소를 선택합니다.

3. 출시 및 예약을 클릭합니다.

4. 출시 구성 섹션에서 production를 클릭합니다.

이전 production 워크플로 실행 보기

이전 production 워크플로 실행을 보려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

   Dataform으로 이동

2. quickstart-production 저장소를 선택합니다.

3. 워크플로 실행 로그를 클릭합니다.

4. 워크플로 실행을 선택하여 각 작업의 상태와 로그 등 자세한 정보를 확인합니다.

삭제

이 페이지에서 사용한 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 다음 단계를 수행합니다.

BigQuery에서 만든 데이터 세트 삭제

BigQuery 애셋에 대한 요금이 청구되지 않도록 하려면 다음 단계에 따라 dataform_production이라는 데이터 세트를 삭제하세요.

1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 탐색기 패널에서 프로젝트를 확장하고 dataform_production을 선택합니다.

3. 작업 메뉴를 클릭한 후 삭제를 클릭합니다.

4. 데이터 세트 삭제 대화상자에 delete를 입력한 후 삭제를 클릭합니다.

Dataform 출시 구성 삭제

Dataform 출시 구성을 만드는 데에는 비용이 발생하지 않습니다. 하지만 production 출시 구성을 삭제하려면 다음 단계를 수행합니다.

1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

   Dataform으로 이동

2. quickstart-production을 클릭합니다.

3. 출시 및 일정을 클릭하고 출시 구성 섹션으로 이동합니다.

4. production 출시 구성에서 더보기 메뉴를 클릭한 후 삭제를 클릭합니다.

5. 출시 구성 삭제 대화상자에서 삭제를 클릭합니다.

Dataform 워크플로 구성 삭제

BigQuery 애셋에 대한 요금이 청구되지 않도록 하려면 다음 단계에 따라 Dataform production 워크플로 구성을 삭제합니다.

1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

   Dataform으로 이동

2. quickstart-production을 클릭합니다.

3. 출시 및 예약을 클릭하고 워크플로 구성 섹션으로 이동합니다.

4. production 워크플로 구성에서 더보기 메뉴를 클릭한 다음 삭제를 클릭합니다.

5. 출시 구성 삭제 대화상자에서 삭제를 클릭합니다.

Dataform 저장소 삭제

Dataform 저장소를 만드는 데에는 비용이 발생하지 않습니다. 그러나 저장소와 저장소의 모든 콘텐츠를 삭제하려면 다음 단계를 수행합니다.

1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

   Dataform으로 이동

2. quickstart-production까지 더보기 메뉴를 클릭한 다음 삭제를 선택합니다.

3. 저장소 삭제 창에서 저장소 이름을 입력하여 삭제를 확인합니다.

4. 확인하려면 삭제를 클릭합니다.

다음 단계

• 서비스 계정에 대해 자세히 알아보려면 커스텀 서비스 계정 및 Dataform 서비스 에이전트 정보를 참고하세요.
• Dataform의 코드 수명 주기에 대한 자세한 내용은 Dataform의 코드 수명 주기 소개를 참조하세요.
• Dataform의 워크플로 수명 주기 권장사항에 대한 자세한 내용은 워크플로 수명 주기 권장사항을 참고하세요.
• Dataform의 출시 구성에 대한 자세한 내용은 출시 구성 만들기를 참조하세요.
• Dataform의 워크플로 구성에 대한 자세한 내용은 워크플로 구성으로 실행 예약을 참고하세요.