기본 요건 및 설정

계보 사용 사례 튜토리얼을 완료하려면 다음 설정 단계를 실행하세요.

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

1. Enable the BigQuery, Data lineage , Dataform, BigQuery Data Transfer, and Secret Manager APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

   For new projects, the BigQuery API is automatically enabled.

필요한 역할

계보 사용 사례 튜토리얼을 수행하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

• 데이터 계보 뷰어 (roles/datalineage.viewer): 계보가 기록되고 표시되는 프로젝트에 대한 역할입니다.
• BigQuery 데이터 뷰어 (roles/bigquery.dataViewer): 테이블의 스토리지 프로젝트에 대한 권한입니다.
• BigQuery 리소스 뷰어 (roles/bigquery.resourceViewer): 작업의 컴퓨팅 프로젝트
• Dataplex 카탈로그 뷰어 (roles/dataplex.catalogViewer): 카탈로그 항목이 저장된 프로젝트
• Dataform 편집자 (roles/dataform.editor): 작업공간과 저장소가 있는 프로젝트

다음 목록에서는 필수 역할과 연결된 프로젝트 유형 및 서비스를 설명합니다.

• 스토리지 프로젝트는 BigQuery 데이터 세트와 테이블을 저장합니다.
• 컴퓨팅 프로젝트는 데이터를 처리하고 계보 메타데이터를 저장합니다. BigQuery 작업 및 데이터 변환을 실행하는 데 사용됩니다.
• 카탈로그 항목에는 테이블을 설명하는 메타데이터가 포함되어 있으므로 기본 데이터에 액세스하지 않고도 테이블을 찾고 정리할 수 있습니다.
• 계보 프로젝트는 데이터의 이력과 변환을 기록하고 시각화합니다.
• Dataform은 SQL 기반 데이터 파이프라인을 빌드, 버전 제어, 실행하는 데 사용되는 서비스입니다. 원시 데이터를 정리되고 문서화된 데이터 세트로 변환합니다.

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요. 커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

시작하기

튜토리얼을 완료하려면 데이터 계보 사용 사례 저장소를 사용하세요. 이 저장소에는 데이터 세트를 설정하고 데이터 변환을 실행하기 위한 사전 정의된 코드가 포함되어 있습니다.

데이터 세트 개요

각 튜토리얼에서는 의료 서비스 제공업체, 고용, 비즈니스 데이터와 같은 다양한 실제 데이터 세트를 사용하여 실제 시나리오에서 데이터 계보를 보여줍니다.

데이터 세트 설정

데이터 계보로 데이터 변경사항을 추적하려면 다음 일회성 설정을 실행하세요.

1. 개인 액세스 토큰을 만들어 Secret Manager에 저장합니다.
2. 저장소를 Dataform에 연결합니다.

설정 후 데이터 변환을 실행하여 데이터를 처리하고 계보를 생성합니다.