BigQuery 테이블에 메타데이터 추가

BigQuery 테이블에 메타데이터 추가

Knowledge Catalog (이전의 Dataplex Universal Catalog)에서 메타데이터 관리를 시작하는 방법을 알아봅니다.

이 빠른 시작에서는 BigQuery 테이블에 메타데이터를 추가하는 방법을 설명합니다. 이 빠른 시작에서 수행하는 작업은 다음과 같습니다.

1. 공개 데이터 세트를 기반으로 BigQuery 데이터 세트와 테이블을 만듭니다.

2. 관련 메타데이터 필드 집합을 정의하는 템플릿을 만듭니다.

   이 템플릿을 관점 유형이라고 합니다. 데이터 애셋의 비즈니스 및 기술 메타데이터를 설명하는 관련 메타데이터 필드 집합을 관점이라고 합니다.

3. 테이블에 메타데이터를 추가합니다.

   Knowledge Catalog에서 각 데이터 애셋은 항목 으로 표시됩니다. 데이터 애셋에 메타데이터를 연결하려면 항목에 관점을 추가합니다.

시작하기 전에

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

3. Verify that billing is enabled for your Google Cloud project.

4. Enable the Dataplex and BigQuery APIs.

   Roles required to enable APIs

   To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

   Enable the APIs

필요한 역할

BigQuery 테이블에 메타데이터를 추가하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청합니다.

• Dataplex 카탈로그 관리자 (roles/dataplex.catalogAdmin)
• BigQuery 데이터 소유자 (roles/bigquery.dataOwner)
• BigQuery 작업 사용자 (roles/bigquery.jobUser)

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

데이터 세트 및 테이블 만들기

1. Google Cloud 콘솔에서 BigQuery Studio 페이지로 이동합니다.

   BigQuery Studio로 이동

2. 데이터 세트를 만듭니다.

   1. 왼쪽 창에서 탐색기를 클릭합니다.

      

      왼쪽 창이 표시되지 않으면 왼쪽 창 펼치기를 클릭하여 창을 엽니다.

   2. 탐색기 창에서 프로젝트를 찾습니다. 작업 보기를 클릭한 후 데이터 세트 만들기를 클릭합니다.

   3. 데이터 세트 ID 필드에 catalog_demo_dataset를 입력합니다.

      다른 필드에는 기본값을 사용합니다.

   4. 데이터 세트 만들기를 클릭합니다.

3. 공개 테이블을 데이터 세트에 복사합니다.

   1. 탐색기 창에서 bigquery-public-data.new_york_citibike.citibike_stations 테이블을 검색합니다. 검색 범위에 bigquery-public-data 프로젝트가 포함되도록 설정해야 할 수도 있습니다.

      이 테이블은 자전거 공유 프로그램에 대한 데이터가 포함된 공개 데이터 세트인 NYC Citi Bike Trips 데이터 세트의 일부입니다.

   2. citibike_stations 테이블을 선택합니다.

   3. 복사를 클릭합니다. 다음 정보를 입력합니다.

      • 프로젝트: 프로젝트를 선택합니다.
      • 데이터 세트: catalog_demo_dataset를 선택합니다.
      • 테이블: bike_stations를 입력합니다.

   4. 복사를 클릭합니다.

4. 탐색기 창에서 catalog_demo_dataset 데이터 세트를 찾아 데이터 세트에 bike_stations 테이블이 나열되어 있는지 확인합니다.

메타데이터 템플릿 정의: 관점 유형 만들기

1. 콘솔에서 Knowledge Catalog 메타데이터 유형 페이지로 이동합니다. Google Cloud

   메타데이터 유형으로 이동

2. 관점 유형 및 태그 템플릿 탭을 클릭한 다음 커스텀 탭을 클릭합니다.

3. 관점 유형 만들기를 클릭합니다.

4. 관점 유형 ID 필드에 data-governance-demo를 입력합니다.

5. 위치에서 global을 선택합니다.

6. 템플릿 섹션에서 필드 추가를 클릭합니다. 다음 표의 정보를 사용하여 관점 유형에 필드 여러 개를 추가합니다.

   이름	유형	필수 여부	설명
   source-of-data-asset	텍스트	아니요	-
   retention-date	날짜 및 시간	아니요	-
   data-classification	Enum Public, Sensitive, Confidential 값을 추가합니다.	예	-
   has-pii	불리언	예	Whether the data asset has personally identifiable information

7. 저장을 클릭합니다.

테이블에 메타데이터 추가: 항목에 관점 추가

1. 콘솔에서 Knowledge Catalog 검색 페이지로 이동합니다. Google Cloud

   검색 페이지로 이동

2. 검색창에서 catalog_demo_dataset를 입력합니다.

3. bike_stations 테이블을 선택합니다.

4. 항목에 커스텀 관점을 추가합니다.

   1. 태그 및 관점 섹션의 선택적 태그 및 관점 옆에 있는 추가를 클릭합니다.

   2. data-governance-demo 관점 유형을 선택합니다.

      이렇게 하면 관점 유형을 템플릿으로 사용하는 관점이 생성됩니다.

   3. 다음 값을 입력합니다.

      • 데이터 애셋 소스: Copied from NYC Citi Bike Trips public dataset
      • 보관 날짜: 날짜를 입력합니다.
      • 데이터 분류: Public
      • PII 포함: False

   4. 저장을 클릭합니다.

5. 추가한 메타데이터 값을 확인하려면 태그 및 관점 섹션에서 data-governance-demo 관점을 선택합니다.

정리

이 페이지에서 사용한 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 다음 단계를 수행합니다.

프로젝트 삭제

비용 청구를 중지하는 가장 쉬운 방법은 빠른 시작에서 만든 프로젝트를 삭제하는 것입니다.

주의: 프로젝트를 삭제하면 다음과 같은 영향이 있습니다.

• 프로젝트의 모든 항목이 삭제됩니다. 이 문서의 태스크에 기존 프로젝트를 사용한 경우 프로젝트를 삭제하면 프로젝트에서 수행한 다른 작업도 삭제됩니다.
• 커스텀 프로젝트 ID가 손실됩니다. 이 프로젝트를 만들 때 앞으로 사용할 커스텀 프로젝트 ID를 만들었을 수 있습니다. appspot.com URL과 같이 프로젝트 ID를 사용하는 URL을 보존하려면 전체 프로젝트를 삭제하는 대신 프로젝트 내에서 선택한 리소스만 삭제합니다.

여러 아키텍처, 튜토리얼 또는 빠른 시작을 살펴보려는 경우 프로젝트를 재사용하면 프로젝트 할당량 한도 초과를 방지할 수 있습니다.

1. 콘솔에서 리소스 관리 페이지로 이동합니다. Google Cloud

   리소스 관리로 이동

2. 프로젝트 목록에서 삭제할 프로젝트를 선택하고 삭제를 클릭합니다.
3. 대화상자에서 프로젝트 ID를 입력한 후 종료 를 클릭하여 프로젝트를 삭제합니다.

개별 리소스 삭제

프로젝트를 재사용하려면 만든 리소스를 삭제합니다.

1. 데이터 세트를 삭제합니다.

   1. Google Cloud 콘솔에서 BigQuery Studio 페이지로 이동합니다.

      BigQuery Studio로 이동

   2. 왼쪽 창에서 탐색기를 클릭합니다.

      

   3. 탐색기 창에서 catalog_demo_dataset 데이터 세트를 검색합니다.

   4. 작업 보기를 클릭한 후 삭제를 클릭합니다. 메시지가 표시되면 확인합니다.

2. 관점 유형을 삭제합니다.

   1. Google Cloud 콘솔에서 Knowledge Catalog 메타데이터 유형 페이지로 이동합니다.

      메타데이터 유형으로 이동

   2. 관점 유형 및 태그 템플릿 탭을 클릭한 다음 커스텀 탭을 클릭합니다.

   3. data-governance-demo 관점 유형을 클릭합니다.

   4. 삭제를 클릭합니다. 메시지가 표시되면 확인합니다.

다음 단계

• 메타데이터 관리 자세히 알아보기
• 리소스를 검색하는 방법 알아보기
• 관점 및 관점 유형을 사용하는 방법 알아보기
• Knowledge Catalog 사용 사례 사용해 보기