항목 관리 및 커스텀 소스 수집

이 문서에서는 고유한 커스텀 데이터 소스에 대한 정보를 Dataplex Universal Catalog로 가져오는 방법을 설명합니다.

Dataplex Universal Catalog는 모든 데이터 애셋의 중앙 레지스트리 역할을 합니다. 커스텀 소스를 통합하려면 다음 세 가지 주요 구성요소가 필요합니다.

• 항목 그룹: 커스텀 데이터 레코드를 보관하는 보안 컨테이너입니다. 레코드의 액세스 권한과 지리적 위치(리전)를 정의하는 폴더라고 생각하면 됩니다.

• 항목 유형: 템플릿 또는 스키마 역할을 합니다. 특정 종류의 데이터 애셋에 필요한 메타데이터 필드(예: 데이터 소유자, 업데이트 빈도 또는 품질 점수)를 정의합니다.

• 항목: 개별 레코드나 애셋 자체입니다(예: 특정 독점 파일 또는 데이터베이스 테이블).

통합 프로세스

커스텀 데이터 소스를 등록하려면 다음 구조를 설정해야 합니다.

1. 항목 그룹(폴더)을 만듭니다.

2. 항목 유형(템플릿/스키마)을 정의합니다.

3. 폴더에 있는 템플릿을 사용하여 커스텀 항목(데이터 레코드)을 만듭니다.

항목

항목은 메타데이터를 캡처하는 데이터 애셋을 나타냅니다. 모든 항목은 항목 유형 인스턴스입니다. 항목 관점에 대한 각 작업은 항목 유형의 필수 관점을 준수해야 합니다. 예를 들어 항목을 만들 때 항목 유형에서 정의한 모든 관점 유형의 값을 제공해야 합니다. 항목 유형에서 required로 표시된 항목의 관점을 삭제할 수 없습니다.

항목 카테고리

• 시스템 항목: Dataplex Universal Catalog는 BigQuery 데이터 세트 또는 테이블과 같은 Google Cloud리소스의 항목을 만듭니다. Dataplex Universal Catalog에서 만드는 항목을 시스템 항목이라고 합니다. Google Cloud 시스템에서 메타데이터를 지속적으로 동기화하므로 Dataplex Universal Catalog는 자동으로 시스템 항목을 최신 상태로 유지합니다.

  시스템 항목에 자동으로 채워지는 메타데이터(필수 관점이라고 함)를 수정할 수 없습니다. 선택적 관점을 사용하여 시스템 항목의 메타데이터를 추가하고 수정할 수 있습니다. 자세한 내용은 관점 카테고리를 참조하세요.

• 커스텀 항목: 커스텀 리소스를 만들고 관리할 수 있는 항목을 커스텀 항목이라고 합니다. 커스텀 리소스는 Google Cloud 또는 외부(예: 온프레미스)에서 호스팅되는 Google 이외 서비스의 리소스입니다.

항목 그룹

항목 그룹은 항목 하나 이상에서 사용되는 컨테이너입니다. 항목 그룹을 사용하여 항목의 액세스 제어와 리전 위치를 관리할 수 있습니다. 모든 항목 그룹이 한 프로젝트에 속합니다.

항목 그룹 카테고리

• 시스템 항목 그룹: Google Cloud 리소스의 경우 Dataplex Universal Catalog는 리소스가 포함된 모든 프로젝트와 위치에 있는 각 시스템에 대한 항목 그룹을 자동으로 만듭니다. 예를 들어 @bigquery는 BigQuery의 시스템 항목 그룹입니다.

• 커스텀 항목 그룹: 커스텀 리소스에 만드는 항목 그룹입니다.

항목 유형

항목 유형은 필수 관점 유형 세트를 사용하여 이 유형 항목의 필수 메타데이터를 정의합니다.

항목의 열이 아닌 항목의 필수 관점 유형만 지정할 수 있습니다. 특정 항목 유형 항목을 만들 때 항목 유형에서 지정된 모든 필수 관점 유형 값을 제공해야 합니다.

항목 유형 내에서 참조되는 필수 관점 유형은 항목 유형과 동일한 프로젝트에 속해야 합니다.

항목 유형 카테고리

• 커스텀 항목 유형: 개발자가 만들고 관리하는 항목 유형입니다. 이러한 항목 유형을 사용하여 커스텀 항목을 만들 수 있습니다.

• 시스템 항목 유형: Dataplex Universal Catalog는 이러한 항목 유형을 기본적으로 제공합니다. 시스템 항목 유형은 세부적으로 재사용 가능 및 제한됨으로 분류됩니다.

  다음 표에서는 시스템 항목 유형 카테고리와 Dataplex Universal Catalog에서 각 카테고리에 제공하는 항목 유형 목록을 설명합니다.

  시스템 항목 유형 카테고리	설명	Dataplex Universal Catalog에서 제공하는 항목 유형
  재사용 가능 시스템 항목 유형	이 항목 유형을 사용하여 커스텀 항목을 만들 수 있습니다.	generic
  제한됨 시스템 항목 유형	시스템 사용을 위해 예약되어 있습니다(예:Google Cloud 리소스 항목 만들기). 이러한 항목 유형을 사용하여 항목을 만들 수 없지만 이러한 항목 유형의 항목을 수정하여 선택적 관점을 추가할 수 있습니다.	다음이 포함되지만 이에 국한되지 않습니다. analytics-hub-exchange analytics-hub-listing aspecttype bigquery-dataset bigquery-table cloudsql-database cloudsql-instance cloudsql-table entrygroup entrytype sql-access storage storage-bucket storage-folder

참고: entrygroup 유형 항목은 항목 그룹을 나타내며 항목 그룹이 생성될 때 자동으로 생성됩니다. 이 유형의 항목을 검색할 수 있습니다. 일반 항목과 달리 이러한 항목을 삭제할 수 없습니다. 삭제하려면 항목 그룹을 삭제해야 합니다.

특정 리전 위치에 또는 전역 리소스로 커스텀 항목 유형을 만들 수 있습니다. 항목 유형 위치는 적용 범위에 영향을 미칩니다. 자세한 내용은 프로젝트 및 위치 제약 조건을 참조하세요.

시스템 항목 유형은 항상 전역입니다. 시스템 관점 유형은 프로젝트 ID가 655216118709인 Google 관리 프로젝트에 저장됩니다. 예를 들면 projects/655216118709/locations/global/entryTypes/bigquery-table입니다.

시작하기 전에

항목을 관리하고 커스텀 데이터 소스를 수집하기 전에 이 섹션에 설명된 태스크를 완료해야 합니다.

필수 역할

항목을 만들고 관리하는 데 필요한 권한을 얻으려면 관리자에게 리소스에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

• 항목, 항목 그룹, 항목 유형에 대한 전체 권한: Dataplex 카탈로그 관리자(roles/dataplex.catalogAdmin)
• 항목, 항목 그룹, 항목 유형을 포함한 Dataplex Universal Catalog의 메타데이터 리소스 만들기 및 관리: Dataplex 카탈로그 편집자(roles/dataplex.catalogEditor)
• 항목 관련 작업에 대한 전체 액세스 권한: Dataplex 항목 및 EntryLink 소유자(roles/dataplex.entryOwner)
• 항목, 항목 그룹, 항목 유형 및 이와 연결된 IAM 정책 보기: Dataplex 카탈로그 뷰어(roles/dataplex.catalogViewer)
• 커스텀 항목을 만들 때 관점 유형을 사용하여 해당 유형의 관점 만들기: Dataplex 관점 유형 사용자(roles/dataplex.aspectTypeUser)
• 항목 그룹 만들기 및 관리: Dataplex 항목 그룹 소유자(roles/dataplex.entryGroupOwner)
• 항목 유형 만들기 및 관리: Dataplex 항목 유형 소유자(roles/dataplex.entryTypeOwner)
• 항목 유형을 사용하여 해당 유형의 항목 만들기 및 수정: Dataplex 항목 유형 사용자(roles/dataplex.entryTypeUser)

역할 부여 방법에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

참고: 항목 유형을 사용하여 해당 유형의 항목을 만들고 수정할 때 항목 유형과 항목이 서로 다른 프로젝트에 있으면 항목 유형이 있는 프로젝트에 대한 Dataplex 항목 유형 사용자(roles/dataplex.entryTypeUser) IAM 역할을 부여해야 합니다.

자세한 내용은 Dataplex Universal Catalog IAM 역할을 참조하세요.

API 사용 설정

Dataplex Universal Catalog 프로젝트에서 Dataplex API를 사용 설정합니다.

API 사용 설정

항목 그룹 만들기

콘솔

1. Google Cloud 콘솔에서 Dataplex Universal Catalog 카탈로그 페이지로 이동합니다.

   카탈로그로 이동

2. 항목 그룹 > 커스텀 탭을 클릭합니다.

3. 항목 그룹(Dataplex Universal Catalog) 만들기를 클릭합니다.

4. 항목 그룹 만들기 창에 다음을 입력합니다.

   1. 선택사항: 표시 이름 필드에 항목 그룹 표시 이름을 입력합니다.
   2. 항목 그룹 ID: 항목 그룹의 고유 ID를 입력합니다.
   3. 선택사항: 설명 필드에 항목 그룹에 대한 설명을 입력합니다.
   4. 위치: 위치를 선택합니다. 항목 그룹을 만든 후에는 위치를 수정할 수 없습니다.

5. 선택사항: 라벨 섹션에서 리소스에 키-값 쌍으로 임의의 라벨을 추가합니다.

   1. 라벨 추가를 클릭합니다.
   2. 키 필드에 키를 입력합니다.
   3. 값 필드에 키 값을 입력합니다.
   4. 라벨을 더 추가하려면 라벨 추가를 클릭하고 단계를 반복합니다.

6. 저장을 클릭합니다.

gcloud

항목 그룹을 만들려면 gcloud dataplex entry-groups create 명령어를 사용합니다.

REST

항목 그룹을 만들려면 entryGroups.Create 메서드를 사용합니다.

항목 유형 만들기

새 소스를 수집하려면 항목 유형을 만들어야 합니다.

콘솔

1. Google Cloud 콘솔에서 Dataplex Universal Catalog 카탈로그 페이지로 이동합니다.

   카탈로그로 이동

2. 항목 유형 > 커스텀 탭을 클릭합니다.

3. 만들기를 클릭합니다.

4. 항목 유형 만들기 창에 다음을 입력합니다.

   1. 선택사항: 표시 이름 필드에 항목 유형 표시 이름을 입력합니다.
   2. 항목 유형 ID: 항목 유형의 고유 ID를 입력합니다. 항목 유형을 만든 후에는 이 ID를 수정할 수 없습니다.
   3. 선택사항: 설명 필드에 항목 유형에 대한 설명을 입력합니다.
   4. 선택사항: 시스템 필드에 소스 시스템을 입력합니다.
   5. 선택사항: 플랫폼 필드에 이 유형의 항목이 속한 플랫폼을 입력합니다. 예를 들면 Google Cloud입니다.
   6. 위치 필드에서 위치를 선택합니다. 항목 유형을 만든 후에는 위치를 수정할 수 없습니다.

5. 선택사항: 유형 별칭 섹션에서 항목 유형의 데이터 유형을 정의합니다. 항목을 쿼리하는 데 이 데이터 유형을 사용할 수 있습니다.

   1. 유형 별칭 추가를 클릭합니다.
   2. 유형 별칭 필드에서 데이터 유형을 선택합니다. 유형 별칭 여러 개를 추가할 수 있습니다.

6. 필수 관점 유형 섹션에서 이 항목 유형에 필수인 관점 유형을 선택합니다. 이 유형을 기반으로 생성된 항목마다 이러한 필수 관점 유형이 할당됩니다. 항목 유형을 만든 후에는 필수 관점 유형 목록을 수정할 수 없습니다.

   1. 관점 유형 선택을 클릭합니다.
   2. 관점 유형 선택 창에서 관점 유형을 선택합니다.
   3. 선택을 클릭합니다.

   항목에서 필수 관점을 삭제할 수 없습니다.

7. 선택사항: 라벨 섹션에서 리소스에 키-값 쌍으로 임의의 라벨을 추가합니다.

   1. 라벨 추가를 클릭합니다.
   2. 키 필드에 키를 입력합니다.
   3. 값 필드에 키 값을 입력합니다.
   4. 라벨을 더 추가하려면 라벨 추가를 클릭하고 단계를 반복합니다.

8. 저장을 클릭합니다.

gcloud

항목 유형을 만들려면 gcloud dataplex entry-types create 명령어를 사용합니다.

REST

관점 유형을 만들려면 entryTypes.create 메서드를 사용합니다.

커스텀 항목 만들기

커스텀 항목을 만들기 전에 항목 그룹과 항목 유형을 만들어야 합니다.

콘솔

Google Cloud 콘솔을 사용하여 커스텀 항목을 만들 수 없습니다. 대신 Google Cloud CLI 또는 API를 사용합니다.

gcloud

커스텀 항목을 만들려면 gcloud dataplex entries create 명령어를 사용합니다.

REST

커스텀 항목을 만들려면 entries.create 메서드를 사용합니다.

커스텀 항목을 만든 후에는 관점을 항목에 추가할 수 있습니다. 자세한 내용은 항목에 관점 추가를 참조하세요.

항목 그룹 관리

이 섹션에서는 사용 가능한 항목 그룹 목록을 보고 세부정보를 보고 항목 그룹을 업데이트하고 삭제하는 방법을 설명합니다.

사용 가능한 항목 그룹 목록 보기

콘솔

1. Google Cloud 콘솔에서 Dataplex Universal Catalog 카탈로그 페이지로 이동합니다.

   카탈로그로 이동

2. 항목 그룹 탭을 클릭합니다.

   이 페이지에는 사용 가능한 모든 Dataplex Universal Catalog 및 Data Catalog 항목 그룹이 나열됩니다.

3. 커스텀 항목 그룹을 보려면 커스텀 탭을 클릭합니다. 커스텀 탭의 카탈로그 소스 열에는 리소스가 있는 위치(Dataplex Universal Catalog 또는 Data Catalog)가 표시됩니다.

   시스템 항목 그룹을 보려면 시스템 탭을 클릭합니다.

   커스텀 항목 그룹과 시스템 항목 그룹에 대한 자세한 내용은 이 문서의 항목 그룹 카테고리 섹션을 참조하세요.

4. 선택사항: 선택한 프로젝트의 항목 그룹 목록을 보려면 커스텀 탭을 클릭한 후 모든 프로젝트에서 표시 전환 버튼을 클릭하여 사용 안함 위치로 전환합니다.

   모든 프로젝트에서 표시 전환 버튼은 기본적으로 사용 설정되어 있으며 목록에는 선택한 조직의 Dataplex Universal Catalog 리소스와 액세스할 수 있는 모든 조직의 Data Catalog 리소스가 포함됩니다.

   참고: 모든 프로젝트에서 표시 전환 버튼이 사용 설정되면 항목 그룹을 직접 수정하거나 삭제할 수 없습니다. 대신 항목 그룹을 클릭하여 항목 그룹 세부정보 페이지를 연 다음 항목 그룹을 수정하거나 삭제해야 합니다.

gcloud

사용 가능한 항목 그룹 목록을 보려면 gcloud dataplex entry-groups list 명령어를 사용합니다.

REST

사용 가능한 항목 그룹 목록을 보려면 entryGroups.list 메서드를 사용합니다.

항목 그룹 세부정보 보기

콘솔

1. Google Cloud 콘솔에서 Dataplex Universal Catalog 카탈로그 페이지로 이동합니다.

   카탈로그로 이동

2. 항목 그룹 탭을 클릭합니다.

3. 세부정보를 보려는 항목 그룹을 클릭합니다.

   항목 그룹 세부정보 페이지가 열립니다. 선택한 항목 그룹의 표시 이름, 항목 그룹 ID, 설명, 프로젝트 ID, 위치, 라벨, 생성일, 최종 수정일과 같은 정보에 액세스할 수 있습니다.

   Data Catalog 항목 그룹의 경우 Data Catalog 및 Dataplex Universal Catalog 웹 인터페이스 모두에서 세부정보를 볼 수 있습니다. 이렇게 하려면 항목 그룹 세부정보 페이지에서 Data Catalog 또는 Dataplex Universal Catalog를 클릭합니다.

   샘플 항목 섹션에는 선택한 항목 그룹에서 최근에 생성된 관련 항목 10개가 표시됩니다.

4. 선택사항: 항목 그룹과 관련된 모든 항목을 보려면 샘플 항목 섹션에서 검색에 관련 항목 모두 표시를 클릭합니다.

gcloud

항목 그룹 세부정보를 가져오려면 gcloud dataplex entry-groups describe 명령어를 사용합니다.

REST

항목 그룹 세부정보를 가져오려면 entryGroups.get 메서드를 사용합니다.

항목 그룹 업데이트

커스텀 항목 그룹을 업데이트할 수 있습니다. 시스템 항목 그룹을 수정할 수 없습니다.

콘솔

1. Google Cloud 콘솔에서 Dataplex Universal Catalog 카탈로그 페이지로 이동합니다.

   카탈로그로 이동

2. 항목 그룹 > 커스텀 탭을 클릭합니다.

3. 업데이트할 항목 그룹을 클릭합니다.

4. 항목 그룹 세부정보 페이지에서 수정을 클릭합니다.

5. 필요에 따라 표시 이름, 설명, 라벨을 수정합니다.

6. 저장을 클릭합니다.

gcloud

항목 그룹을 업데이트하려면 gcloud dataplex entry-groups update 명령어를 사용합니다.

REST

항목 그룹을 업데이트하려면 entryGroups.patch 메서드를 사용합니다.

항목 그룹 삭제

커스텀 항목 그룹을 삭제할 수 있습니다. 시스템 항목 그룹을 삭제할 수 없습니다.

콘솔

1. Google Cloud 콘솔에서 Dataplex Universal Catalog 카탈로그 페이지로 이동합니다.

   카탈로그로 이동

2. 항목 그룹 > 커스텀 탭을 클릭합니다.

3. 삭제하려는 항목 그룹을 클릭합니다.

4. 항목 그룹 세부정보 페이지에서 삭제를 클릭합니다. 메시지가 표시되면 확인합니다.

gcloud

항목 그룹을 삭제하려면 gcloud dataplex entry-groups delete 명령어를 사용합니다.

REST

항목 그룹을 삭제하려면 entryGroups.delete 메서드를 사용합니다.

항목 유형 관리

이 섹션에서는 사용 가능한 항목 그룹 목록을 보고 세부정보를 보고 항목 유형을 업데이트하고 삭제하는 방법을 설명합니다.

사용 가능한 항목 유형 목록 보기

콘솔

1. Google Cloud 콘솔에서 Dataplex Universal Catalog 카탈로그 페이지로 이동합니다.

   카탈로그로 이동

2. 항목 유형 탭을 클릭합니다.

3. 커스텀 항목 유형을 보려면 커스텀 탭을 클릭합니다. 시스템 항목 유형을 보려면 시스템 탭을 클릭합니다. 커스텀 항목 유형과 시스템 항목 유형에 대한 자세한 내용은 이 문서의 항목 유형 카테고리 섹션을 참조하세요.

4. 선택사항: 선택한 프로젝트의 항목 유형 목록을 보려면 커스텀 탭을 클릭한 후 모든 프로젝트에서 표시 전환 버튼을 클릭하여 사용 안함 위치로 전환합니다.

   모든 프로젝트에서 표시 전환 버튼은 기본적으로 사용 설정되어 있으며 목록에는 모든 프로젝트의 항목 유형이 포함됩니다.

   참고: 모든 프로젝트에서 표시 전환 버튼이 사용 설정되면 항목 유형을 직접 수정하거나 삭제할 수 없습니다. 대신 항목 유형을 클릭하여 항목 그룹 세부정보 페이지를 연 다음 항목 유형을 수정하거나 삭제해야 합니다.

gcloud

사용 가능한 항목 유형 목록을 보려면 gcloud dataplex entry-types list 명령어를 사용합니다.

REST

사용 가능한 항목 유형 목록을 보려면 entryTypes.list 메서드를 사용합니다.

항목 유형 세부정보 보기

콘솔

1. Google Cloud 콘솔에서 Dataplex Universal Catalog 카탈로그 페이지로 이동합니다.

   카탈로그로 이동

2. 항목 유형 > 커스텀 탭을 클릭합니다.

3. 세부정보를 보려는 항목 유형을 클릭합니다.

   항목 유형 세부정보 페이지가 열립니다. 선택한 항목 유형의 표시 이름, 항목 유형 ID, 설명, 프로젝트 ID, 위치, 플랫폼, 시스템, 유형 별칭, 라벨, 생성일, 최종 수정일과 같은 정보에 액세스할 수 있습니다.

4. 선택사항: 최근에 생성된 관련 항목 10개 목록을 보려면 샘플 항목 탭을 클릭합니다.

5. 선택사항: 항목 그룹과 관련된 모든 항목을 보려면 샘플 항목 탭을 클릭한 후 검색에 관련 항목 모두 표시를 클릭합니다.

gcloud

항목 유형 세부정보를 가져오려면 gcloud dataplex entry-types describe 명령어를 사용합니다.

REST

항목 유형 세부정보를 가져오려면 entryTypes.get 메서드를 사용합니다.

항목 유형 업데이트

콘솔

1. Google Cloud 콘솔에서 Dataplex Universal Catalog 카탈로그 페이지로 이동합니다.

   카탈로그로 이동

2. 항목 유형 > 커스텀 탭을 클릭합니다.

3. 업데이트할 항목 유형을 클릭합니다.

4. 항목 유형 세부정보 페이지에서 수정을 클릭합니다.

5. 필요에 따라 표시 이름, 설명, 시스템, 플랫폼, 유형 별칭, 라벨을 수정합니다.

6. 저장을 클릭합니다.

gcloud

항목 유형을 업데이트하려면 gcloud dataplex entry-types update 명령어를 사용합니다.

REST

항목 유형을 업데이트하려면 entryTypes.patch 메서드를 사용합니다.

항목 유형 삭제

콘솔

1. Google Cloud 콘솔에서 Dataplex Universal Catalog 카탈로그 페이지로 이동합니다.

   카탈로그로 이동

2. 항목 유형 > 커스텀 탭을 클릭합니다.

3. 삭제하려는 항목 유형을 클릭합니다.

4. 항목 유형 세부정보 페이지에서 삭제를 클릭합니다. 메시지가 표시되면 확인합니다.

gcloud

항목 유형을 삭제하려면 gcloud dataplex entry-types delete 명령어를 사용합니다.

REST

항목 유형을 삭제하려면 entryTypes.delete 메서드를 사용합니다.

다음 단계

• Dataplex Universal Catalog에서 데이터 애셋을 검색하는 방법 알아보기
• 관점을 관리하고 메타데이터를 보강하는 방법 알아보기
• Dataplex Universal Catalog로 메타데이터를 가져오는 방법 알아보기
• Dataplex Universal Catalog의 메타데이터 관리 자세히 알아보기