Knowledge Catalog를 사용하여 데이터 애셋 관리

Knowledge Catalog는 Bigtable 리소스에 대해 메타데이터를 자동으로 카탈로그화합니다. 이 기능을 사용하면 Bigtable 데이터 애셋을 검색하고 관리할 수 있습니다.

메타데이터는 다음 Bigtable 리소스에 대해 Bigtable에서 Knowledge Catalog로 자동으로 동기화됩니다.

  • 인스턴스
  • 클러스터
  • Column family 세부정보를 포함한 테이블

Knowledge Catalog는 완전 관리형 메타데이터 관리 서비스입니다. 기술 및 비즈니스 메타데이터에 대한 통합 뷰 및 태그 지정 메커니즘을 제공합니다. Knowledge Catalog 및 사용해야 하는 이유에 대한 자세한 내용은 Knowledge Catalog 개요를 참조하세요.

Bigtable에서 Knowledge Catalog를 사용하는 이점

데이터에 대한 Knowledge Catalog의 정보는 분석, 데이터 재사용, 애플리케이션 개발, 데이터 관리를 지원하는 데 도움이 됩니다.

리소스 이름과 같은 세부정보로 Knowledge Catalog에서 항목을 검색할 수 있습니다. 예를 들어 인스턴스 이름을 검색하여 인스턴스 항목을 찾거나 column family를 검색하여 테이블 항목을 찾을 수 있습니다. 패싯 검색을 사용하여 필터를 적용하여 검색 범위를 좁힐 수도 있습니다. 자세한 내용은 Knowledge Catalog에서 리소스 검색을 참조하세요.

데이터 애셋에 태그를 지정하면 Bigtable 테이블에서 사용할 수 있는 데이터를 이해하고 카탈로그화하여 Knowledge Catalog 사용자들이 더 큰 데이터 자산의 일부로 데이터를 더 쉽게 조회 및 검색할 수 있습니다. 관점 을 사용하여 카탈로그화된 메타데이터에 자체 메타데이터를 추가한 후 해당 관점을 사용하여 검색을 수행할 수 있습니다.

Knowledge Catalog 시작하기

Knowledge Catalog를 사용하여 Bigtable 데이터 애셋을 관리하려면 다음 작업을 완료하세요.

  1. Dataplex API 사용 설정.

  2. IAM 역할 부여: Knowledge Catalog의 Bigtable 항목에 액세스해야 하는 주 구성원에게 역할을 부여합니다.

  3. 데이터 애셋을 검색하는 방법 알아보기.

  4. Knowledge Catalog 검색 구문 을 검토하여 메타데이터를 찾는 방법 알아보기

  5. Knowledge Catalog 항목 태그 지정에 대한 개념을 읽어보세요. 자세한 내용은 Knowledge Catalog의 메타데이터 관리를 참조하세요.

Bigtable 메타데이터 검색 방법

Knowledge Catalog를 사용하여 동기화된 Bigtable 메타데이터를 검색할 수 있습니다.

한정된 술어 외에도 다음 메타데이터 필드를 사용하여 Bigtable 리소스를 검색할 수 있습니다.

  • 인스턴스

    • Bigtable 인스턴스 이름
    • Bigtable 인스턴스 ID
    • 클러스터 위치
    • 클러스터 ID

  • 테이블

    • 테이블 ID
    • column family 이름
    • Bigtable 인스턴스 이름
    • Bigtable 인스턴스 ID

필요한 역할

Knowledge Catalog에서 Bigtable 리소스 보기, 태그 지정, 검색의 권한 요구사항은 다릅니다. 일반적으로 조직의 주 구성원에게 작업을 완료하는 데 필요한 최소 역할을 부여합니다.

공개 및 비공개 관점을 볼 수 있는 권한

Bigtable 리소스에서 공개 및 비공개 관점을 보는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

이러한 사전 정의된 역할에는 공개 및 비공개 관점을 보는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한은 다음과 같습니다.

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • dataplex.aspectTypes.get

Bigtable 리소스를 검색할 수 있는 권한

Knowledge Catalog에서 Bigtable 리소스를 검색하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

이러한 사전 정의된 역할에는 Bigtable 리소스를 검색하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한은 다음과 같습니다.

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Bigtable 리소스에 관점을 연결할 권한

Knowledge Catalog의 Bigtable 리소스에 관점을 연결하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

이러한 사전 정의된 역할에는 공개 및 비공개 관점을 추가하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한은 다음과 같습니다.

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • dataplex.aspectTypes.use
  • dataplex.entries.update

선택사항: 커스텀 역할 만들기

프로젝트 또는 조직 전체에서 Knowledge Catalog의 모든 Bigtable 메타데이터에 대한 전체 액세스가 필요한 사용자에게 부여할 커스텀 역할을 만들 수 있습니다. 그런 다음 액세스해야 하는 모든 사용자 또는 서비스 계정을 커스텀 역할의 주 구성원으로 만들 수 있습니다. 커스텀 역할에 대한 자세한 내용은 역할 및 권한을 참조하세요.

Bigtable Dataplex 편집기와 같이 역할에 의미 있는 이름을 선택한 후 역할에 액세스해야 하는 주 구성원만 할당합니다. 설정 안내는 커스텀 역할 만들기 및 관리를 참조하세요.

커스텀 역할에 다음 권한을 부여합니다.

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • dataplex.aspectTypes.get
  • dataplex.aspectTypes.use

자세한 내용은 Knowledge Catalog IAM 권한을 참조하세요. Bigtable 권한에 대한 설명은 권한을 참조하세요.

제한사항

다음 섹션에서는 Knowledge Catalog를 사용하여 Bigtable 메타데이터를 관리하기 전에 고려해야 하는 제약조건을 나열합니다.

위치 제약조건

조직에서 위치 제약조건을 설정한 경우 Bigtable 리소스의 메타데이터 항목이 Knowledge Catalog에 동기화되지 않을 수 있습니다. Knowledge Catalog에서 위치 제약조건을 적용하기 전에 생성된 모든 항목을 보관합니다.

Knowledge Catalog에서 리소스를 로드하도록 허용하려면 위치 정책에 global 멀티 리전을 추가하는 것이 좋습니다.

Column family 이름 예외

Dataplex API는 요청의 column family 이름에 마침표 (.)가 포함된 요청을 거부합니다. 예를 들어 column family 이름이 personal.info인 경우입니다.

다음 단계