용어집 및 항목 링크 가져오기 및 내보내기 정보

Knowledge Catalog (이전 명칭: Dataplex Universal Catalog)를 사용하면 비즈니스 용어집과 항목 링크를 일괄적으로 가져오고 내보내 비즈니스 어휘를 대규모로 관리할 수 있습니다. 카탈로그가 커지면 일괄 작업을 통해 Google Cloud 콘솔에서 개별적으로 관리하지 않고도 용어와 관계를 업데이트할 수 있습니다.

용어

Knowledge Catalog 비즈니스 용어집을 사용하면 공통 비즈니스 어휘를 정의하고 이러한 용어를 물리적 데이터 애셋과 연결할 수 있습니다. 가져오기 및 내보내기 유틸리티를 사용하기 전에 다음 주요 구성요소를 숙지하세요.

  • 용어집 리소스: 비즈니스 어휘를 설정하는 카테고리와 용어로 구성됩니다.

  • 항목 링크: 리소스 간의 관계 또는 연결(예: 용어집 용어와 데이터 애셋 간의 관계) Knowledge Catalog는 세 가지 유형의 항목 링크를 지원합니다.

    • definition: 용어집 용어를 특정 데이터 애셋(예: BigQuery 열)과 연결합니다.
    • related: 두 개의 관련 용어집 용어 간의 관계를 설정합니다.
    • synonym: 두 동의어 용어집 용어 간의 관계를 설정합니다.

용어집 및 항목 링크 가져오기 및 내보내기 방법

Knowledge Catalog는 일괄 용어집 관리를 위한 두 가지 기본 방법을 지원합니다. 자동화 요구사항과 선호하는 인터페이스에 가장 적합한 방법을 선택하세요.

  • JSON 기반 메타데이터 가져오기
  • 가져오기 및 내보내기를 위한 Google Sheets 기반 유틸리티

JSON 기반 메타데이터 가져오기

이는 기본 제공되는 완전 관리형 Knowledge Catalog 메커니즘입니다. Dataplex API를 사용하여 JSON 형식의 메타데이터 파일에 정의된 용어집 용어와 연결을 가져옵니다.

사용 사례 예시: 외부 엔터프라이즈 데이터베이스에서 직접 용어를 동기화하는 등 일일 예약 데이터 파이프라인의 일부로 Knowledge Catalog 메타데이터를 자동으로 업데이트합니다.

자세한 내용은 JSON 파일을 사용하여 용어집 및 항목 링크 가져오기를 참조하세요.

가져오기 및 내보내기를 위한 Google Sheets 기반 유틸리티

이것은 dataplex-labs 저장소에 제공되는 오픈소스 스크립트 기반 접근 방식입니다. Python 스크립트를 사용하여 Google 시트와 Knowledge Catalog 간에 용어집 메타데이터를 동기화합니다.

사용 사례 예시: 데이터 거버넌스팀이 기술 지식이 없는 비즈니스 이해관계자와 함께 수십 개의 새로운 비즈니스 용어를 공동으로 초안을 작성하고 검토하려고 합니다. 팀은 이 스프레드시트 기반 방법을 사용하므로 관리자가 스크립트를 실행하여 Knowledge Catalog에 일괄 업로드하기 전에 모든 사용자가 Google 시트에서 용어를 수정, 댓글 작성, 승인할 수 있습니다.

자세한 내용은 다음 문서를 참조하세요.

일반적인 사용 사례: Google Sheets를 사용한 왕복 수정

일반적인 관리 워크플로는 왕복 수정을 수행하는 것입니다. 여기에는 기존 카탈로그 설정을 내보내고, 일괄 수정을 수행하고, 변경사항을 Knowledge Catalog에 다시 적용하는 작업이 포함됩니다.

다음 워크플로는 이 프로세스를 실행하는 방법을 보여줍니다.

  1. Knowledge Catalog에서 Google Sheets로 기존 메타데이터를 내보냅니다.

    용어집 내보내기 및 항목 링크 내보내기 유틸리티를 사용하여 기존 용어집 구조와 항목 링크를 Google 시트로 추출합니다.

  2. Google Sheets에서 메타데이터를 수정합니다.

    Google 시트에서 필요한 사항을 변경합니다. 대칭 링크 (예: synonym 및 related 항목 링크)는 중복 행을 방지하기 위해 내보내기 중에 단일 방향으로 간소화되므로 한 번만 관리하면 됩니다.

    필수 열 스키마에 따라 각 시트에 새 행을 추가할 수 있습니다. 행에서 직접 설명이나 표시 이름과 같은 세부정보를 수정할 수도 있습니다.

  3. Google Sheets의 변경사항을 스테이징하고 Knowledge Catalog로 다시 가져옵니다.

    먼저 용어집 가져오기 유틸리티를 실행합니다. 이렇게 하면 새 용어나 카테고리를 연결하기 전에 비즈니스 용어집에 성공적으로 생성됩니다.

    항목 링크 가져오기 유틸리티를 실행합니다. 이 유틸리티는 업데이트된 연결을 읽고 Cloud Storage 버킷에 스테이징한 후 새로 업데이트된 용어집에 definition, related, synonym 링크를 적용합니다.

다음 단계