Knowledge Catalog는 데이터 애셋 간의 잠재적 링크를 검색하여 관련 데이터를 찾고 관계의 특성을 파악하는 데 도움을 줍니다.
시작하기 전에
데이터 애셋 간의 관계를 보기 전에 필요한 역할이 부여되었고 필요한 API가 사용 설정되어 있는지 확인합니다.
필요한 역할
데이터 애셋 간의 관계를 보는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.
-
BigQuery 테이블 및 뷰에서 관계를 보려면 다음 단계를 따르세요.
BigQuery 메타데이터 뷰어 (
roles/bigquery.metadataViewer)
역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.
API 사용 설정
데이터 관계를 사용하려면 프로젝트에서 Dataplex API와 BigQuery API를 사용 설정합니다.
API 사용 설정에 필요한 역할
API를 사용 설정하려면 serviceusage.services.enable 권한이 포함된 서비스 사용량 관리자 IAM 역할(roles/serviceusage.serviceUsageAdmin)이 필요합니다. 역할 부여 방법 알아보기
데이터 관계 정보
데이터 관계는 데이터 애셋이 연결되는 방식을 보여줍니다. 예를 들어 고객 데이터가 포함된 테이블을 찾으면 관계를 통해 주문 또는 지원 티켓을 나열하는 관련 테이블을 확인할 수 있습니다. 또한 관계는 구조적 가이드 역할을 하여 대규모 언어 모델에 필수적인 맥락을 제공합니다. 따라서 AI는 더 정확한 대답을 생성하고, 정확한 질문을 구성하여 특정 정보를 검색합니다.
Knowledge Catalog는 데이터 애셋 간의 일반적인 관계를 자동으로 검색하고 저장합니다. 관계 데이터는 다음과 같은 다양한 소스에서 가져옵니다.
- 지속적으로 쿼리 기록을 분석하여 테이블 간의 잠재적인
JOIN패턴을 감지하는 Knowledge Catalog의 이전 쿼리 로그 - 데이터 통계는 대규모 언어 모델을 사용하여 스키마 속성과 데이터 중복을 분석하여 필요에 따라 데이터 관계를 제안합니다.
지원되는 데이터 애셋
BigQuery 테이블 및 뷰의 데이터 관계를 볼 수 있습니다.
데이터 관계 보기
BigQuery 테이블 및 뷰의 데이터 관계를 보려면 Google Cloud 콘솔 또는 Knowledge Catalog API를 사용하세요.
Console
BigQuery에서 테이블의 데이터 관계를 보려면 다음 단계를 따르세요.
Google Cloud 콘솔에서 Knowledge Catalog 검색 페이지로 이동합니다.
관계를 보려는 BigQuery 테이블을 검색합니다.
검색 결과에서 테이블을 클릭하여 항목 페이지를 엽니다.
관계 탭에는 관계와 함께 다음 정보가 표시됩니다.
- 타겟: 연결된 데이터 애셋의 이름입니다.
- 관계: 애셋을 연결하는 데 사용되는 특정 열입니다.
- 유형: 링크의 특성입니다. 예를 들면
JOIN입니다. - 출처: 관계의 출처입니다. 예를 들어 쿼리 기록이 있습니다.
- 작업: 애셋 간의 연결을 검색하는 데 사용할 수 있는 샘플 쿼리입니다.
REST
검색된 관계는 Knowledge Catalog의 두 데이터 애셋 (항목) 간의 관계를 설정하는 EntryLinks으로 Knowledge Catalog에 저장됩니다. 조인된 열 및 관계 소스와 같은 관계에 관한 세부정보는 EntryLinks의 측면으로 저장됩니다.
데이터 관계를 보려면 다음 방법을 사용하세요.
LookupEntryLinks는 특정 데이터 항목을 소스 또는 타겟으로 참조하는 모든EntryLinks를 검색하여 지정된 항목과 연결된 전체 관계 집합을 반환합니다.LookupContext는 컨텍스트 메타데이터를 사용하여 AI 에이전트를 그라운딩하기 위한 단일 엔드포인트를 제공합니다. 관련 데이터 애셋을 포함한 간결하고 사전 형식이 지정된 메타데이터 패키지를 반환합니다.
위치
모든 BigQuery 위치에서 데이터 관계를 사용할 수 있습니다.
제한사항
- 쿼리 로그에서 관계를 자동으로 검색하는 기능은 BigQuery 테이블 및 뷰에서만 사용할 수 있습니다.
- Knowledge Catalog는 쿼리 기록 샘플을 분석하여 관계를 식별하므로 일부 쿼리에서는 링크가 발견되지 않을 수 있습니다.
- 관계 검색은 쿼리가 실행된 후 최대 48시간이 걸릴 수 있습니다.