Knowledge Catalog (이전 명칭: Dataplex Universal Catalog)는 데이터 애셋 간의 잠재적 연결을 검색하여 관련 데이터를 찾고 관계의 특성을 이해하는 데 도움을 줍니다.
시작하기 전에
데이터 애셋 간의 관계를 보기 전에 필요한 역할이 부여되었는지 확인합니다.
필요한 역할
Knowledge Catalog에서 데이터 애셋 간의 관계를 보려면 Knowledge Catalog에 특정한 IAM 역할이 필요하지 않습니다.
Knowledge Catalog는 BigQuery와 같이 애셋이 있는 소스 시스템에 대한 기존 권한을 사용하여 관계를 볼 수 있는 권한을 확인합니다. 예를 들어 BigQuery 테이블과 관련된 관계를 보려면 bigquery.tables.get 권한이 필요합니다.
소스 시스템에서 애셋을 볼 권한이 없으면 해당 애셋과 관련된 모든 관계가 Knowledge Catalog 관계 그래프에서 숨겨집니다. 이렇게 하면 관계 가시성이 소스 시스템에 설정된 보안 경계와 권한을 준수합니다.
데이터 관계 정보
데이터 관계는 데이터 애셋이 연결되는 방식을 보여줍니다. 예를 들어 고객 데이터가 포함된 테이블을 찾으면 관계를 통해 주문 또는 지원 티켓을 나열하는 관련 테이블을 확인할 수 있습니다. 또한 관계는 구조적 가이드 역할을 하여 대규모 언어 모델에 필수적인 맥락을 제공합니다. 따라서 AI는 더 정확한 대답을 생성하고, 정확한 질문을 구성하여 특정 정보를 가져옵니다.
Knowledge Catalog는 데이터 애셋 간의 일반적인 관계를 자동으로 검색하고 저장합니다. 관계 데이터는 다음과 같은 다양한 소스에서 가져옵니다.
- 지속적으로 쿼리 기록을 분석하여 테이블 간의 잠재적인
JOIN패턴을 감지하는 Knowledge Catalog의 이전 쿼리 로그입니다. - 데이터 인사이트는 대규모 언어 모델을 사용하여 스키마 속성과 데이터 중복을 분석하여 필요에 따라 데이터 관계를 제안합니다.
지원되는 데이터 애셋
BigQuery 테이블 및 뷰의 데이터 관계를 볼 수 있습니다.
데이터 관계 보기
BigQuery 테이블 및 뷰의 데이터 관계를 보려면Google Cloud 콘솔 또는 Dataplex API를 사용하세요.
Console
BigQuery에서 테이블의 데이터 관계를 보려면 다음 단계를 따르세요.
Google Cloud 콘솔에서 Knowledge Catalog 검색 페이지로 이동합니다.
관계를 보려는 BigQuery 테이블을 검색합니다.
검색 결과에서 테이블을 클릭하여 항목 페이지를 엽니다.
관계 탭에는 관계와 함께 다음 정보가 표시됩니다.
- 타겟: 연결된 데이터 애셋의 이름입니다.
- 관계: 애셋을 연결하는 데 사용되는 특정 열입니다.
- 유형: 링크의 특성입니다. 예를 들면
JOIN입니다. - 출처: 관계의 출처입니다. 예를 들어 쿼리 기록이 있습니다.
- 작업: 애셋 간의 연결을 검색하는 데 사용할 수 있는 샘플 쿼리입니다.
REST
검색된 관계는 Knowledge Catalog에 EntryLinks로 저장되며, 이는 Knowledge Catalog의 두 데이터 애셋 (항목) 간의 관계를 설정합니다. 조인된 열과 관계 소스 등 관계에 관한 세부정보는 EntryLinks의 측면으로 저장됩니다.
데이터 관계를 보려면 다음 방법을 사용하세요.
LookupEntryLinks는 특정 데이터 항목을 소스 또는 타겟으로 참조하는 모든EntryLinks를 검색하여 지정된 항목과 연결된 전체 관계 집합을 반환합니다.LookupContext는 컨텍스트 메타데이터로 AI 에이전트를 그라운딩하기 위한 단일 엔드포인트를 제공합니다. 관련 데이터 애셋을 포함한 간결한 사전 형식화된 메타데이터 패키지를 반환합니다.
위치
모든 BigQuery 위치에서 데이터 관계를 사용할 수 있습니다.
제한사항
- 쿼리 로그에서 관계를 자동으로 검색하는 기능은 BigQuery 테이블 및 뷰에서만 사용할 수 있습니다.
- Knowledge Catalog는 쿼리 기록 샘플을 분석하여 관계를 파악하므로 일부 쿼리에서는 링크가 발견되지 않을 수 있습니다.
- 쿼리가 실행된 후 관계 검색에 최대 48시간이 걸릴 수 있습니다.