Knowledge Catalog (이전 명칭: Dataplex Universal Catalog)의 데이터 관계를 사용하면 관련 BigQuery 테이블과 뷰를 찾고 연결 방식을 검사할 수 있습니다. 그런 다음 연결된 데이터 세트를 탐색하거나 AI 에이전트에 구조적 컨텍스트를 제공하여 더 정확한 쿼리를 생성할 수 있습니다.
시작하기 전에
데이터 애셋 간의 관계를 보기 전에 필요한 역할이 부여되었는지 확인합니다.
필요한 역할
Knowledge Catalog에서 데이터 애셋 간의 관계를 보려면 Knowledge Catalog와 관련된 IAM 역할이 필요하지 않습니다.
Knowledge Catalog는 BigQuery와 같이 애셋이 있는 소스 시스템에 대한 기존 권한을 사용하여 관계를 볼 수 있는 기능을 결정합니다. 예를 들어 BigQuery 테이블과 관련된 관계를 보려면 bigquery.tables.get 권한이 필요합니다.
소스 시스템에서 애셋을 볼 수 있는 권한이 없으면 Knowledge Catalog 관계 그래프에서 해당 애셋과 관련된 관계가 숨겨집니다. 이렇게 하면 관계 가시성이 소스 시스템에 설정된 보안 경계 및 권한을 준수합니다.
데이터 관계 정보
데이터 관계는 데이터 애셋이 연결되는 방식을 보여줍니다. 예를 들어 고객 데이터가 있는 테이블을 찾으면 해당 관계를 통해 주문 또는 지원 티켓을 나열하는 관련 테이블을 확인할 수 있습니다. 또한 관계는 대규모 언어 모델에 필수적인 컨텍스트를 제공하는 구조적 가이드 역할을 합니다. 그 결과 AI는 더 정확한 대답을 생성하고 정확한 쿼리를 작성하여 특정 정보를 검색합니다.
Knowledge Catalog는 데이터 애셋 간의 잠재적 링크와 공통 관계를 자동으로 검색하고 저장하여 각 연결의 특성을 이해하는 데 도움을 줍니다. 관계 데이터는 다음과 같은 다양한 소스에서 가져옵니다.
- 과거 쿼리 로그 Knowledge Catalog는 쿼리 기록을 지속적으로 분석하여 테이블 간의 잠재적인
JOIN패턴을 감지합니다. - 데이터 인사이트는 대규모 언어 모델을 사용하여 스키마 속성과 데이터 중복을 분석하여 요청 시 데이터 관계를 제안합니다.
지원되는 데이터 애셋
BigQuery 테이블 및 뷰의 데이터 관계를 볼 수 있습니다.
데이터 관계 보기
BigQuery 테이블 및 뷰의 데이터 관계를 보려면Google Cloud 콘솔 또는 Dataplex API를 사용합니다.
Console
BigQuery에서 테이블의 데이터 관계를 보려면 다음을 수행합니다.
Google Cloud 콘솔에서 Knowledge Catalog 검색 페이지로 이동합니다.
관계를 보려는 BigQuery 테이블을 검색합니다.
검색 결과에서 테이블 이름을 클릭하여 항목 페이지를 엽니다.
관계 탭으로 이동하여 각 데이터 관계에 대한 다음 정보를 확인합니다.
- 대상: 연결된 데이터 애셋의 이름입니다.
- 관계: 애셋을 연결하는 데 사용되는 특정 열입니다.
- 유형: 링크의 특성입니다. 예를 들어 데이터 인사이트에서 발견된 빈번한 조인과 관계는 모두
JOIN로 표시됩니다. 출처: 관계의 출처입니다.
Query history은 빈번한 조인의 원본입니다.Data insights은 데이터 인사이트에서 발견한 관계의 출처입니다.
작업: 애셋 간의 연결을 검색하는 데 사용할 수 있는 샘플 쿼리입니다.
REST
탐색된 관계는 Knowledge Catalog에 EntryLinks로 저장되며, 이는 Knowledge Catalog에서 두 데이터 애셋 (항목) 간의 관계를 설정합니다. 조인된 열 및 관계 소스와 같은 관계에 대한 세부정보는 EntryLinks의 관점으로 저장됩니다.
데이터 관계를 보려면 다음 방법을 사용합니다.
LookupEntryLinks는 특정 데이터 항목을 소스 또는 타겟으로 참조하는 모든EntryLinks를 검색하여 지정된 항목과 연결된 전체 관계 집합을 반환합니다.LookupContext는 컨텍스트 메타데이터로 AI 에이전트를 그라운딩하기 위한 단일 엔드포인트를 제공합니다. 관련 데이터 애셋을 포함하여 사전 형식화된 간결한 메타데이터 패키지를 반환합니다.
위치
모든 BigQuery 위치에서 데이터 관계를 사용할 수 있습니다.
제한사항
- Knowledge Catalog는 쿼리 기록 샘플을 분석하여 관계를 식별하므로 일부 쿼리는 링크 검색으로 이어지지 않을 수 있습니다.
- 관계 검색은 쿼리가 실행된 후 최대 72시간이 걸릴 수 있습니다.