BigQuery에서 Knowledge Catalog 사용
Knowledge Catalog(이전 명칭: Dataplex Universal Catalog)는 BigQuery 메타데이터의 중앙 데이터 거버넌스 및 에이전트 액세스 레이어로 BigQuery와 상호작용합니다. 자세한 내용은 Knowledge Catalog 개요를 참조하세요.
BigQuery에서 Knowledge Catalog를 사용하려면 어떻게 해야 하나요?
Knowledge Catalog는 다음과 같은 방식으로 BigQuery와 상호작용합니다.
자동화된 메타데이터 수집
Knowledge Catalog는 BigQuery 애셋에서 기술 메타데이터를 자동으로 검색하고 색인을 생성합니다. 여기에는 다음이 포함됩니다.
- 애셋 유형: 데이터 세트, 테이블, 뷰, 모델, 루틴, 연결, 연결된 데이터 세트, 그래프(미리보기)
- BigQuery Sharing: BigQuery Sharing (이전 명칭: Analytics Hub)의 교환 및 목록입니다.
- 실시간 업데이트: 시스템은 거의 실시간 수집을 지원하고 Pub/Sub를 사용하여 메타데이터 변경 피드를 제공하여 BigQuery의 스키마 변경 또는 삭제를 다운스트림 시스템에 알립니다.
- 다크 데이터 탐색: Knowledge Catalog는 Cloud Storage의 PDF와 같은 비정형 파일을 스캔하고, 항목을 추출하고, BigQuery에서 쿼리 가능한 애셋으로 변환할 수 있습니다. 이 기능을 사용하면 이전에는 액세스할 수 없었던 '다크 데이터'를 BigQuery 기반 분석 및 AI 그라운딩에 사용할 수 있습니다.
메타데이터 표현 및 보강
- 항목: 각 BigQuery 테이블 또는 애셋은 전체 테이블이 아닌 카탈로그의 항목으로 표시됩니다(예:
project.dataset.table). - 데이터 품질 스코어카드 통합: Knowledge Catalog는 카탈로그의 각 항목에 대한 데이터 품질 스코어카드를 제공합니다. 기본 제공되는 Knowledge Catalog 데이터 스캔 외에도 Dataform의 어설션 결과가 이 스코어카드의 소스입니다.
자동화된 메타데이터 보강: Dataform으로 만든 테이블과 뷰의 경우 코드에서 직접 시맨틱 메타데이터를 정의할 수 있습니다. 이 메타데이터는 파이프라인 작업이 성공적으로 완료되면 Knowledge Catalog에 자동으로 동기화됩니다. 지원되는 관점 유형은 다음과 같습니다.
- 개요: 항목의 문서 및 요약 텍스트입니다.
- 일반 관점: 테이블 시스템 및 유형 정보와 같은 기술 세부정보의 시맨틱 메타데이터 태그입니다.
메타데이터 업데이트 상태를 확인하려면 이전 수동 실행 보기의 안내를 따르세요.
메타데이터가 동기화되면 Knowledge Catalog에서 항목을 검색하고 볼 수 있습니다. 자세한 내용은 리소스 검색을 참고하세요.
열 수준 메타데이터: 개별 열 또는 필드가 경로로 표시되므로 테이블 자체뿐만 아니라 BigQuery 테이블 내의 개별 필드에 PII 마커 또는 데이터 품질 점수와 같은 특정 메타데이터를 연결할 수 있습니다.
관점: 기술 메타데이터는 소유권, 데이터 품질, 문서와 같은 비즈니스 컨텍스트를 데이터에 추가하는 관점으로 보강됩니다.
데이터 제품: 관련 BigQuery 애셋을 공유 액세스 및 거버넌스 제약조건이 있는 데이터 제품(예: 전자상거래 비즈니스 데이터)으로 패키징할 수 있습니다.
데이터 탐색 및 검색
- 시맨틱 검색: 사용자는 자연어를 사용하여 BigQuery 데이터를 검색할 수 있으며, 이는 특히 데이터 과학자와 AI 에이전트가 길거나 복잡한 쿼리를 사용하여 신뢰할 수 있는 데이터 제품을 찾는 데 유용합니다.
- 이름 변환: 프로그래매틱 조회를 더 쉽게 하기 위해 시스템에서 BigQuery SQL 이름 또는 정규화된 이름을 Knowledge Catalog 항목 이름으로 변환할 수 있습니다.
에이전트형 액세스 및 그라운딩
- 에이전트 액세스: AI 에이전트는 로컬 또는 원격 MCP 서버를 통해 Knowledge Catalog 도구를 검색하고 적응형으로 사용할 수 있습니다.
- AI 에이전트를 위한 컨텍스트: Knowledge Catalog는 BigQuery 데이터 세트를 비즈니스 시맨틱스와 연결하는 컨텍스트 그래프를 선별하여 모델이 기업에서 승인한 데이터를 사용하도록 보장함으로써 AI 할루시네이션을 줄이는 데 도움이 됩니다.
거버넌스 및 규정 준수
- 데이터 계보: Knowledge Catalog는 데이터가 BigQuery 테이블로 유입되고 유출되는 방식과 변환되는 방식을 자동으로 추적합니다. 이 기능은 데이터 환경 전반에서 PII와 같은 민감한 정보를 감사하는 데 중요합니다.
- 액세스 제어: 메타데이터 관리는 Identity and Access Management (IAM) 및 VPC 서비스 제어와 통합되어 BigQuery 메타데이터의 검색 및 액세스가 조직 보안 정책을 따르도록 합니다.
다음 단계
Knowledge Catalog 자세히 알아보기