Knowledge Studio (프리뷰)는 메타데이터를 활성 컨텍스트 엔진으로 변환하여 생성형 AI 애플리케이션의 안정성을 개선하는 데 도움을 줍니다. Knowledge Studio를 사용하면 BigQuery 및 Gemini의 대화형 분석과 같은 AI 에이전트를 비즈니스 컨텍스트에 그라운딩하여 할루시네이션을 방지할 수 있습니다.
Knowledge Studio는 스키마, 위키, 이전 SQL 쿼리의 단편화된 지식을 통합하여 메타데이터 선별을 자동화합니다. 자연어를 사용하여 데이터를 탐색하고, 데이터 애셋을 비즈니스 시맨틱스에 연결하는 시각적 컨텍스트 그래프를 탐색하고, 사람이 검토할 수 있도록 카탈로그 업데이트 초안을 작성하는 자동화된 워크플로를 실행할 수 있습니다. 그런 다음 모델 컨텍스트 프로토콜 (MCP) 또는 Knowledge Catalog API를 사용하여 이러한 선별된 컨텍스트 블록을 에이전트에 동적으로 제공할 수 있습니다.
이 문서는 Knowledge Studio의 작동 방식을 이해하려는 데이터 설계자, 거버넌스 리드, AI 엔지니어를 대상으로 합니다.
수동적 카탈로그에서 능동적 컨텍스트 엔진으로
일반적인 메타데이터 카탈로그는 정적 스키마, 설명, 데이터 사전을 저장합니다. 정적 메타데이터는 테이블을 검색하는 인간 데이터 분석가에게는 충분하지만 다음과 같은 요구사항이 있는 생성형 AI 에이전트에게는 충분하지 않습니다.
심층적인 시맨틱 관계: 스키마 간에 테이블이 조인되는 방식, 주요 비즈니스 측정항목을 나타내는 열, 비즈니스 용어집이 기본 스토리지에 매핑되는 방식을 이해합니다.
운영 그라운딩: 실제 SQL 사용 패턴, 쿼리 빈도, 실제 에이전트 프롬프트 및 대답을 컨텍스트에 통합합니다.
지속적인 자체 학습: 사용자 피드백과 에이전트 실행 성공률을 기반으로 테이블 설명, 관점, 열 정의를 자동으로 미세 조정합니다.
Knowledge Studio는 운영 신호를 지속적으로 마이닝하고, 고품질 메타데이터 제안을 생성하고, 모델 컨텍스트 프로토콜 (MCP) 또는 Knowledge Catalog API를 통해 사전 형식화된 컨텍스트 블록을 에이전트에 제공하는 상시 가동 컨텍스트 엔진을 통해 이러한 기능을 제공합니다.
Knowledge Studio 인터페이스
Knowledge Studio는 워크플로를 세 가지 기본 영역으로 구성합니다.
새 채팅: 자연어를 사용하여 데이터 검색, 조사, 시맨틱 쿼리 검증을 위한 대화형 채팅 인터페이스 및 대화형 컨텍스트 그래프입니다. 자세한 내용은 데이터 애셋 탐색을 참조하세요.
컨텍스트 세트: 보강된 메타데이터를 패키징하여 다운스트림 AI 에이전트를 안전하게 그라운딩하는 논리적 컨테이너(항목 그룹)를 만들고 관리하는 인터페이스입니다. 자세한 내용은 컨텍스트 세트 관리를 참조하세요.
보강: 메타데이터 생성을 자동화하고, 평가 벤치마크를 구성하고, 휴먼인더루프 선별 워크플로를 통해 AI가 제안한 카탈로그 업데이트 (변경 요청)를 검토하는 제어 센터입니다. 자세한 내용은 보강 태스크 정보를 참조하세요.
실제 다중 제품 시나리오
Knowledge Studio는 데이터 웨어하우스, 엔터프라이즈 지식 저장소, 생성형 AI 애플리케이션을 연결합니다. 다음 시나리오에서는 Knowledge Studio가 엔터프라이즈 아키텍처의 여러 제품에서 작동하는 방식을 보여줍니다.
BigQuery에서 자연어 쿼리 그라운딩
과제: 비즈니스 분석가는 대화형 분석에서 자연어를 사용하여 "지난 분기 지역별 순 유지율은 얼마였어?"와 같은 질문을 합니다. 선별된 비즈니스 시맨틱스가 없으면 모델이 조인 키를 할루시네이션하거나 총 예약액을 순수익으로 오인할 수 있습니다.
Knowledge Studio 솔루션: 분석가는 새 채팅 인터페이스를 사용하여 판매 스테이징 테이블과 인증된
SZBank Business Glossary간의 관계를 확인합니다. Knowledge Studio는 활성 컨텍스트 그래프를 사용하여 대화형 분석을 그라운딩하여 생성된 SQL에 확인된 조인 조건과 표준 KPI 수식이 포함되도록 합니다.
엔터프라이즈 SOP의 메타데이터 보강
과제: 데이터 엔지니어링팀은 BigQuery에서 수십 개의 데이터 세트를 유지관리하는 반면, 중요한 비즈니스 규칙과 파이프라인 계보는 외부 Confluence 위키 또는 Jira 티켓에 있습니다. 스키마가 발전함에 따라 카탈로그 문서가 오래된 상태가 됩니다.
Knowledge Studio 솔루션: 거버넌스 리드가 분석 데이터 세트를 타겟팅하는 반복적인 보강 태스크를 구성합니다. Knowledge Studio는 Confluence의 비정형 SOP와 Cloud Logging의 이전 쿼리 로그를 수집하여 업데이트된 열 정의와 테이블 관계를 자동으로 제안합니다. 큐레이터는 실행 세부정보 페이지에서 제안된 차이를 검사하고 카탈로그에 대한 확인된 업데이트를 승인합니다.
상담사에게 선별된 컨텍스트 제공
- 문제: LangChain 또는 ADK를 사용하여 고객 지원 또는 자문 에이전트를 빌드하는 AI 개발자는 데이터베이스 사용자 인증 정보를 하드코딩하거나 대규모 테이블 정의를 프롬프트에 채워 넣지 않고도 최신 스키마 시맨틱스가 필요합니다.
- Knowledge Studio 솔루션: Knowledge Studio는 선별된 메타데이터와 검증된 조인 그래프를 컨텍스트 세트 (예:
entryGroups/customer-360)로 캡처합니다. 컨텍스트에 액세스하기 위해 에이전트는 모델 컨텍스트 프로토콜 (MCP)을 통해 Knowledge Studio에 연결하거나 Knowledge Catalog API를 사용할 수 있습니다. 추론 시 에이전트는 MCP 엔드포인트 또는 카탈로그 API를 쿼리하여 사용자의 의도와 관련된 인증된 비즈니스 컨텍스트와 샘플 쿼리를 동적으로 검색합니다.
아키텍처 개요
다음 다이어그램은 Knowledge Studio 구성요소가 데이터 자산, 파운데이션 모델, AI 애플리케이션과 상호작용하는 방식을 보여줍니다.
핵심 개념
Knowledge Studio를 효과적으로 사용하려면 엔터프라이즈 메타데이터가 모델링, 패키징, 선별되는 방식을 이해해야 합니다.
컨텍스트 그래프
컨텍스트 그래프는 Knowledge Studio의 핵심적인 대화형 시각적 토폴로지입니다. 데이터 애셋 (예: BigQuery 테이블, 뷰, 레이크하우스)을 비즈니스 시맨틱스 (예: 비즈니스 용어집 용어, 측정항목 수식, 데이터 제품)와 통합합니다. 일반적인 카탈로그에서 데이터 테이블과 관련 비즈니스 용어집 정의는 별도의 사일로에 존재합니다. 컨텍스트 그래프에서 이들은
동일한 캔버스 데이터 분석가와 엔지니어는 추론된 사용량, 테이블의 조인 조건 등을 통해 데이터 간의 관계를 시각적으로 확인할 수 있으며, Gemini는 그래프를 사용하여 자연어 탐색을 그라운딩합니다. 자세한 내용은 Knowledge Studio에서 데이터 애셋 탐색을 참조하세요.
컨텍스트 그래프에 지원되는 리소스 및 연결 유형
컨텍스트 그래프는 다음 Knowledge Catalog 리소스를 노드 또는 컨테이너로 렌더링하는 것을 지원합니다.
- 테이블 및 뷰: 기술 BigQuery 및 레이크하우스 테이블, 뷰, 데이터 세트, 카탈로그
- 데이터베이스 및 스토리지: 운영 데이터베이스 (예: Spanner 및 AlloyDB) 및 Cloud Storage 리소스
- 분석 및 모델링: Looker 프로젝트 및 dbt 모델, 테스트, 노출
- 용어집 용어: 비즈니스 용어집의 개별 비즈니스 정의입니다.
- 데이터 제품: 팀 간 소비를 위해 선별된 데이터 애셋 번들입니다.
- 컨텍스트: 커스텀 컨텍스트 세트 및 첨부된 문서입니다.
- 커스텀 애셋: 커스텀 항목 그룹 및 지원되지 않는 항목 유형입니다.
그래프는 다음 시맨틱 관계 에지를 시각화하여 이러한 리소스가 연결되는 방식을 정의합니다.
스키마 조인: 테이블 간의 구조적 및 운영적 조인 관계입니다. 시스템은 BigQuery 작업을 자동으로 스캔하여 서로 다른 테이블의 열이 동일한 의미를 공유하고 함께 조인될 수 있음을 나타내는 쿼리를 찾습니다.
정의: 기술 데이터 애셋 또는 열을 해당 비즈니스 용어집 정의에 매핑하는 링크입니다.
컨텍스트: 전문 컨텍스트 집합 또는 커스텀 도메인 문서를 대상 데이터 애셋에 연결하는 링크입니다.
패키지: 특정 데이터 제품에 번들로 묶인 데이터 애셋을 보여주는 집계 링크입니다.
항목 링크
항목 링크는 컨텍스트 그래프에서 방향성 또는 비방향성 시맨틱 에지를 나타냅니다. 이러한 링크는 캔버스에서 데이터 애셋과 기타 통합 리소스를 시각적으로 조인합니다. 이러한 링크를 선택적으로 필터링하여 데이터 환경 전반에서 특정 관계를 분리할 수 있습니다.
항목 링크는 기업 전반의 고유한 항목을 연결합니다.
정의 링크: 기본 테이블 열을 인증된 비즈니스 용어집 용어 및 KPI 수식에 직접 연결합니다.
관계 링크: 확인된 기본 키, 외래 키, 다중 테이블 조인 경로를 매핑합니다.
에이전트 trace 링크: 실제 AI 사용자 프롬프트를 답변에 사용된 특정 테이블과 연결합니다.
패키지 링크: 데이터 애셋 집합을 선별된 데이터 제품에 조인합니다.
항목 링크는 컨텍스트 집합을 조합하기 위해 순회하는 개별 연결 역할을 합니다. 자동 보강 실행 중에 에이전트는 후보 조인 또는 연결되지 않은 용어를 식별할 때마다 큐레이터 승인을 위해 새 항목 링크를 제안합니다.
컨텍스트 세트
컨텍스트 세트는 시맨틱 정보와 데이터 애셋 참조의 경계가 지정된 컨테이너입니다. 각 컨텍스트 집합은 특수 항목 그룹(type="context-set")으로 구현됩니다.
컨텍스트 세트는 에이전트가 전체 엔터프라이즈 카탈로그에서 개방형 검색을 수행하지 못하도록 밀폐된 실행 경계를 설정합니다. 이 방법은 할루시네이션과 토큰 소비를 줄입니다.
컨텍스트 세트가 데이터 제품 및 시맨틱 컨텍스트 그래프와 같은 관련 구성과 어떻게 다른지 알아보거나 자세한 아키텍처 기능, 카테고리, 네임스페이스, 에이전트 컨설테이션 패턴을 알아보려면 컨텍스트 세트 개요를 참조하세요.
보강 태스크 및 실행
Knowledge Studio의 자동 메타데이터 보강은 보강 태스크, 보강 작업, 보강 실행으로 구성됩니다.
보강 태스크: 보강 에이전트가 타겟팅된 데이터 애셋 집합을 분석하는 방법을 정의하는 영구 구성입니다. 보강 태스크는 대상 컨텍스트 세트, 문맥 입력 소스, 평가 벤치마크를 지정합니다.
보강 작업: 보강 태스크를 실행하는 Knowledge Studio 내의 백엔드 조정 프로세스입니다.
보강 실행: 태스크의 단일 특정 시점 실행 인스턴스입니다. 각 실행은 대상 애셋을 검사하고, 시맨틱 신호를 추출하고, 데이터 관리 책임자가 검토할 수 있는 변경 요청 (제안)을 생성합니다.
보강 워크플로에 대한 자세한 내용은 보강 태스크 정보를 참조하세요.
컨텍스트 그래프와 데이터 계보 비교
적절한 도구를 선택하려면 Knowledge Studio 컨텍스트 그래프와 Knowledge Catalog 데이터 계보의 차이점을 이해하는 것이 중요합니다.
데이터 계보는 시간 경과에 따른 데이터의 운영 이동 및 기본 변환을 추적합니다. 계보는 다음과 같은 질문에 답합니다. 이 데이터는 어디에서 왔나요? 이 테이블을 채운 ETL 파이프라인은 무엇인가요? 이 업스트림 스키마가 변경되면 어떤 다운스트림 대시보드가 손상되나요? 노드는 기본 애셋 및 변환 작업 (예: Dataflow 파이프라인 또는 BigQuery 작업)을 나타내고 방향성 에지는 기본 데이터 흐름을 나타냅니다.
컨텍스트 그래프는 비즈니스 시맨틱스, 관계, 도메인 지식을 모델링합니다. 컨텍스트 그래프는 다음과 같은 질문에 답합니다. 이 열은 비즈니스 용어로 무엇을 의미하나요? 이 두 테이블은 개념적으로 어떻게 관련되어 있나요? AI 에이전트가 질문에 답변하기 위해 이러한 애셋을 어떻게 조인해야 할까요? 노드는 개념적 항목 (예: 용어집 용어, KPI 수식, 데이터 제품)과 함께 기본 애셋을 나타내고 에지는 시맨틱 연결 (예: 열-용어집 정의 링크 및 확인된 조인 조건)을 나타냅니다.
파이프라인 추적 가능성에 대한 자세한 내용은 Knowledge Catalog 데이터 계보를 참조하세요.
엔터프라이즈 보안 및 거버넌스
Knowledge Studio는 엄격하게 관리되는 환경을 위해 설계된 엔터프라이즈급 보안 아키텍처를 기반으로 빌드되었습니다.
사용자 관리 실행 ID: 보강 태스크는 사용자 관리 서비스 계정을 사용하여 실행됩니다. 이 계정은 프로젝트에서 사용자를 대신하여 서비스가 작동하도록 허용하기 위해 만들고 관리하는 ID입니다. Dataplex 서비스 에이전트 (P4SA)는 서비스 계정 토큰 생성자 역할 (
roles/iam.serviceAccountTokenCreator)을 사용하여 이 서비스 계정을 가장하여 단기 OAuth 2.0 사용자 인증 정보를 생성합니다. 이러한 단기 사용자 인증 정보를 생성하면 액세스 토큰의 수명이 제한되므로 장기 서비스 계정 키를 사용하는 경우에 비해 사용자 인증 정보 노출 위험이 최소화됩니다.서드 파티 인증: 원격 SaaS 지식 소스(예: Microsoft SharePoint, Atlassian Confluence, Jira, GitHub)를 연결할 때Google Cloud의 에이전트 아이덴티티 인증 관리자를 사용하므로 사람 운영자가 원시 클라이언트 보안 비밀번호를 처리하지 않습니다.
이러한 보안 기능을 구성하는 방법은 보강 기본 요건 구성을 참조하세요.
제한사항
Assured Workloads 규정 준수 체계 (FedRAMP, CJIS, IL4/IL5, HIPAA 포함)
데이터 레지던시 (DRZ) 약정 이 기능으로 처리된 데이터는 엄격하게 구성된 지리적 경계 외부에서 저장되거나 처리될 수 있습니다.
고객 관리 암호화 키 (CMEK). 이 기능으로 저장되거나 처리되는 데이터는 Cloud Key Management Service 또는 Cloud EKM 키 대신 Google 소유 및Google-owned and Google-managed encryption keys를 사용하여 암호화됩니다.
VPC 서비스 제어. VPC 서비스 제어는 지원되지 않습니다.
액세스 투명성 (AXT) 알림 및 액세스 승인 제어 이 프리뷰를 지원하거나 유지보수하기 위해 Google 직원이 수행한 작업은 액세스 투명성 Cloud Access Ledger (CAL)에 로깅되지 않습니다.
미리보기 중에는 Knowledge Studio가 다음과 같은 추가 경계 내에서 작동합니다.
컨텍스트 세트 리전 범위: 리전 데이터 애셋에 연결된 전역 컨텍스트 세트는 지원되지 않습니다. 컨텍스트 세트는 패키징하는 애셋의 지역 경계와 일치해야 합니다.
콘솔 우선 관리: 보강 태스크 및 탐색 세션은 Google Cloud 콘솔을 통해 관리됩니다. 작업 관리를 위한 직접 REST API 및
gcloudCLI 명령어는 미리보기에서 사용할 수 없습니다. 하지만 다운스트림 에이전트는 Knowledge Catalog 카탈로그 API (ListEntries,LookupEntry) 및 모델 컨텍스트 프로토콜 (MCP)을 사용하여 선별된 컨텍스트 세트를 프로그래매틱 방식으로 검색하고 쿼리할 수 있습니다.중앙 집중식 선별: 모든 메타데이터 검토 및 승인은 보강 실행 세부정보 페이지에서 이루어집니다.
독립형 결제 SKU 없음: Knowledge Studio는 별도의 제품 SKU를 도입하지 않습니다. 사용 요금은 기본 리소스 ( Gemini 추론 엔진, BigQuery, Cloud Storage)의 표준 사용량을 반영합니다.