이 문서에서는 Knowledge Catalog (이전 명칭: Dataplex Universal Catalog)와 관련하여 자주 묻는 질문에 대한 답변을 제공합니다.
Knowledge Catalog에 대한 자세한 내용은 Knowledge Catalog 개요를 참고하세요.
Knowledge Catalog란 무엇인가요?
Google Knowledge Catalog는 Google Cloud의 데이터 및 AI 애셋을 위한 지능형 거버넌스 솔루션입니다. BigQuery, Cloud Storage, Pub/Sub, Spanner와 같은 Google Cloud 데이터 소스 전반에서 데이터를 검색, 관리, 거버넌스할 수 있는 중앙 집중식 인벤토리를 제공합니다. AI를 사용하여 데이터 검색, 메타데이터 보강, 데이터 품질을 자동화합니다. 관리형 데이터 카탈로그를 통해 Knowledge Catalog는 AI 에이전트가 고품질 콘텐츠를 생성하는 데 필요한 필수 그라운딩을 제공합니다.
Data Catalog란?
Data Catalog는 Google Cloud의 메타데이터 서비스의 원래 이름입니다. 시간이 지나면서 Dataplex Universal Catalog로 발전했으며, 이제 이름이 바뀌고 Knowledge Catalog로 발전했습니다.
'데이터 카탈로그'라는 용어는 여전히 이러한 유형의 데이터 색인 생성을 설명하는 데 사용되지만 Google Cloud의 맥락에서는 기존 제품을 의미합니다. 모든 신규 프로젝트에서 Knowledge Catalog를 사용하여 AI 기반 기능과 향상된 거버넌스를 활용하는 것이 좋습니다.
Knowledge Catalog는 Data Catalog와 다른가요?
예, Knowledge Catalog는 AI 기반 데이터 거버넌스 플랫폼으로, 기존 Data Catalog를 대체할 예정입니다. Knowledge Catalog는 비슷한 개념을 공유하지만 다음과 같은 여러 개선사항을 제공합니다.
AI 기반 컨텍스트: 데이터 카탈로그와 달리 Knowledge Catalog는 Gemini를 사용하여 비즈니스 컨텍스트를 자동으로 추출하고, 자연어 설명을 생성하며, AI 에이전트를 그라운딩하기 위한 SQL '표준 쿼리'를 제공합니다.
풍부한 메타데이터 지원: Knowledge Catalog는 중첩된 배열, 맵, 레코드와 같은 더 복잡한 메타데이터 유형을 지원합니다.
에이전트형 액세스: AI 에이전트는 로컬 또는 원격 MCP 서버를 통해 Knowledge Catalog 도구를 검색하고 적응적으로 사용할 수 있습니다.
데이터 탐색: Knowledge Catalog는 더 큰 Google Cloud 서비스 및 외부 데이터 소스 집합에서 메타데이터를 자동으로 수집할 수 있습니다.
대규모 거버넌스: 데이터 프로파일링, 자동 데이터 품질, 중앙 집중식 거버넌스를 위한 향상된 기능을 제공합니다.
Knowledge Catalog는 어디에 사용되나요?
Google Knowledge Catalog는 실제로 데이터를 사용하기 전에 데이터를 찾고, 이해하고, 신뢰하는 데 낭비되는 시간인 '데이터 콜드 스타트' 문제를 해결합니다. 주요 용도는 다음과 같습니다.
데이터 검색 속도 향상: 복잡한 조직 사일로를 탐색하여 데이터를 찾는 대신 자연어 검색 (예: '최근 고객 이탈 데이터를 보여 줘')을 사용하여Google Cloud 리소스 전반에서 애셋을 즉시 찾아 데이터 소비자의 생산성을 높일 수 있습니다.
AI 에이전트 그라운딩: 생성형 AI 또는 ADK의 '정보 출처' 역할을 합니다. 물리적 데이터를 비즈니스 정의에 연결하면 AI 에이전트(예: Vertex AI 기반 에이전트)가 고품질 데이터를 사용하므로 AI 환각이 크게 줄어들고 AI 생성 통계에 대한 신뢰도가 향상됩니다.
자동화된 데이터 거버넌스: 데이터를 자동으로 스캔하여 민감한 정보 (예: PII)를 식별하고, 데이터의 출처 (계보)를 추적하고, 정확성 (자동 데이터 품질)을 모니터링합니다. 이러한 기능을 사용하면 수동 작업 없이 데이터 신뢰도, 보안, 규정 준수를 개선할 수 있습니다.
'다크 데이터' 검색: Cloud Storage의 PDF나 이미지와 같은 비정형 파일을 스캔하고, 내부 정보를 추출하고, BigQuery에서 검색 가능하고 쿼리 가능하게 만들어 이전에는 액세스할 수 없었던 데이터에서 유용한 정보를 얻을 수 있습니다.
실제 사용 사례는 Knowledge Catalog 살펴보기를 참고하세요.
Knowledge Catalog는 어떤 유형의 메타데이터를 저장하나요?
Knowledge Catalog는 다음 세 가지 유형의 메타데이터를 저장합니다.
기술 메타데이터: 자동으로 수집된 스키마, 테이블 이름, 시스템 속성입니다.
비즈니스 메타데이터: 비즈니스 설명, 용어집 용어, 소유권과 같은 사용자 정의 컨텍스트입니다.
런타임 메타데이터: 데이터 계보, 데이터 품질 점수, 데이터 프로파일링 통계에 관한 정보입니다.
Data Catalog에서 마이그레이션하려면 어떻게 해야 하나요?
Knowledge Catalog로의 전환은 원활하게 이루어지도록 설계되어 수동 데이터 이동이 필요하지 않습니다. 현재 사용량에 따라 프로세스에는 두 가지 주요 단계가 있습니다.
준비 단계: 커스텀 메타데이터 (태그, 태그 템플릿 또는 커스텀 항목)가 있는 경우 이 콘텐츠가 읽기 전용으로 Knowledge Catalog에 자동으로 가져옵니다. 이 단계에서는 기존 Data Catalog 콘텐츠를 새 인터페이스에서 동시에 사용할 수 있도록 구성 작업을 실행합니다.
전송 단계: 준비가 완료되면 메타데이터의 활성 상태를 전송하여 Knowledge Catalog 내에서 읽기-쓰기 권한을 부여합니다. 이 단계는 새 Knowledge Catalog 엔드포인트를 가리키도록 프로그래매틱 워크로드 (API, 클라이언트 라이브러리 또는 Terraform 모듈)를 업데이트하는 것과 함께 조정해야 합니다.
커스텀 메타데이터가 없거나 플랫폼을 처음 사용하는 경우 Google Cloud 콘솔에서 Knowledge Catalog를 기본 UI 환경으로 설정하여 전환을 완료할 수 있습니다.
자세한 내용은 Data Catalog에서 Knowledge Catalog로 전환을 참고하세요.