이 문서에서는 Knowledge Catalog (이전의 Dataplex Universal Catalog)와 관련된 자주 묻는 질문에 답변합니다.
Knowledge Catalog에 대한 자세한 내용은 Knowledge Catalog 개요를 참고하세요.
Knowledge Catalog란 무엇인가요?
Google Knowledge Catalog는 의 데이터 및 AI 애셋을 위한 지능형 거버넌스 솔루션입니다 Google Cloud. BigQuery, Cloud Storage, Pub/Sub, Spanner와 같은 데이터 소스 전반에서 데이터를 Google Cloud 검색, 관리, 거버넌스할 수 있는 중앙 집중식 인벤토리를 제공합니다. AI를 사용하여 데이터 검색, 메타데이터 보강, 데이터 품질을 자동화합니다. Knowledge Catalog는 거버넌스 데이터 카탈로그를 통해 AI 에이전트가 고품질 콘텐츠를 생성하는 데 필요한 기본적인 그라운딩을 제공합니다.
Data Catalog란?
Data Catalog는 Google Cloud's 메타데이터 서비스의 원래 이름이었습니다. 시간이 지남에 따라 Dataplex Universal Catalog로 발전했으며 현재는 Knowledge Catalog로 이름이 변경되고 발전했습니다.
'Data Catalog'라는 용어는 여전히 이러한 유형의 데이터 색인 생성을 설명하는 데 사용되지만 컨텍스트에서는 Google Cloud기존 제품을 지칭합니다. 모든 새 프로젝트에서 Knowledge Catalog를 사용하여 AI 기반 기능과 향상된 거버넌스를 활용하는 것이 좋습니다.
Knowledge Catalog는 Data Catalog와 다른가요?
예, Knowledge Catalog는 기존 Data Catalog를 대체하는 AI 기반 데이터 거버넌스 플랫폼입니다. 유사한 개념을 공유하지만 Knowledge Catalog는 다음과 같은 여러 개선사항을 제공합니다.
AI 기반 컨텍스트: Data Catalog와 달리 Knowledge Catalog는 Gemini를 사용하여 비즈니스 컨텍스트를 자동으로 추출하고, 자연어 설명을 생성하고, SQL '골든 쿼리'를 제공하여 AI 에이전트를 그라운딩합니다.
풍부한 메타데이터 지원: Knowledge Catalog는 중첩된 배열, 맵, 레코드와 같은 더 복잡한 메타데이터 유형을 지원합니다.
에이전트 액세스: AI 에이전트는 로컬 또는 원격 MCP 서버를 통해 Knowledge Catalog 도구를 검색하고 적응적으로 사용할 수 있습니다.
데이터 검색: Knowledge Catalog는 더 큰 서비스 및 외부 데이터 소스 Google Cloud 집합에서 메타데이터를 자동으로 수집할 수 있습니다.
대규모 거버넌스: 데이터 프로파일링, 자동 데이터 품질, 중앙 집중식 거버넌스를 위한 향상된 기능을 제공합니다.
Knowledge Catalog는 어디에 사용되나요?
Google Knowledge Catalog는 실제로 데이터를 사용하기 전에 데이터를 찾고, 이해하고, 신뢰하는 데 낭비되는 시간인 '데이터 콜드 스타트' 문제를 해결합니다. 주요 용도는 다음과 같습니다.
데이터 검색 가속화: 복잡한 조직 사일로를 탐색하여 데이터를 찾는 대신 자연어 검색 (예: "최근 고객 이탈 데이터 표시")을 사용하여 리소스 전반에서 애셋을 즉시 찾을 수 있으므로 데이터 소비자의 생산성이 향상됩니다.Google Cloud
AI 에이전트 그라운딩: 생성형 AI 또는 ADK의 '정보 출처' 역할을 합니다. 실제 데이터를 비즈니스 정의에 연결하여 AI 에이전트(예: Vertex AI 기반 에이전트)가 고품질 데이터를 사용하도록 보장하므로 AI 환각이 크게 줄어들고 AI 생성 통계에 대한 신뢰도가 향상됩니다.
자동화된 데이터 거버넌스: 데이터를 자동으로 검사하여 민감한 정보 (예: PII)를 식별하고, 데이터의 출처 (계보)를 추적하고, 정확성 (자동 데이터 품질)을 모니터링합니다. 이러한 기능을 사용하면 수동 작업 없이 데이터 신뢰도, 보안, 규정 준수를 개선할 수 있습니다.
'다크 데이터' 검색: Cloud Storage의 PDF 또는 이미지와 같은 구조화되지 않은 파일을 검사하고, 내부 정보를 추출하고, BigQuery에서 검색 및 쿼리할 수 있도록 하여 이전에 액세스할 수 없었던 데이터에서 통계를 얻을 수 있습니다.
실습 사용 사례는 Knowledge Catalog 탐색을 참고하세요.
Knowledge Catalog는 어떤 유형의 메타데이터를 저장하나요?
Knowledge Catalog는 세 가지 유형의 메타데이터를 저장합니다.
기술 메타데이터: 자동으로 수집된 스키마, 테이블 이름, 시스템 속성.
비즈니스 메타데이터: 비즈니스 설명, 용어집 용어, 소유권과 같은 사용자 정의 컨텍스트.
런타임 메타데이터: 데이터 계보, 데이터 품질 점수, 데이터 프로파일링 통계에 관한 정보.
Data Catalog에서 마이그레이션하려면 어떻게 해야 하나요?
Knowledge Catalog로의 전환은 수동 데이터 이동이 필요하지 않도록 원활하게 설계되었습니다. 현재 사용량에 따라 프로세스에는 두 가지 주요 단계가 포함됩니다.
준비 단계: 커스텀 메타데이터 (태그, 태그 템플릿 또는 커스텀 항목)가 있는 경우 이 콘텐츠는 Knowledge Catalog로 읽기 전용으로 자동 가져오기됩니다. 이 단계에서는 기존 Data Catalog 콘텐츠를 새 인터페이스에서 동시에 사용할 수 있도록 구성 작업을 실행합니다.
전송 단계: 준비가 완료되면 메타데이터의 활성 상태를 전송하여 Knowledge Catalog 내에서 읽기/쓰기 가능하게 만듭니다. 이 단계는 새 Knowledge Catalog 엔드포인트를 가리키도록 프로그래매틱 워크로드 (API, 클라이언트 라이브러리 또는 Terraform 모듈)를 업데이트하는 것과 조정해야 합니다.
커스텀 메타데이터가 없거나 플랫폼을 처음 사용하는 경우 Knowledge Catalog를 기본 UI 환경으로 설정하여 전환을 완료할 수 있습니다. 콘솔에서 Google Cloud
자세한 내용은 Data Catalog에서 Knowledge Catalog로 전환을 참고하세요.