보강 작업은 Knowledge Catalog의 자율 에이전트로, 데이터 관리 책임자와 플랫폼 엔지니어가 메타데이터 작업을 확장하는 데 도움이 됩니다. 보강 태스크는 데이터 세트 스키마를 지속적으로 분석하고 회사 문서를 읽고 데이터 애셋에 대한 제안된 설명을 생성합니다. 보강 작업을 최대한 활용하려면 핵심 Knowledge Catalog 개념과 조직의 데이터 아키텍처를 숙지해야 합니다.
보강 태스크는 메타데이터 생성을 자동화하여 수동 선별의 부담을 줄이는 동시에 카탈로그에 정확한 비즈니스별 컨텍스트가 반영되도록 합니다.
보강 작업을 사용하는 이유
보강 태스크는 대규모 Data Catalog를 정확하고 최신 상태로 유지하는 문제를 해결합니다.
| 관점 | 기존 접근법 | Knowledge Studio 접근 방식 |
|---|---|---|
| 절차 | 직접 작성한 설명 관리자는 수천 개의 테이블을 수동으로 검토하고 도메인 전문가를 인터뷰합니다. | 에이전트 기반 자율 에이전트가 데이터를 분석하고 표준 운영 절차를 읽습니다. |
| 속도와 확장성 | 시간이 지남에 따라 스키마가 변경되므로 유지관리가 느리고 어렵습니다. | 확장성이 뛰어납니다. 고품질 메타데이터 제안이 지속적으로 생성됩니다. |
| 인간의 노력 | 높음. 광범위한 수동 데이터 입력 및 지속적인 유지관리 | 낮음 데이터 관리 책임자는 생성된 추천을 검토하고 승인하기만 하면 됩니다. |
보강 태스크 사용 사례
보강 태스크는 조직에서 다음과 같은 일반적인 메타데이터 문제를 해결하는 데 도움이 됩니다.
인수 통합: 회사가 문서화되지 않은 수천 개의 데이터 애셋이 있는 새로운 비즈니스 단위를 인수합니다. 데이터 엔지니어는 인수된 회사의 데이터 사전을 지식 신호로 사용하여 새 데이터 세트에 대한 보강 작업을 가리킵니다. 에이전트는 몇 달이 아닌 몇 시간 만에 전체 데이터 세트에 대해 비즈니스에 맞는 설명을 제안합니다.
지속적인 문서화: 플랫폼 엔지니어링팀은 스키마가 매일 변경되는 동적 레이크하우스를 빌드합니다. 자동 게시가 사용 설정된 일일 일정에 따라 실행되도록 보강 태스크를 구성하여 카탈로그가 항상 최신 스키마 변경사항을 반영하도록 합니다.
시맨틱 거버넌스: 중앙 데이터 사무실에서 모든 부서의 용어를 표준화하려고 합니다. 선별된 Knowledge Catalog 용어집을 참조하는 보강 작업을 배포합니다. 에이전트는 승인된 엔터프라이즈 용어집 용어를 위반하는 테이블 설명에 대해 자동으로 플래그를 지정하고 재정의를 제안합니다.
핵심 개념
보강 태스크를 구성할 때는 다음 핵심 구성요소를 정의합니다.
- 보강 작업
-
에이전트가 수행해야 하는 작업을 정의하는 구성입니다. 태스크에는 선택한 컨텍스트 집합, 타겟 리소스, 일정, 제공하는 모든 지식 신호가 포함됩니다.
예를 들어 매주 일요일 자정에 GitHub 저장소를 읽고
finance데이터 세트를 보강하도록 에이전트에 지시하는 태스크가 있습니다. - 보강 작업
- 보강 태스크를 실행하는 Knowledge Studio 내의 백엔드 조정 프로세스입니다.
- 보강 실행
-
특정 시점의 단일 태스크 실행 인스턴스입니다. Knowledge Studio 콘솔에는 태스크의 이전 실행을 나열하는 작업 탭이 포함되어 있으며 특정 실행을 열어 생성된 메타데이터 제안을 검토할 수 있습니다.
예를 들어 10월 24일에 발생하여 15개의 열 변경사항이 제안된 특정 실행 인스턴스입니다.
- 컨텍스트 세트
-
타겟 데이터 애셋 및 메타데이터의 제한된 컨테이너입니다. 모든 보강 태스크는 정확히 하나의 컨텍스트 집합을 타겟팅하도록 구성되어야 합니다. 컨텍스트 세트에는 BigQuery 데이터 세트 또는 레이크하우스와 같은 대상 리소스가 포함될 수 있지만, 존재하지 않는 경우 빈 컨텍스트 세트를 만들 수도 있습니다.
예를 들어 캠페인 테이블, ROAS 측정항목, 용어집을 단일 AI 컨텍스트 경계로 논리적으로 바인딩하는 마케팅 컨텍스트 집합입니다.
- 지식 신호
- 에이전트를 회사의 현실에 그라운딩하는 외부 자료입니다. 데이터 사전, Knowledge Catalog 용어집 또는 내부 문서 URL이 포함된 Cloud Storage 버킷을 제공하면 에이전트가 일반적인 추측을 하는 대신 특정 비즈니스 로직을 사용하도록 할 수 있습니다.
- 평가 세트
-
에이전트의 정확성을 평가하는 데 사용되는 테스트 질문 및 해당 SQL (
.jsonl형식으로 제공됨)입니다. 에이전트가 새 메타데이터를 제안하면 제안에 대해 이러한 테스트 질문을 실행하여 게시 전에 정확성이 떨어지지 않는지 확인합니다.예를 들어 'MRR은 얼마인가요?'와 같은 테스트 질문을 월간 반복 수익을 계산하는 데 필요한 정확한 SQL 쿼리와 함께 제공합니다. 에이전트가 이 테스트 쿼리를 실패하게 만드는 혼란스러운 메타데이터를 제안하면 제안에 플래그가 지정됩니다.
- 자체 학습 소스
-
Gemini Enterprise 앱 또는 BigQuery 에이전트 분석의 실시간 대화 로그 에이전트는 이러한 채팅 로그를 읽고 사용자가 무엇을 묻는지 파악하고, 누락된 지식 격차를 발견하고, 이러한 격차를 메우기 위한 새로운 메타데이터를 자동으로 제안합니다.
예를 들어 채팅 로그에서 사용자가 '상태 코드 42는 무엇을 의미하나요?'라고 자주 질문하고 에이전트가 답변하지 못하는 경우 자체 학습은 누락된 상태 코드를 문서화하기 위한 메타데이터 제안을 트리거합니다.
보강 작업을 위해 지원되는 데이터 소스 및 통합
보강 작업은 Google Cloud 및 서드 파티 시스템과 통합됩니다.
대상 데이터 애셋
보강 에이전트는 다음Google Cloud 대상 데이터 애셋을 컨텍스트 세트에 직접 보강하고 추가할 수 있습니다.
BigQuery 데이터 세트, 테이블, 뷰
레이크하우스 레이크, 영역, 애셋
Knowledge Studio는 Lakehouse 통합을 통해 Iceberg REST 카탈로그 통합 (예: Databricks Unity, Snowflake Horizon, AWS Glue Data Catalog, SAP 비즈니스 데이터 클라우드)을 통해 연결된 서드 파티 소스의 메타데이터 보강을 간접적으로 지원합니다.
지식 신호
보강 실행 중에 에이전트는 다음 읽기 전용 소스에서 시맨틱 규칙, 비즈니스 컨텍스트, 도메인 지식을 추출합니다.
Google Cloud:
- 지원되는 파일 형식 (예: PDF, CSV, 마크다운, 구성, 데이터 세트, 비정형 텍스트 파일)이 포함된 Cloud Storage 버킷
- 동일한 리전 범위에 있는 Knowledge Catalog 비즈니스 용어집
- Google Drive 파일 (예: 문서, 시트, 슬라이드, PDF, 파일, 일반 텍스트 문서)을 포함한 Google Workspace 애플리케이션
서드 파티 시스템 (Google Cloud 이외):
- 5MB 미만의 Microsoft SharePoint 파일 (예: PDF, Office 파일, 일반 텍스트 문서, 기존 형식 또는 이미지 제외)
- GitHub 저장소 (읽을 수 있는 텍스트가 포함된 모든 파일)
- Atlassian Confluence 페이지 본문
자체 학습 소스
실제 상호작용 로그에서 지식 격차를 식별하기 위해 보강 에이전트는 다음에서 궤적을 마이닝합니다.
- Gemini Enterprise 애플리케이션
- BigQuery 에이전트 분석 테이블
- 범위가 지정된 로그 뷰를 사용하는 Cloud Logging
보강 에이전트 작동 방식
주문형 또는 반복 일정에 따라 보강 작업을 트리거하면 보강 실행이 시작됩니다. 보강 에이전트는 백그라운드에서 비동기식으로 실행되어 데이터 애셋, 쿼리 trace, 문서를 분석하여 검증된 메타데이터 제안을 생성합니다.
다음 다이어그램은 보강 에이전트의 대략적인 워크플로 아키텍처를 보여줍니다.
에이전트는 네 가지 주요 단계를 통해 컨텍스트 세트를 선별합니다.
- 신호 및 문서 분석: 에이전트는 상호작용 로그를 마이닝하여 다운스트림 AI 에이전트가 어려움을 겪었거나 모호성 해소가 필요했던 부분을 찾습니다. Cloud Storage 또는 연결된 서드 파티 앱의 엔터프라이즈 문서를 스캔하고 쿼리 기록을 검사하여 빈도가 높은 테이블 조인과 업스트림 종속 항목을 검색합니다.
- 컨텍스트 제안 초안 작성: 에이전트는 선별 목표에 따라 대상 애셋의 구조화된 컨텍스트 초안을 작성합니다. 여기에는 비즈니스 중심 테이블 개요, 공식 측정항목 수식, 검증된 조인 조건, 골든 파라미터 기반 SQL 쿼리 템플릿이 포함됩니다.
- 벤치마킹 및 최적화: 에이전트는 평가 세트의 테스트 질문을 사용하여 자체 초안 메타데이터를 반복적으로 테스트하고 다운스트림 쿼리 정확성이 극대화될 때까지 설명을 미세 조정합니다. 그런 다음 홀드아웃 테스트 쿼리를 실행하여 회귀 오류율을 계산합니다. 제안된 모든 설명 또는 측정항목 규칙에는 신뢰도 점수가 할당됩니다.
- 검토 정책 적용: 신뢰도 기준점을 충족하는 제안은 정책 규칙을 트리거합니다. 자동 게시를 사용 설정하고 회귀 오류율이 허용 한도 내에 있으면 변경사항이 자동으로 병합됩니다. 회귀 오류가 허용되는 기준점을 초과하면 자동 게시가 즉시 중지되고 모든 제안이 사람이 검토할 수 있도록 단일 변경 요청으로 패키징됩니다.
데이터 보안 및 거버넌스
Knowledge Studio 보강 태스크는 인공지능을 사용하여 데이터 스키마와 내부 문서를 분석하므로 플랫폼은 독점 정보를 보호하기 위해 엄격한 경계를 구현합니다.
파운데이션 모델 학습: 데이터의 소유권은 사용자 본인에게 있습니다. 고객 실행 trace, 데이터베이스 스키마, 제공된 지식 신호 (예: 문서 또는 내부 용어집)는 Google의 파운데이션 모델을 학습시키는 데 절대 사용되지 않습니다.
데이터 정리: 제안된 메타데이터가 컨텍스트 세트에 기록되기 전에 에이전트는 시스템 로그 및 생성 trace에서 개인 식별 정보 (PII)를 자동으로 수정합니다.
실행 경계: 보강 에이전트는 안전한 Google 관리 테넌트 내에서 작동합니다. Private Service Connect 인터페이스와 고객 제어 이그레스 프록시를 사용하여 비공개 데이터 소스에 안전하게 도달합니다.
규정 준수 상태: 현재 프리뷰 단계에서는 보강 태스크가 VPC 서비스 제어 (VPC-SC), 고객 관리 암호화 키 (CMEK) 또는 Assured Workloads를 지원하지 않습니다.
추천 구성
Knowledge Catalog는 보강 작업을 위한 몇 가지 선택적 설정을 제공합니다. 기본 구성으로 시작하고 메타데이터 작업을 확장하면서 고급 기능을 점진적으로 사용 설정하는 것이 좋습니다.
| 구성 | 포함된 구성요소 | 자동 게시 | 추천 대상 |
|---|---|---|---|
| Basic | 컨텍스트 세트 | 사용 중지됨 | 도구를 테스트합니다. 에이전트가 데이터 세트의 스키마에서 메타데이터를 엄격하게 추론하는 방식을 확인할 수 있습니다. 모든 제안서를 수동으로 검토해야 합니다. |
| 근거 확보 |
|
사용 중지됨 | 프로덕션 환경 표준 운영 절차와 용어집을 사용하여 에이전트를 특정 비즈니스 로직에 그라운딩하여 정확성을 개선합니다. |
| 자동 |
|
사용 설정됨 | 메타데이터 작업 확장 평가 세트는 안전 가드레일 역할을 합니다. 자동 생성된 제안으로 인해 다운스트림 정확도가 저하되면 게시가 중단되고 수동 검토가 진행됩니다. |
| 자기 주도 학습 |
|
사용 설정됨 | 고급 및 자율 카탈로그 에이전트는 실시간 사용자 상호작용과 에이전트 채팅 로그를 분석하여 지식 격차를 파악하고 패치함으로써 지속적으로 적응합니다. |
제한사항 및 프리뷰 범위
프리뷰 기간 동안 보강 작업은 다음 범위 내에서 작동합니다.
콘솔 우선 관리: Google Cloud 콘솔을 통해서만 태스크를 구성하고 관리합니다. 직접 공개 REST API 및
gcloudCLI 명령어는 미리보기에서 사용할 수 없습니다.할당량 및 한도: 보강 태스크 및 태스크 실행에는 프로젝트별 리전 리소스 및 비율 할당량이 적용됩니다. 자세한 내용은 할당량 및 한도의 Knowledge Studio 보강 태스크 섹션을 참조하세요.
배포 수명 주기
보강 태스크를 빌드하고 배포하는 프로세스는 선형 수명 주기를 따릅니다.
- 기본 요건 구성: 필요한 역할을 부여하고, 서비스 계정을 구성하고, 자주 사용되는 테이블에서 데이터 프로파일링 및 AI 데이터 인사이트를 사용 설정합니다. 자세한 내용은 보강 태스크의 기본 요건 구성을 참조하세요.
- 외부 지식 연결: 그라운딩을 위해 Google Drive 또는 외부 Git 저장소에서 파일을 읽을 수 있는 권한을 태스크에 부여합니다.
- 작업 만들기: 컨텍스트 세트, 대상 리소스, 지식 신호, 평가 전략을 정의합니다.
- AI 제안 검토: 실행 진단을 확인하고, 제안된 설명을 검토하고, 메타데이터 변경사항을 승인합니다.