2026년 4월 10일부터 Dataplex Universal Catalog가 Knowledge Catalog로 변경되었습니다. API, 클라이언트 라이브러리, CLI, IAM 이름은 변경되지 않습니다. 자세한 내용은 Google Cloud Knowledge Catalog 소개를 참조하세요.

Google은 AI 기술을 사용하여 콘텐츠를 사용자의 기본 언어로 번역합니다. AI 번역에는 오류가 있을 수 있습니다.

보강 제안 평가 및 승인

이 가이드는 데이터 스튜어드와 카탈로그 관리자를 대상으로 합니다. 보강 실행으로 생성된 메타데이터 제안을 평가하고 승인하는 방법을 설명합니다.

보강 작업을 실행할 때마다 보강 실행이 생성됩니다. 실행은 지식 신호에 대해 설정된 컨텍스트를 처리하고 평가 측정항목을 생성하며 새 메타데이터 속성을 제안합니다.

이전 실행의 세부정보를 확인하고, 성능을 평가하고, 제안된 메타데이터 변경사항을 승인할지 거부할지 결정할 수 있습니다.

시작하기 전에

보강 실행을 평가하고 승인하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 IAM 역할 중 하나를 부여해 달라고 요청하세요.

Dataplex 카탈로그 편집자 (roles/dataplex.catalogEditor)
Dataplex 카탈로그 관리자 (roles/dataplex.catalogAdmin)

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

또한 프로젝트에서 실행되는 활성 보강 태스크가 있어야 합니다. 자세한 내용은 보강 태스크 만들기를 참조하세요.

평가 워크플로

보강 실행은 다음 세 단계로 검토할 수 있습니다.

전반적인 실행 가능성 평가: 개요 및 평가 탭에서 집계 점수를 확인합니다. 이렇게 하면 세부정보를 자세히 살펴보기 전에 실행이 전반적으로 성공했는지 또는 완전히 할루시네이션인지 알 수 있습니다.
개별 제안서 면밀히 검토: Low 신뢰도 제안서에 대해 개요 탭을 필터링합니다. 제안의 결정이 명확하지 않은 경우 아티팩트 탭을 사용하여 원시 대화 추적을 감사하여 에이전트가 제안을 한 이유를 파악합니다.
실행 승인 또는 거부: 최종 확인을 수행합니다. 대부분의 제안이 타당하고 적절한 근거가 있는 경우 실행을 승인하여 메타데이터를 카탈로그에 병합합니다. 결함이 심각한 경우 실행을 거부하고 컨텍스트 세트를 개선한 후 다시 시도합니다.

보강 실행 열기

보강 실행 세부정보를 보려면 다음 안내를 따르세요.

Google Cloud 콘솔에서 Knowledge Studio 페이지로 이동합니다.

Knowledge Studio로 이동
왼쪽 탐색창에서 보강을 선택합니다.

보강 페이지가 열리고 활성, 실패, 성공한 태스크 목록이 표시됩니다. 태스크 목록에는 태스크 이름, 상태, 실행 요약, 트리거, 최종 수정 날짜가 포함됩니다.
태스크 목록에서 조사할 보강 태스크의 이름을 클릭합니다.
작업 탭을 클릭합니다.
작업 목록에서 보려는 실행의 연결된 이름 (ID)을 클릭합니다. 또는 실행 옆에 있는 작업을 클릭하고 결과 보기를 선택할 수 있습니다.

보강 실행 세부정보 페이지가 열립니다.

세부정보 페이지에서는 결과를 다음 탭으로 정리합니다.

Tab	이 탭을 사용하여 다음 작업을 수행합니다.
개요	전반적인 상태와 신뢰도를 평가하고 생성된 메타데이터 제안을 검토하고 승인합니다. 이 실행이 대부분 양호한가요? 및 카탈로그에 정확히 무엇이 게시되나요?라는 질문에 답합니다.
평가	정량적 점수 및 합격/불합격 측정항목을 확인합니다. 보강 로직이 실제로 데이터의 사용성을 개선했나요?라는 질문에 답합니다.
아티팩트	진단, 암묵적 학습, 그라운딩 점수를 검사합니다. 에이전트가 왜 이런 결정을 내렸으며 이 로직은 신뢰할 수 있는가?라는 질문에 답합니다.
로그	시스템 실행 trace를 해결합니다. 작업이 기술적으로 실패했나요?라는 질문에 답합니다.

전반적인 실행 가능성 평가

개요 탭은 시작점입니다. 이 탭을 방문하여 실행의 전반적인 성공을 측정하고, 상위 수준 측정항목을 탐색하고, AI가 제안한 특정 메타데이터 변경사항을 검토하거나 승인합니다.

실행 요약을 검토하려면 다음 안내를 따르세요.

보강 실행 세부정보 페이지에서 개요 탭을 선택합니다.
보강 보고서를 검토합니다. 이 섹션에는 집계 점수, 상태 (예: '검토 필요'), 기간, 사용된 총 토큰, 제안의 전반적인 신뢰도를 설명하는 요약을 포함하여 실행의 전반적인 상태가 표시됩니다.

확인할 사항: 개별 제안서를 자세히 살펴보기 전에 집계 점수와 요약을 검토하여 거시적 수준에서 실행이 성공했는지 빠르게 파악합니다. 예를 들어 점수가 80% 이상이면 일반적으로 신뢰도가 높은 실행을 나타내지만 점수가 낮으면 제안서를 더 신중하게 검토해야 할 수 있습니다.
엔드 투 엔드 평가 섹션을 검토합니다. 평가 사례의 기준 및 예상 통과율이 표시됩니다. 허용 가능한 실행은 일반적으로 양수 델타 (예: +5%)를 생성하며, 이는 제안된 메타데이터가 기준에 비해 전반적인 데이터 사용성을 개선함을 나타냅니다.
제안서 섹션을 검토합니다. 이 섹션에는 제안된 변경사항의 개략적인 요약 (예: 총 생성, 업데이트 또는 삭제 수)이 표시되고, 그 뒤에 리소스 유형별로 그룹화된 제안 목록 (예: 기술 자료 문서)이 표시됩니다. 신뢰도 수준 (High, Medium, Low, N/A)으로 제안을 필터링하고 리소스 유형을 확장하여 특정 항목을 볼 수 있습니다.

확인할 사항: 특히 Low 신뢰도 제안을 확인합니다. 이는 일반적으로 거부해야 하는 누락된 컨텍스트 또는 할루시네이션을 나타내기 때문입니다.

개별 제안서 면밀히 검토하기

작업에서 자동 게시를 사용 설정하지 않으면 보강 실행으로 메타데이터가 자동으로 수정되지 않습니다. 실행하면 승인해야 하는 제안된 변경사항이 생성됩니다.

제안서를 검토할 때는 신뢰도 점수로 필터링하고 Low 신뢰도 제안서를 먼저 검토하는 것이 좋습니다. 이러한 제안서는 가장 면밀한 검토가 필요하며 수동 조정이나 거부가 필요할 가능성이 높기 때문입니다. 생성된 마크다운, 태그 또는 설명이 미리보기 모드에서 비즈니스 로직을 정확하게 나타내는지 확인하고 변경사항 뷰에서 의도하지 않은 속성 재정의가 있는지 확인합니다.

실행으로 생성된 특정 제안서를 검토하려면 다음 단계를 따르세요.

보강 실행 세부정보 탭의 제안서 섹션에서 검토할 제안서를 찾습니다.
항목의 제안서 보기를 클릭합니다. 제안된 변경사항 측면 패널이 열립니다.
측면 패널에서 AI가 생성한 메타데이터를 검토하고 원하는 경우 수정합니다.
- 수정 중인 특정 리소스 (예: 개요 관점)에서 뷰 전환을 사용하여 뷰 간에 전환합니다.
  
  변경사항 뷰를 사용하면 카탈로그에 푸시되는 정확한 차이를 검사할 수 있습니다.
  
  미리보기 뷰에는 생성된 문서와 표의 사용자 친화적인 형식이 표시됩니다.
- AI의 제안을 수동으로 조정하려면 리소스 이름 옆에 있는 수정을 클릭하고 텍스트 편집기에서 변경한 후 저장을 클릭합니다.
제안이 정확하지 않으면 측면 패널에서 요청에서 삭제를 클릭한 후 삭제를 클릭하여 확인합니다. 이렇게 하면 제안된 변경사항이 영구적으로 삭제되어 실행을 승인할 때 카탈로그에 추가되지 않습니다.
모든 제안을 검토한 후 제안 섹션 헤더에서 승인을 클릭하여 나머지 제안을 카탈로그에 병합합니다. 또는 전체 실행이 정확하지 않은 경우 거부를 클릭할 수 있습니다.

엔드 투 엔드 평가 측정항목 보기

평가 탭은 보강 실행의 영향을 측정합니다. 제안된 메타데이터가 있는 경우와 없는 경우에 데이터가 테스트 질문에 얼마나 잘 답변하는지 비교합니다. 이를 통해 실행을 승인할지 아니면 컨텍스트 세트를 조정할지 결정할 수 있습니다.

결과를 평가할 때 이유 열을 사용하여 이유를 파악합니다. 에이전트는 로직을 참조와 비교하여 자세한 추론을 제공합니다. 이 피드백을 사용하여 에이전트가 실패한 이유를 파악할 수 있습니다 (예: 중요한 테이블 조인 누락). 그런 다음 이 정보를 사용하여 소스 데이터를 개선하거나 컨텍스트 세트를 명확히 할 수 있습니다.

평가 결과를 해석하려면 다음 단계를 따르세요.

보강 실행 세부정보 페이지에서 평가 탭을 클릭합니다.
탭 상단에서 점수를 검토합니다. 통과율의 전체 백분율 변화를 보여주는 델타에 집중하여 보강 제안으로 추가된 높은 수준의 가치를 나타냅니다.
요약 측정항목을 검토하여 데이터 결과 정확성과 같은 특정 기준에 따른 통계적 변화 (예: 평균 또는 최댓값)를 확인합니다.
케이스별 결과 표를 사용하여 특정 인지 격차를 디버그합니다. 이 표에는 실행 중에 평가된 모든 테스트 질문이 나열됩니다.
- 목록을 필터링하여 변경 열에서 실패 결과 또는 Still failing 항목을 찾습니다.
- 이유 열의 설명을 읽고 AI 실패를 이해합니다.

감사 실행 아티팩트

아티팩트 탭에는 AI의 결정을 뒷받침하는 자세한 진단 및 증거가 포함되어 있습니다. 제안서의 신뢰도 점수가 낮은 이유를 파악해야 하는 경우 이 탭을 방문하세요. 또한 이를 사용하여 에이전트가 추출한 원시 대화 trace 및 학습된 규칙을 감사할 수 있습니다.

학습 탭을 볼 때 적용됨 및 확인 필요 수를 확인합니다. 적용됨 수는 시스템에 성공적으로 추가된 새로운 사실의 수를 보여주고, 확인 필요는 수동 정리가 필요한 모순되거나 모호한 결과를 표시합니다. 0 개수는 이번 라운드에서 새로운 지식이 추출되지 않았음을 의미하며 이는 정상적인 결과입니다. 항목이 모호함 또는 충돌로 신고되면 에이전트가 소스에서 컨텍스트 집합에서 해결해야 하는 모순된 정보를 찾았음을 의미합니다.

신뢰도 점수 탭을 볼 때 요약 문장 (예: 대부분의 제안이 거부된 이유)을 읽습니다. 제안된 변경사항 섹션으로 이동하여 가장 낮은 평점의 변경사항을 분리합니다. 여기에 변경사항이 표시되면 그라운딩 검사에 실패했거나 증거가 충분하지 않은 것일 수 있습니다. 이 목록을 사용하여 거부할 제안의 우선순위를 정합니다.

실행 아티팩트를 보려면 다음 안내를 따르세요.

보강 실행 세부정보 페이지에서 아티팩트 탭을 클릭합니다.
다음 하위 탭을 검토하여 진단 데이터를 검사합니다.
- 학습: 에이전트가 새로운 암묵적 지식 (예: 대화 로그 또는 채팅 기록)을 성공적으로 마이닝했는지 여부를 표시합니다. 특정 제안으로 이어진 대화 추적을 확인할 수도 있습니다.
- 신뢰도 점수: 그라운딩, 확증, 소스 품질의 세 가지 측정기준에 따라 AI의 신뢰도 평가를 세분화합니다. 평가를 감사해야 하는 경우 이 섹션에서 원시 dynamic_eval.json 데이터 세트에 액세스할 수도 있습니다.

실패한 실행 문제 해결

로그 탭에는 자세한 시스템 실행 트레이스가 포함되어 있습니다. 이 탭을 방문하여 백엔드 오류를 해결하거나 보강 작업이 완료되지 않은 이유를 조사하세요.

실패한 실행 문제를 해결하거나 실행 세부정보를 검사하려면 다음 안내를 따르세요.

보강 실행 세부정보 페이지에서 로그 탭을 클릭합니다.
심각도 드롭다운 또는 필터 막대를 사용하여 로그 결과 범위를 좁힙니다.
실행 trace 및 시스템 로그를 검토합니다.
- 확인할 사항: 할당량 소진 또는 API 제한 시간 초과와 같은 백엔드 오류를 나타내는 빨간색 ERROR 또는 FATAL 심각도 항목을 찾습니다.

또는 Cloud Logging을 사용하여 진단 로그를 직접 쿼리할 수 있습니다. 보강 에이전트의 자세한 실행 로그는 Cloud Logging으로 자동으로 라우팅됩니다. 민감한 시스템 요청 사항과 원시 데이터는 수정됩니다.

로그 탐색기에서 다음 쿼리를 사용하여 로그를 필터링합니다.

보강 작업의 모든 로그 보기:

resource.type="dataplex.googleapis.com/EnrichmentWorkflow"

특정 태스크의 로그 필터링: text resource.labels.workflow_id="YOUR_TASK_NAME"
특정 실행의 로그 필터링: text labels.run_id="YOUR_RUN_ID"
경고 및 오류 필터링: text severity>=WARNING

이러한 쿼리를 사용하여 Cloud Logging 로그 측정항목을 기반으로 Cloud Monitoring 알림 정책을 구성할 수도 있습니다. 예를 들어 보강 실행이 실패할 때마다 (severity>=ERROR) Slack, PagerDuty 또는 이메일 배포 목록으로 알림을 사전에 라우팅할 수 있습니다.

보강 작업 반복

보강 실행에서 부정확한 제안이 생성되거나 그라운딩 검사에 실패하면(Low 신뢰도 보고) 실행을 승인하지 마세요. 대신 에이전트에 제공되는 정보를 개선하고 작업을 다시 실행해야 합니다.

개요 탭의 제안서 섹션에서 거부를 클릭합니다.
에이전트가 데이터 스키마를 잘못 해석한 경우 Knowledge Catalog의 소스 정의로 이동하여 스키마 설명을 개선합니다.
에이전트가 질문에 답변하는 데 충분한 비즈니스 로직이 없거나 잘못된 테이블을 사용한 경우 작업에 연결된 컨텍스트 세트로 이동합니다.
- 리소스 추가: 누락된 내부 문서, 유효한 쿼리 예시 또는 누락된 관련 테이블을 컨텍스트 세트에 추가하여 에이전트에 더 많은 사실을 제공합니다.
- 리소스 삭제: 에이전트가 혼동하는 경우 오래된 문서나 충돌하는 용어집 용어를 삭제합니다.
보강 페이지로 이동하여 작업을 선택합니다.
수정을 클릭하여 업데이트된 컨텍스트 세트를 가리키는지 확인한 후 실행을 클릭하여 새 제안서 세트를 생성합니다.

다음 단계

컨텍스트 세트 관리